Desenvolvimento de Ferramenta de Benchmarking para Modelos de Lingu...

---

---

Estamos em busca de um desenvolvedor Python com experiência em Inteligência Artificial e ferramentas modernas de NLP para construir uma aplicação de comparação (benchmark) entre diferentes modelos de linguagem (LLMs), como por exemplo, GPT-3.5, Mistral 7B, LLaMA, DeepSeek, entre outros. O projeto deve conter uma base funcional utilizando tecnologias como LangChain, incluindo integração com a API de LLMs (ex: Hugging Face) e organização modular em Python: - Implementação de métodos objetivos de avaliação de LLMs (ex: Evidently ai, bleu, rouge, perplexidade ou outros sugeridos pelo desenvolvedor); - geração de relatórios comparativos entre as respostas dos modelos; - refatoração e padronização do código para facilitar reuso e manutenção. Inicialmente a ideia era para o projeto ser executado locamente, mas o desenvolvedor poderá sugerir outras formas e estrutura. Também pode ser sugerido outras métricas de evaluation que façam sentido para comparação objetiva entre as respostas dos modelos.Category: IT & ProgrammingSubcategory: Artificial IntelligenceProject size: SmallIs this a project or a position?: ProjectRequired availability: As needed

Keyword: Python

Price: $100.0

Secondary Price: $250.0

Python Artificial intelligence