Make $25 - $35 Per Hour Doing Simple Jobs From Home.
What is your current level of experience in freelance work?
Desenvolvimento de Ferramenta de Benchmarking para Modelos de Lingu...
Estamos em busca de um desenvolvedor Python com experiência em Inteligência Artificial e ferramentas modernas de NLP para construir uma aplicação de comparação (benchmark) entre diferentes modelos de linguagem (LLMs), como por exemplo, GPT-3.5, Mistral 7B, LLaMA, DeepSeek, entre outros. O projeto deve conter uma base funcional utilizando tecnologias como LangChain, incluindo integração com a API de LLMs (ex: Hugging Face) e organização modular em Python: - Implementação de métodos objetivos de avaliação de LLMs (ex: Evidently ai, bleu, rouge, perplexidade ou outros sugeridos pelo desenvolvedor); - geração de relatórios comparativos entre as respostas dos modelos; - refatoração e padronização do código para facilitar reuso e manutenção. Inicialmente a ideia era para o projeto ser executado locamente, mas o desenvolvedor poderá sugerir outras formas e estrutura. Também pode ser sugerido outras métricas de evaluation que façam sentido para comparação objetiva entre as respostas dos modelos.Category: IT & ProgrammingSubcategory: Artificial IntelligenceProject size: SmallIs this a project or a position?: ProjectRequired availability: As needed