Hugging Face alerta: avaliadores embutidos ainda não são solução fácil

Irene Solaiman, diretora de políticas da Hugging Face, afirmou na TechCrunch Disrupt da semana passada que avaliadores de IA embutidos não são uma solução simples, pois os métodos de benchmark ainda são complicados e carecem de padronização. Ela destacou que a confiança nos resultados depende da capacidade de reproduzir as avaliações e de ter acesso aos pesos abertos dos modelos.

O que aconteceu

Os laboratórios de IA têm apostado suas reputações em benchmarks, sistemas supostamente neutros que comparam produtos de IA. Solaiman explicou que, apesar da importância, as metodologias ainda são complexas e precisam evoluir para uma ciência mais consistente. Ela ressaltou que “confiança é um termo tão carregado” e que, para confiar nos resultados, é essencial reproduzir as avaliações e dispor dos pesos abertos dos modelos.

A reproducibilidade tem sido um ponto crítico nas discussões, e ainda não há consenso sobre como comparar diferentes testes de forma significativa. Solaiman observou que os avaliadores evoluem rapidamente, tornando‑se ineficazes, e que o ecossistema carece de padronização, especialmente para definir quem pode ser um avaliador eficaz em quais tarefas.

“Ela ressaltou que “confiança é um termo tão carregado” e que, para confiar nos resultados, é essencial reproduzir as avaliações e dispor dos pesos abertos dos modelos.”

A ideia de avaliadores embutidos – observadores “neutros” inseridos nas organizações de IA – ganhou força após incidentes de segurança, mas dúvidas permanecem sobre sua neutralidade e eficácia. Exemplos recentes, como a contratação da Accenture pela Anthropic, geraram críticas. Além disso, as avaliações agora consideram não só o modelo, mas também o “harness” (a ferramenta de acesso) e o agente, sendo as avaliações de agentes caras e difíceis, enquanto há menos testes focados em harnesses.