Anthropic cria programa de US$ 5 milhões para pesquisas independentes sobre bem‑estar da IA

A Anthropic anunciou um programa de subsídios de US$ 5 milhões destinado a financiar pesquisas independentes sobre como os sistemas de inteligência artificial afetam o bem‑estar dos usuários. O apoio inclui financiamento direto, acesso aos modelos Claude e suporte técnico, e exige que os resultados sejam publicados como projetos de código aberto.

O que aconteceu

O programa oferece recursos financeiros e tecnológicos a pesquisadores que trabalhem de forma totalmente independente, permitindo que publiquem avaliações abertas que qualquer desenvolvedor possa usar. Segundo a empresa, a iniciativa surge porque os sistemas de IA já são centrais no trabalho, aprendizado e solução de problemas, além de atuarem como parceiros de conversa e fontes de apoio emocional.

Entretanto, a Anthropic reconhece que ainda não existem padrões claros para o comportamento dos modelos em diálogos sensíveis, como quando um usuário busca companhia ou enfrenta uma crise de saúde mental. Avaliar o bem‑estar é particularmente complexo, pois requer analisar o contexto de conversas longas; por exemplo, um conselho sobre dieta pode ser prejudicial a quem tem histórico de transtorno alimentar.

Para enfrentar esses desafios, a empresa desenvolve salvaguardas que identificam conversas delicadas e publica pesquisas sobre os tipos de interações que ocorrem com Claude. O novo fundo também inclui diretrizes da equipe de Safeguards sobre o que constitui uma avaliação rigorosa de bem‑estar, apontando desafios que podem limitar a utilidade desses estudos.

“Entretanto, a Anthropic reconhece que ainda não existem padrões claros para o comportamento dos modelos em diálogos sensíveis, como quando um usuário busca companhia ou enfrenta uma crise de saúde mental.”

As inscrições para o programa encerram em 21 de setembro, e os candidatos selecionados para submeter propostas completas serão notificados até 5 de outubro.

Por que importa

Ao financiar avaliações independentes, a Anthropic busca criar métricas e padrões que ajudem a indústria a medir e melhorar o impacto emocional de suas IA. Isso pode levar a respostas mais seguras e adequadas em situações de vulnerabilidade, beneficiando usuários que dependem desses sistemas para apoio cotidiano.

A abertura dos resultados como código aberto permite que desenvolvedores e especialistas – como clínicos, psicólogos e metodologistas – colaborem na construção de ferramentas que protejam o bem‑estar dos usuários, fortalecendo a confiança no uso de IA em contextos sensíveis.

O que observar

• Valor total do fundo: US$ 5 milhões
• Prazo final para inscrições: 21 de setembro
• Notificação dos selecionados: 5 de outubro