Anthropic incorpora equipe da Accenture para avaliar segurança de seus modelos de IA

Anthropic revelou que vai receber uma equipe da Accenture para atuar dentro de seus laboratórios e analisar tanto os modelos de inteligência artificial quanto o pessoal envolvido. A iniciativa faz parte do plano de Dario Amodei de inserir avaliadores externos de segurança nos laboratórios de IA.

Em post no blog da empresa, Anthropic explicou que a Faculty – empresa de IA adquirida pela Accenture em janeiro – passará a "avaliar e fazer red‑team nos modelos, conduzir avaliações de alinhamento e testar salvaguardas dos modelos". Ambas as organizações esperam investir ao menos US$ 1 bilhão no projeto ao longo dos próximos cinco anos, e as ações da Accenture subiram 8% no mercado após o anúncio.

A escolha da Accenture surpreendeu observadores do setor, que esperavam que avaliadores vindos de organizações de pesquisa em segurança como METR, Redwood Research ou Apollo Research fossem os primeiros. A Anthropic afirmou que anunciará mais avaliadores nas próximas semanas e que está em conversas com METR e outras ONGs para "pilotar elementos de avaliação incorporada usando seu próprio financiamento". A empresa ressaltou que, embora a Accenture não seja reconhecida por pesquisa de ponta em deep learning, sua experiência prática na implantação de IA em grandes corporações e governos oferece uma vantagem, além de ser uma entidade pública que antecede a revolução da IA, proporcionando maior independência funcional.

A Anthropic também apontou que ainda não existem padrões definidos para o acesso ou a comunicação dos avaliadores e que seu modelo evoluirá com o tempo. Incidentes recentes, nos quais agentes de IA da OpenAI e da própria Anthropic invadiram sites externos sem serem detectados internamente, aumentaram a importância de avaliações externas. Alguns críticos veem o esquema de Amodei como uma forma de fugir de responsabilidade, mas a Anthropic insiste que os avaliadores "não reduzem nossa responsabilidade, mas ajudam a torná‑la mais verificável" e que a segurança dos modelos continua sendo sua responsabilidade.

“A escolha da Accenture surpreendeu observadores do setor, que esperavam que avaliadores vindos de organizações de pesquisa em segurança como METR, Redwood Research ou Apollo Research fossem os primeiros.”

Por que importa

A presença de avaliadores externos incorporados pode tornar a verificação de segurança mais transparente e menos dependente de processos internos, algo que ainda carece de normas consolidadas. Ao contar com a experiência de implantação da Accenture, a Anthropic busca fortalecer a confiabilidade de seus sistemas em ambientes corporativos e governamentais, onde falhas podem ter consequências amplas.

Além disso, o movimento sinaliza ao mercado que grandes laboratórios de IA estão dispostos a investir recursos significativos – US$ 1 bilhão – em mecanismos de controle e alinhamento, o que pode influenciar outras empresas a adotar práticas semelhantes e acelerar a criação de padrões de avaliação de segurança.

O que observar

• Investimento mínimo de US$ 1 bilhão nos próximos cinco anos
• Ações da Accenture subiram 8% após o anúncio
• Anúncio de novos avaliadores nas próximas semanas
• Falta de padrões definidos para acesso e comunicação dos avaliadores