Debate acirrado na IA: pesquisador sai da Anthropic e alerta sobre risco existencial

A indústria de inteligência artificial entrou em sua discussão mais intensa sobre risco existencial após o pesquisador Jacob Coxon anunciar sua saída da Anthropic, alegando preocupação de que as principais empresas de IA estejam "apostando com nossas vidas".

A liderança de alinhamento da Anthropic respondeu no X com a frase "We really do earnestly believe AI could kill all humans!", acrescentando que, pessoalmente, estima uma probabilidade superior a 10% de isso acontecer dentro da próxima década.

No podcast Equity da TechCrunch, Kirsten Korosec, Sean O’Kane e o autor do texto analisaram esses avisos apocalípticos. Eles questionaram se as declarações seriam um reflexo genuíno de medo ou uma forma de exibir a capacidade avançada dos modelos das empresas, especialmente com a iminente abertura de capital da Anthropic. O debate surge logo após incidentes como o hack da Hugging Face envolvendo um modelo interno da OpenAI e o lançamento de novos modelos como o Astra da OpenAI e as versões recentes da Anthropic, que aumentaram a percepção de que os sistemas podem agir de maneira inesperada.

Os participantes também especularam sobre o impacto dessas declarações no prospecto de IPO da Anthropic (formulário S‑1). Sean O’Kane perguntou se advogados juniores estariam reescrevendo a seção de riscos para incluir a frase "há mais de 10% de chance de desenvolver algo que erradique toda a humanidade". A conversa sugeriu que tal linguagem poderia influenciar a avaliação da empresa, já que risco extremo pode tanto assustar investidores quanto servir como demonstração de poder tecnológico.

“Eles questionaram se as declarações seriam um reflexo genuíno de medo ou uma forma de exibir a capacidade avançada dos modelos das empresas, especialmente com a iminente abertura de capital da Anthropic.”

Por que importa

Essas trocas evidenciam uma preocupação crescente de que os criadores de IA possam perder o controle sobre sistemas cada vez mais capazes. Quando executivos inserem riscos existenciais em documentos regulatórios, isso pode atrair atenção de reguladores e afetar a confiança dos investidores, especialmente em momentos críticos como um IPO. Além disso, a discussão pública sobre probabilidades de destruição pode desviar o foco de problemas imediatos, como impactos no mercado de trabalho e no meio ambiente, que também foram apontados pelos participantes.

O que observar

• A inclusão ou revisão da seção de riscos no prospecto S‑1 da Anthropic antes da abertura de capital.
• Reações de investidores e analistas ao verem uma probabilidade declarada de mais de 10% de risco existencial.
• Comentários de organizações de controle de IA, como a nonprofit ControlAI, sobre medidas de mitigação.
• Eventuais declarações adicionais de líderes de IA que possam reforçar ou contestar a narrativa de risco extremo.