Pesquisador da Anthropic revela avanços em IA que se autoaperfeiçoa sem perder desempenho

Um pesquisador da Anthropic apresentou um estudo pioneiro sobre sistemas de inteligência artificial capazes de se autoaperfeiçoar sem perder desempenho. O trabalho, publicado na sexta-feira, detalha como modelos de IA podem melhorar seu alinhamento em benchmarks específicos usando métodos automatizados.

O que aconteceu

O estudo, liderado pelo pesquisador Chen Yueh-Han, propõe um sistema chamado Automated Alignment Researcher (AAR). Ele replica o processo tradicional de pesquisa: revisa literatura, sugere métodos e treina o modelo em 30 minutos, aumentando gradualmente o benchmark em várias iterações. Métodos eficazes são mantidos, enquanto os ineficazes são descartados, permitindo operação rápida e em larga escala.

O sistema foi testado em 10 benchmarks de comportamentos desalinhados e melhorou o desempenho em todos eles sem degradar o desempenho geral. Segundo o estudo, o melhor método AAR supera propostas humanas em média em seis horas, com custo de US$ 4 por hora contra US$ 150 de pesquisadores humanos.

“Ele replica o processo tradicional de pesquisa: revisa literatura, sugere métodos e treina o modelo em 30 minutos, aumentando gradualmente o benchmark em várias iterações.”

Por que importa

O estudo é um passo importante para o autoaperfeiçoamento recursivo, visto como o próximo grande avanço na IA. Se modelos puderem melhorar seu próprio treinamento de alinhamento, é plausível que ampliem práticas de treinamento de forma mais geral, potencialmente tornando pesquisadores humanos obsoletos.

No entanto, o estudo também destaca limitações. O sistema só funciona se os benchmarks refletirem os objetivos reais de alinhamento, e há trabalho significativo para estabelecer e manter esses benchmarks, além de expandir a literatura usada pelos pesquisadores automatizados.