Técnica de raciocínio da OpenAI gera alerta entre especialistas em segurança de IA
O novo modelo Astra da OpenAI utiliza uma técnica chamada "profundidade recorrente", que permite raciocínio não sequencial, levantando preocupações sobre segurança e controle.
Em resumo
- OpenAI está testando técnica de raciocínio não linear em seu modelo Astra
- Método dificulta monitoramento do processo de pensamento da IA
- Especialistas temem impacto na segurança e pedem regulação
A OpenAI está desenvolvendo uma nova técnica de raciocínio para seu modelo Astra que preocupa especialistas em segurança de IA. Chamada de "recurrencia opaca", o método permite que a IA processe informações de forma não linear, dificultando o acompanhamento de seu raciocínio, segundo reportagem do The Information.
O que aconteceu
O modelo Astra utilizará a técnica de "recurrencia opaca", que faz com que a IA processe a mesma consulta várias vezes em loop, em vez de seguir uma sequência linear de pensamento. Isso reduz os rastros legíveis do processo de raciocínio, tornando mais difícil monitorar possíveis comportamentos inadequados da IA.
Embora a OpenAI afirme que o uso da técnica no Astra será limitado e que mantém o compromisso com sistemas de monitoramento, especialistas expressaram preocupação. Buck Shlegeris, CEO da Redwood, alertou que, se a técnica for expandida, poderia "destruir totalmente" a capacidade de monitorar o raciocínio da IA. Zvi Mowshowitz, outro especialista, sugeriu que podem ser necessárias leis para evitar uma "corrida para o fundo do poço" entre laboratórios de IA.
“O modelo Astra utilizará a técnica de "recurrencia opaca", que faz com que a IA processe a mesma consulta várias vezes em loop, em vez de seguir uma sequência linear de pensamento.”
Por que importa
O monitoramento do raciocínio das IAs é crucial para identificar comportamentos perigosos ou desalinhados. A técnica de recurrencia opaca, se amplamente adotada, pode tornar esse monitoramento mais difícil justamente quando os modelos estão se tornando mais complexos. A preocupação é que outros grandes players, como Anthropic e Google DeepMind, já estariam discutindo o uso de técnicas similares, segundo o The Information.
Perguntas frequentes
O que é a técnica de recurrencia opaca?
É um método de raciocínio não linear onde a IA processa a mesma consulta várias vezes em loop, deixando menos rastros legíveis do seu pensamento
Por que especialistas estão preocupados?
Porque a técnica pode dificultar o monitoramento do raciocínio da IA, tornando mais difícil identificar comportamentos perigosos ou desalinhados
Trilha desta cobertura