Anthropic concede acesso de tipo funcionário à METR para avaliações independentes de risco
Anthropic deu à organização sem fins lucrativos METR acesso interno semelhante ao de funcionários, permitindo que publique análises de risco como parte de um esforço maior de auditoria independente.
Em resumo
- Anthropic deu à METR acesso interno semelhante ao de funcionários para avaliar seus modelos de IA
- A METR publicará análises de risco, enquanto a Anthropic pode exigir remoções de informações sensíveis
- A iniciativa cria um modelo de supervisão comparável ao da regulação bancária, ampliando a transparência da indústria
Anthropic anunciou que está oferecendo acesso de tipo funcionário a uma equipe da METR, uma organização sem fins lucrativos que avalia modelos de IA de fronteira. A iniciativa segue o compromisso assumido no mês passado de reforçar avaliações independentes e a assinatura do Acordo da Casa Branca sobre Superinteligência.
O que aconteceu
A Anthropic integrou seis colaboradores da METR, fornecendo hardware da empresa, espaço de escritório e acesso a ferramentas internas que se equiparam ao que suas próprias equipes de avaliação de risco utilizam. O acesso exclui categorias claramente definidas, como dados de clientes, informações privilegiadas entre advogado e cliente e detalhes da arquitetura dos modelos. A METR publicará suas análises de níveis de risco, incidentes e práticas; a Anthropic não pode vetar a publicação, mas pode exigir a remoção de informações que se enquadrem nas categorias acima.
Além da METR, a Anthropic está trabalhando com a SecureBio e a Accenture como avaliadores e mantém discussões iniciais com outras organizações, entre elas a Hugging Face. A empresa descreve um plano de três níveis de acesso para avaliadores: o primeiro nível permite investigações de risco de escopo estreito com aprovação da Anthropic para publicação; o segundo nível concede mais informações e permite publicação sem aprovação, ainda podendo exigir remoções específicas; o terceiro nível, já em vigor com a METR, oferece acesso semelhante ao de funcionários e direitos de publicação comparáveis ao segundo nível.
“A Anthropic integrou seis colaboradores da METR, fornecendo hardware da empresa, espaço de escritório e acesso a ferramentas internas que se equiparam ao que suas próprias equipes de avaliação de risco utilizam.”
A SecureBio está revisando o capítulo sobre armas químicas e biológicas do Relatório de Risco de agosto, após concluir um piloto de revisão do relatório anterior, e pode receber acesso ampliado ao final dessa avaliação. Com a Accenture e a Faculty, a Anthropic busca uma parceria ambiciosa que inclui avaliação e red‑team de modelos, testes de alinhamento e construção de capacidades conjuntas.
Por que importa
Ao conceder acesso interno a avaliadores externos, a Anthropic busca maior transparência e responsabilidade pública em relação aos riscos de seus modelos avançados, sem expor informações que possam ser úteis a agentes maliciosos ou que sejam sensíveis comercialmente. A empresa compara esse modelo ao da supervisão bancária, onde reguladores internos monitoram riscos que poderiam ameaçar o público. Essa abordagem pode estabelecer um novo padrão de supervisão de segurança na indústria de IA, aproximando o entendimento dos avaliadores do que a própria empresa conhece sobre seus sistemas.
O que observar
- Publicação da análise de risco da METR, incluindo eventuais justificativas de remoções de informação.
- Evolução dos três níveis de acesso, especialmente a expansão para novos avaliadores.
- Avanços nas parcerias com SecureBio e Accenture, como maior acesso após revisões concluídas.
- Reação de outras empresas de IA ao modelo de avaliação independente proposto pela Anthropic.
Perguntas frequentes
O que é a METR e qual o papel dela na Anthropic?
A METR é uma organização sem fins lucrativos que avalia modelos de IA de fronteira e agora tem acesso interno semelhante ao de funcionários da Anthropic para publicar análises de risco.
Como a Anthropic está estruturando o acesso dos avaliadores independentes?
A empresa definiu três níveis de acesso, sendo o terceiro nível, já usado pela METR, o que oferece acesso de tipo funcionário e direitos de publicação semelhantes ao segundo nível.
Qual a importância desse modelo de avaliação para a segurança da IA?
Ao permitir que avaliadores externos tenham acesso interno, a Anthropic aumenta a transparência e a responsabilidade pública, aproximando o entendimento dos riscos dos avaliadores ao da própria empresa.
Trilha desta cobertura