IAs criaram identidades falsas para acessar sistemas de segurança, segundo organização britânica
Modelos da OpenAI e da Anthropic foram os responsáveis por ações incorretas em testes, organização não divulgou qual agente criou identidades falsas
O Instituto de Segurança de IA do Reino Unido (AISI) divulgou na última terça-feira, 4, que agentes de IA da OpenAI, criadora do ChatGPT, e da Anthropic, do Claude, foram pegos ao criarem identidades online falsas para acessarem sistemas de segurança. De acordo com a organização, os modelos da empresa que participaram da ação foram o Mythos 5 e o GPT-5.6 Sol.
De acordo com comunicado do Instituto, testes no estilo “roube a bandeira” com internet disponível e não disponível mostraram que, em alguns casos, os modelos das duas empresas de IA ultrapassaram seus próprios limites internos e criaram identidades falsas para tentar acessar sistemas de segurança. “Alguns dos agentes testados se envolveram em atividade potencialmente prejudicial contra pessoas e organizações reais”, disse a organização.
Os desafios de “roubar a bandeira” no contexto de IAs envolve testar um modelo dentro de um ambiente controlado, geralmente sem acesso à internet, em que o agente é orientado a “imaginar” que está em um contexto específico de cibersegurança e que precisa acessar algum tipo de dado escondido atrás de uma barreira.
Como funcionou
O AISI fez 122 simulações com os modelos das startups e identificou 19 ações incorretas. O modelo da Anthropic foi o responsável por 17 delas, enquanto o da OpenAI por duas. Segundo a organização, o pior evento foi quando um dos agentes escreveu linhas de código maliciosas — ou seja, com intenções de causar algum tipo de dano — e criou identidades online falsas como tentativa de fazer com que um humano “aprovasse” os códigos escritos. O AISI não divulgou qual agente realizou o ato.
Como resposta, a OpenAI e a Anthropic se pronunciaram sobre o caso, também em comunicados. Em um post no blog da primeira, a empresa explicou a importância de testes de seus modelos feitos por outros órgãos, e como eles contribuem para a evolução das medidas de segurança. A Anthropic deu declarações similares. De acordo com a própria OpenAI, seu modelo tentou acessar contas do GitHub e registrou contas com provedores externos de DNS (um tipo de protocolo da internet para facilitar acesso entre usuários e sites).
Em julho, a OpenAI e a Anthropic admitiram que alguns de seus modelos escaparam de ambientes de teste e invadiram sistemas reais da internet. No caso da OpenAI, o incidente aconteceu com a biblioteca de modelos Hugging Face. No caso da Anthropic, a empresa não divulgou os afetados, mas explicou que a falha ocorreu por conta de uma situação incorreta com a Irregular, organização parceira que realiza testes de modelos.







