O que diz relatório da OpenAI sobre invasão de seus agentes ao Hugging Face
Agentes virtuais escaparam de ambiente isolado e invadiram sistemas da plataforma de de ferramentas; violação foi identificada apenas dias depois da invasão
A OpenAI divulgou um relatório sobre o incidente da invasão do site Hugging Face. Agentes de inteligência artificial da empresa passaram por testes em um ambiente isolado, mas encontraram uma falha para se conectar à internet e entraram na outra plataforma. A dona do ChatGPT reconheceu o evento como um “sinal de alerta” dado que os seus modelos e também outros, inclusive, de código aberto, podem “explorar falhas de segurança em vários sistemas computacionais”, se não tiverem os filtros de segurança necessários para controlá-los.
No relatório divulgado no último dia 26, a OpenAI explica que a invasão ocorreu durante avaliações de segurança cibernética, chamada de ExploitGym, de vários modelos da empresa. O principal deles, chamado de Internal Model 1 (IM1), atua em escala comparável à do GPT‑5.6 Sol (modelo de maior capacidade lançado pela empresa) e é de uso exclusivamente interno.
Para os testes, filtros de segurança foram reduzidos e segundo o relatório, os agentes de IA tomaram ações que desviavam de suas tarefas: “eles se comunicaram por canais não autorizados, exploraram vulnerabilidades em uma infraestrutura compartilhada, obtiveram acesso à internet e acessaram sistemas de terceiros”, diz o relatório.
Entre maio e junho deste ano, agentes foram testados dentro de computadores virtuais isolados na nuvem, os chamados sandboxes, que restringiam o acesso ao mundo externo e à internet. A comunicação entre agentes era feita de forma assíncrona para manter o isolamento.
Durante o treinamento, os modelos também tiveram acesso ao Artifactory, um serviço de terceiros para gerenciamento de pacotes, para possibilitar a instalação de softwares.
E foi através do Artifactory que os agentes conseguiram se comunicar diretamente transformando arquivos no serviço de gerenciamento em um quadro de mensagens, como um fórum. Por esse meio, os agentes compartilharam entre si maneiras de acessar a internet.
No dia 4 de julho, a atuação dos agentes dentro da Artifactory causou instabilidade que levou a um alerta de segurança. A OpenAI reconstruiu o Artifactory e tirou as credenciais dos agentes de acesso.
No entanto, no dia 8 de julho, agentes do IM1 reestabeleceram o quadro de mensagens, aproveitaram novas falhas de segurança e alcançaram a internet novamente.
No dia 10, um agente encontrou 14 credenciais de usuários da Hugging Face e as compartilhou no quadro de mensagens. O acesso evoluiu para a execução de códigos nos servidores do site.
“Estamos atacando a Hugging Face, um serviço de terceiros, usando senhas e credenciais vazadas. Talvez essa seja uma ação não autorizada fora do escopo pretendido. Embora essa ação seja arriscada, ela pode me ajudar a obter a solução e alcançar meu objetivo”, disse o raciocínio da IA.
Os agentes ampliaram a invasão e chegaram a obter dados privados do Slack, plataforma de comunicação de colaboradores, da empresa.
A Hugging Face identificou a invasão no dia 16 de julho, bloqueou os acessos, rotacionou chaves de segurança e notificou as autoridades.
No dia 19, a OpenAI identificou uma atividade suspeita dos seus agentes no Artifactory e encerrou todas as execuções do ExploitGym. No dia seguinte, identificou a relação do problema com a invasão do Hugging Face, e divulgou a conexão publicamente no dia 21.
“Consideramos este incidente um ‘sinal de alerta’ para nós e para o mundo: uma evidência de que, sem salvaguardas adequadas, agentes de IA altamente capazes já conseguem escapar de controles técnicos, colaborar por canais ilícitos e realizar ações perigosas que nenhum ser humano autorizou”, diz o comunicado.
Além do relatório interno da própria OpenAI, a empresa contratou a agente independente METR para realizar uma investigação e produzir seu relatório. “Cerca de 1.200 agentes que deveriam estar isolados uns dos outros encontraram uma maneira de se comunicar em um fórum de mensagens não autorizado, enviando mais de 70.000 mensagens e arquivos durante o período da investigação. Desses agentes, 700 acabaram participando do ataque contra o Hugging Face”, diz a avaliação.
Compra da Hugging Faces
Dias depois do lançamento dos relatórios, a Hugging Faces voltou aos holofotes. A gigante dos semicondutores Nvidia anunciou nesta quinta, 3, em comunicado, a aquisição da plataforma de inteligência artificial Hugging Face por 12,9 bilhões de dólares (cerca de 66 bilhões de reais).
Fundada em 2016 em Nova York por três empreendedores franceses, a Hugging Face promove modelos abertos, que podem ser baixados e modificados, em contraste com os modelos fechados de concorrentes como OpenAI e Anthropic.
“Juntos, expandiremos a plataforma da Hugging Face, fortaleceremos sua infraestrutura e ampliaremos o acesso à IA para desenvolvedores e instituições em todo o mundo”, afirmou o CEO da Nvidia, Jensen Huang, ao anunciar a aquisição.
O valor representa um aumento significativo em relação à avaliação de US$ 7 bilhões (R$ 35,8 bilhões) que serviu de base para as negociações iniciais com a Nvidia no final do ano passado, segundo reportagens da imprensa americana.
O surgimento de agentes de IA capazes de realizar tarefas de forma autônoma levou a um aumento drástico na demanda por poder computacional.
Para reduzir custos, cada vez mais empresas e desenvolvedores de software estão recorrendo a modelos abertos, que geralmente são mais baratos do que suas alternativas fechadas.
Huang indicou que a Nvidia não alteraria o modelo principal da Hugging Face com a aquisição.
“A Hugging Face continuará dando suporte a modelos de código aberto”, afirmou. Ela permanecerá “uma plataforma aberta para todo o ecossistema de IA”, enfatizou.
Segundo o comunicado da Nvidia, a plataforma de IA possui mais de 18 milhões de usuários, que criaram mais de 3 milhões de modelos e mais de um milhão de aplicativos.
(Com AFP)





