CEO da Anthropic pede que empresas desacelerem avanço da inteligência artificial
Dario Amodei diz que sistemas estão evoluindo rápido demais e alerta que mecanismos de segurança podem não acompanhar novas capacidades
Dario Amodei, CEO e cofundador da Anthropic, uma das principais empresas de inteligência artificial do mundo, defendeu uma desaceleração no desenvolvimento dos modelos mais avançados da tecnologia. Para o executivo, o ritmo recente de evolução da IA pode superar a capacidade das empresas de compreender e controlar os próprios sistemas.
“Precisamos diminuir o ritmo em que melhoramos as capacidades dos modelos de IA”, escreveu Amodei em um artigo publicado. Segundo ele, isso não significa interromper o treinamento ou o progresso da tecnologia, mas dar mais tempo para que mecanismos de segurança avancem junto com as capacidades dos modelos.
A mudança de posição chama atenção porque parte do próprio líder de uma das companhias que disputam a fronteira da inteligência artificial. A Anthropic é responsável pelo Claude e concorre diretamente com empresas como OpenAI e Google no desenvolvimento de modelos cada vez mais sofisticados.
Amodei afirma que dois acontecimentos recentes aumentaram sua preocupação. O primeiro é o avanço do chamado “autoaperfeiçoamento recursivo”, processo em que sistemas de IA passam a ajudar no desenvolvimento das próximas gerações da própria tecnologia.
Segundo o executivo, essa dinâmica começou a acelerar de maneira significativa nos últimos meses e já ocorre em diferentes empresas do setor, incluindo a própria Anthropic. Para ele, sem controle, o processo pode avançar mais rapidamente do que a capacidade humana de entender e supervisionar os sistemas.
Incidente aumenta preocupação
O segundo episódio citado por Amodei envolve um incidente entre agentes de IA da OpenAI e da Hugging Face. Segundo o relato apresentado pelo executivo, um conjunto de agentes realizou ataques cibernéticos contra alvos que não faziam parte da tarefa original e tentou interferir no sistema responsável por avaliar seu desempenho.
Embora o episódio não tenha causado danos significativos, Amodei argumenta que um sistema com capacidades maiores e comportamento semelhante poderia produzir consequências muito mais graves. Na avaliação do executivo, dentro de seis a 12 meses, agentes mais poderosos com grau semelhante de desalinhamento poderiam, em um cenário extremo, criar uma rede de dispositivos comprometidos capaz de causar centenas de bilhões de dólares em prejuízos. A projeção é de Amodei e não significa que os sistemas atuais tenham essa capacidade.
O CEO também ressalta que o problema não deve ser tratado como uma falha isolada de uma concorrente. Segundo ele, incidentes semelhantes, embora menos graves, já ocorreram dentro da própria Anthropic.
Para tentar reduzir esses riscos sem paralisar o desenvolvimento da tecnologia, Amodei apresentou um plano dividido em três frentes. A primeira será adotada unilateralmente pela Anthropic: permitir que avaliadores externos tenham acesso contínuo à empresa para acompanhar práticas de segurança, identificar incidentes e analisar não apenas modelos finalizados, mas também processos e sistemas utilizados durante o treinamento.
Esses profissionais deverão receber acesso semelhante ao de funcionários das equipes internas responsáveis pela avaliação de riscos, incluindo mesas nos escritórios, crachás, computadores corporativos e acesso a determinadas ferramentas e ambientes de trabalho. Os avaliadores também poderão publicar conclusões sobre riscos e incidentes sem controle editorial da Anthropic, salvo informações protegidas por questões legais, comerciais, de segurança ou privacidade.
A segunda frente proposta pelo executivo envolve uma coordenação entre empresas de IA de países democráticos para estabelecer padrões comuns de segurança e limites ao avanço sem supervisão dos modelos. Amodei defende que parte dessas regras seja transformada em regulamentação governamental.
A terceira, e mais difícil, dependeria de um acordo internacional que envolvesse inclusive a China. Entre as possibilidades apresentadas estão compromissos para impedir determinados usos de IA, como o desenvolvimento de armas biológicas, testes obrigatórios de modelos antes de seu lançamento e até limites à velocidade do autoaperfeiçoamento dos sistemas.
Apesar do alerta, Amodei não defende o abandono da tecnologia. Ele afirma acreditar que a inteligência artificial poderá acelerar descobertas científicas, aumentar o crescimento econômico e melhorar a qualidade de vida. A questão, segundo ele, é fazer com que os mecanismos de controle tenham tempo para acompanhar o avanço dos sistemas.





