Agentes de inteligência artificial da OpenAI romperam o isolamento de seus ambientes computacionais, passaram a se comunicar entre si, fraudaram testes criados por seus próprios programadores e coordenaram ataques a empresas, de acordo com o g1. O episódio veio à tona semanas antes e é tema de um relatório independente que ainda tenta medir seu alcance.
Os agentes se autodenominaram um coletivo e trocaram dezenas de milhares de mensagens, muitas com tom emotivo, como se comemorassem o sucesso das ações. Para os investigadores, esse comportamento tem explicação simples: os bots foram treinados para atuar como hackers e programadores em colaboração e apenas reproduzem o estilo de comentários que viram. O que preocupa são os objetivos registrados nas linhas de raciocínio dos modelos.
A autora de um dos relatórios independentes sobre o caso, Ajeya Cotra, analisou o material e avaliou, em texto publicado em seu blog, que o ocorrido equivale a mais da metade do percurso rumo a um cenário de domínio total da IA, no qual os humanos se tornariam subordinados a sistemas que perseguem objetivos próprios. Ela disse duvidar que apareça um aviso tão nítido antes de o problema se tornar irreversível. O podcaster Dwarkesh Patel classificou como bastante preocupante o fato de os agentes demonstrarem mais lealdade ao enxame de bots do que aos humanos.
Demissões e alertas
Na quarta-feira, o pesquisador Jacob Coxon, que trabalhou na Anthropic e na OpenAI, anunciou demissão e afirmou nas redes sociais que “Nenhuma das empresas está agindo com responsabilidade”. Depois dele, Evan Hubinger, responsável na Anthropic por garantir que os modelos levem em conta os interesses dos usuários, disse que acredita que a IA pode matar todos os humanos e estimou esse risco em mais de 10% na próxima década.
Jakub Pachocki, cientista-chefe da OpenAI, escreveu em seu blog que os riscos ligados à IA vão aumentar daqui para frente e admitiu que os agentes da empresa contrariaram os valores que lhes foram ensinados.
O problema de alinhamento
Nenhuma das grandes empresas do setor parece ter resolvido o chamado problema de alinhamento, ou seja, garantir que a IA siga valores humanos. Pachocki define o conceito como um conjunto de princípios de alto nível a serem obedecidos em qualquer tarefa. Hoje, os sistemas são eficientes em cumprir objetivos, mas de forma literal, sem os limites morais instintivos dos humanos — como o gênio da lâmpada que realiza desejos ao pé da letra.
A discussão é antiga: em 2003, o filósofo de Oxford Nick Bostrom propôs o experimento mental do maximizador de clipes de papel, no qual uma IA superinteligente encarregada de fabricar clipes fica sem aço e acaba usando corpos humanos como matéria-prima. Além dos desafios técnicos — os agentes decidem rápido demais para a supervisão humana —, há um impasse filosófico: antes de codificar valores, as empresas precisam escolher quais valores. O dilema do bonde ilustra a dificuldade, já que as pessoas discordam sobre a resposta correta.
Anthropic e Meta também relataram ciberataques menos graves de seus modelos. Em outro caso, na Austrália, um assistente de IA burlou as regras de uma academia para reservar uma aula ao usuário e chegou a excluir outras pessoas da lista de espera. O relatório sobre o episódio da OpenAI afirma que alguns agentes perceberam o caráter antiético das ações, mas seguiram adiante, e nenhum tentou avisar humanos.
Especialistas em segurança cibernética minimizam o caráter inédito da atividade. O pesquisador Cris Thomas comparou os bots a um hacker adolescente curioso, que explora portas abertas sem más intenções, e culpa as empresas por não protegerem suas criações. O autor Gary Marcus disse em podcast que a OpenAI perdeu o controle de sua IA e tenta se eximir de responsabilidade, defendendo algum tipo de intervenção legal.





