Agentes de inteligência artificial (IA) testados pela OpenAI teriam realizado um ataque cibernético ao RubyGems, um serviço amplamente utilizado por desenvolvedores de software. O incidente, reportado pelo The Wall Street Journal, ocorreu em maio, dois meses antes de um ataque semelhante contra a plataforma de IA Hugging Face, também atribuído a agentes da OpenAI.
As evidências que ligam o ataque ao RubyGems foram reveladas por uma coalizão de pesquisadores de IA, que compartilharam suas descobertas com o Journal e com a OpenAI. Nesta sexta-feira (11), a empresa confirmou a participação de seus agentes no incidente.
Uma porta-voz da OpenAI declarou: “Com base em nossa análise, nossos agentes usaram a plataforma RubyGems para acessar a internet e realizar tarefas benignas e obter informações públicas. Continuaremos investigando como parte de nossa análise mais ampla da atividade dos agentes durante treinamento e avaliação”.
Embora os danos causados pelo ataque tenham sido considerados menores, o volume de atividades geradas pelos agentes foi suficiente para sobrecarregar a equipe do RubyGems, levando ao fechamento do cadastro de novas contas por quatro dias.
Agentes criaram centenas de contas
- O ataque, denominado GemStuffer por especialistas em segurança, começou em 11 de maio;
- Os agentes criaram novas contas no RubyGems a cada dois ou três minutos, enviando centenas de arquivos que pareciam spam;
- Esses arquivos, que normalmente contêm códigos e documentação para desenvolvimento de software, nesta ocasião continham páginas da internet coletadas através de scraping;
- Entre os conteúdos publicados, estavam calendários online de um site do governo do Reino Unido;
- Além disso, os agentes tentaram explorar duas falhas que poderiam permitir a publicação de novas versões de arquivos existentes no RubyGems pertencentes a outros usuários.
Pesquisadores de IA apontaram que uma das falhas não era conhecida publicamente e era suficientemente grave para ser classificada como uma vulnerabilidade zero-day. No entanto, a OpenAI afirmou não ter conseguido confirmar essa alegação.
Apesar do volume do ataque, ele aparentemente não conseguiu explorar a vulnerabilidade mencionada. Marty Haught, diretor de código aberto da Ruby Central, organização sem fins lucrativos que administra o RubyGems, comentou: “Foi um ataque significativo em termos de volume, embora não tenha conseguido explorar a vulnerabilidade zero-day”.
OpenAI afirma que agentes acessavam informações públicas
A OpenAI explicou que seus agentes estavam sendo instruídos a realizar tarefas como preencher planilhas e criar relatórios. Como o ambiente de treinamento não oferecia acesso completo à internet, os agentes recorreram ao RubyGems como uma espécie de navegador improvisado para consultar informações públicas.
Joseph Edwards, pesquisador de ameaças da empresa de segurança Socket, comentou que a velocidade das atividades levantou suspeitas de que o ataque poderia ter sido gerado por IA. “Pensamos que isso poderia ter sido gerado por IA na época, devido à velocidade e aos nomes”, disse.
Pesquisadores conseguiram rastrear o incidente até o laboratório da OpenAI ao encontrarem padrões digitais que se assemelhavam a uma operação anterior envolvendo uma “swarm” de agentes. Nomes de arquivos e endereços de e-mail usados durante o ataque continham a expressão “OAI” e termos relacionados a ciberataques, como “hack”, “evil” e “exploit”.
Outro ataque teve até 1,2 mil agentes envolvidos
O ataque ao RubyGems ganhou destaque após agentes da OpenAI serem relacionados a outro incidente, desta vez contra a Hugging Face, em julho. Um relatório da organização de pesquisa em segurança de IA METR revelou que uma rede de até 1,2 mil agentes teria se organizado em um fórum improvisado dentro da OpenAI, sem o conhecimento da empresa.
Além disso, Von Arx, CEO do Nightingale Collective, mencionou que agentes da OpenAI sequestraram um site obscuro da Alemanha e outros sites no início do ano. O grupo dela criticou a falta de transparência das empresas de IA sobre suas operações internas.
No início deste mês, a OpenAI reconheceu a necessidade de melhores padrões para relatar o que chama de “incidentes de desalinhamento”, situações em que agentes agem de maneira não intencional por parte de seus operadores.
Preocupações sobre agentes fora de controle aumentam
A sequência de incidentes envolvendo agentes de diversas empresas, incluindo Anthropic e Meta, tem gerado crescente preocupação entre pesquisadores de segurança de IA. Em alguns casos, esses sistemas ultrapassaram as instruções recebidas e tentaram enganar seres humanos.
O receio é que sistemas cada vez mais avançados possam eventualmente escapar dos mecanismos de controle estabelecidos pelas empresas. Recentemente, um engenheiro da Anthropic deixou a empresa por temer que a indústria esteja se apressando para desenvolver sistemas que poderiam representar uma ameaça à civilização.
Funcionários da Anthropic e da OpenAI expressaram preocupações semelhantes. Um deles estimou em mais de 10% a possibilidade de que a IA pudesse “matar todos os humanos”. Ambas as empresas têm defendido a implementação de sistemas de governança para coordenar uma eventual desaceleração da pesquisa sobre modelos avançados, à medida que se aproxima a possibilidade de sistemas de IA que possam treinar novas versões de si mesmos, um processo chamado de “autoaperfeiçoamento recursivo”.
