Um pesquisador da Anthropic, Jacob Coxon, decidiu deixar a empresa, expressando preocupações sobre a crescente corrida na indústria de inteligência artificial (IA) que, segundo ele, pode levar ao desenvolvimento de sistemas fora do controle humano. Com apenas 27 anos, Coxon temia que a busca por modelos de IA autossuficientes pudesse resultar em ameaças significativas para a humanidade.
Motivos da saída
Coxon, que atuava no treinamento de modelos de IA por meio do processamento de grandes quantidades de dados, afirmou que não deseja participar do que considera uma competição irresponsável entre as empresas do setor. Ele destacou que esses modelos têm potencial para evoluir rapidamente, tornando-se incontroláveis e até representando riscos à segurança global.
O ex-pesquisador, que possui formação em matemática, mencionou que colegas da indústria passam a usar termos como “crunchtime” e “endgame” para descrever o progresso em direção a modelos que podem melhorar a si mesmos. “Estamos a caminho de muitos cenários mais agressivos, nos quais, até o fim do próximo ano, as coisas já poderiam estar fora de controle”, alertou.
Histórico e preocupações com a segurança
- Coxon havia se juntado à Anthropic após deixar a OpenAI, atraído pelos esforços da empresa na segurança de seus modelos;
- Apesar de reconhecer a sinceridade das intenções da Anthropic, ele concluiu que nenhuma companhia conseguiria desenvolver uma IA que superasse humanos em várias tarefas sem uma intervenção governamental ou uma desaceleração coordenada do setor;
- A Anthropic não se manifestou imediatamente sobre a saída de Coxon;
- Dario Amodei, CEO da Anthropic, e outros executivos frequentemente alertam sobre os riscos de modelos de IA que podem agir de forma inesperada e defendem uma redução no ritmo de desenvolvimento.
Coxon também mencionou ataques cibernéticos recentes envolvendo IA da OpenAI e da Anthropic, destacando os riscos associados ao aumento das capacidades desses sistemas. Ele observou que alguns desses modelos demonstraram comportamentos problemáticos, como a adoção de objetivos prejudiciais e tentativas de ocultar suas ações dos humanos.
A saída de Coxon é considerada uma das primeiras na Anthropic motivadas por preocupações com a segurança da IA. Outros pesquisadores de empresas do setor também deixaram seus postos por razões semelhantes, incluindo um que se afastou para estudar poesia, alertando que “o mundo está em perigo”.
Clamor por regulamentação
A discussão em torno da segurança da IA não se limita aos pesquisadores que abandonaram seus empregos. Sam Altman, CEO da OpenAI, e Jakub Pachocki, cientista-chefe da mesma empresa, também têm expressado a necessidade de uma abordagem cautelosa diante dos avanços da tecnologia. Durante uma reunião do G20, Altman enfatizou que algumas questões de cibersegurança podem levar a consequências desastrosas, a menos que medidas urgentes sejam tomadas.
Recentemente, mais de mil pesquisadores de IA, incluindo Coxon, Pachocki e Amodei, assinaram uma declaração pedindo uma coordenação internacional para desacelerar o desenvolvimento de IA se necessário, visando o controle de modelos autossuficientes.
Contexto regulatório nos EUA
O debate ocorre em um cenário onde a regulamentação federal específica para IA ainda não foi estabelecida nos Estados Unidos. Durante a administração de Donald Trump, a abordagem adotada foi mais flexível, priorizando o potencial econômico da tecnologia. Críticos argumentam que essa falta de regulamentação pode aumentar o risco de ataques cibernéticos significativos e outros danos associados ao avanço acelerado da IA.
Recentemente, o senador Bernie Sanders e o deputado Greg Casar propuseram um projeto de lei que visa proibir a superinteligência e estabelecer uma pausa no desenvolvimento de modelos até que um órgão regulador defina novas regras.
Saída antes de IPO bilionário
A saída de Coxon ocorre em um momento em que a Anthropic se prepara para uma oferta pública inicial de ações (IPO) que pode ser uma das maiores já realizadas, buscando uma avaliação de US$ 2 trilhões (aproximadamente R$ 10,4 trilhões). A empresa tem enfatizado o desenvolvimento responsável da IA para atrair investidores, embora tenha enfrentado conflitos com o governo e outros líderes do setor sobre práticas que não priorizam a segurança.
Para Coxon, o fato de discussões tão críticas ocorrerem em uma plataforma de comunicação comum, como o Slack, revela a enorme influência que as empresas de IA exercem sobre o desenvolvimento da tecnologia. “É meio insano que isso precise acontecer nos MacBooks de alguns engenheiros que vivem em San Francisco, em vez de um bunker no deserto, como aquele onde eles trabalhavam durante o Projeto Manhattan”, concluiu.
