A Anthropic, empresa de inteligência artificial, anunciou a contratação da Accenture como sua primeira avaliadora externa incorporada. Essa parceria visa implementar a proposta do CEO Dario Amodei de desacelerar o desenvolvimento de sistemas de IA mais avançados, priorizando a segurança.
Por meio dessa colaboração, especialistas da Faculty, divisão de IA da Accenture, terão a oportunidade de trabalhar diretamente nas instalações da Anthropic, avaliando os mecanismos de segurança da empresa. A iniciativa inclui testes de salvaguardas, simulações de ataques (red team) e análises para assegurar que os modelos de IA estejam alinhados a valores humanos.
Investimento e Financiamento
A Anthropic e a Accenture se comprometeram a investir pelo menos US$ 1 bilhão (aproximadamente R$ 5,3 bilhões) na construção de capacidades de segurança ao longo dos próximos cinco anos. A Anthropic, no entanto, anunciou que financiará diretamente as atividades da Accenture, dada a urgência do trabalho. No futuro, a expectativa é que esse tipo de financiamento possa ser sustentado por recursos compartilhados ou governamentais, conforme estabelecido no Advanced AI Framework da Anthropic, apresentado em junho.
Acesso Interno para Avaliadores
A proposta de Dario Amodei prevê que avaliadores independentes tenham acesso em nível de funcionário às operações da Anthropic. O objetivo é permitir que esses especialistas verifiquem diretamente as práticas de segurança e possam reportar incidentes. Ao divulgar essa iniciativa, Amodei enfatizou o compromisso da Anthropic em liderar essa etapa e incentivou outras empresas do setor a adotarem medidas semelhantes.
A parceria com a Accenture não será exclusiva. A Anthropic também está em conversas com a organização de pesquisa sem fins lucrativos METR e outras entidades que poderão participar do processo de avaliação. A empresa ainda destacou que a responsabilidade pela segurança de seus modelos permanecerá com ela, independentemente da presença dos avaliadores externos.
“Estamos compartilhando esses primeiros esforços agora para que as pessoas e outros desenvolvedores de IA possam ver nosso processo”, afirmou a Anthropic. A empresa espera ajustar sua abordagem conforme o setor evolui e se compromete a divulgar novas informações à medida que o trabalho avança e outros avaliadores forem integrados.
Reação do Setor
- O plano de Dario Amodei, apresentado em uma proposta de três etapas, busca conter o avanço acelerado dos sistemas de IA, em meio a crescentes discussões sobre os riscos da tecnologia;
- A proposta recebeu apoio de alguns líderes do setor, como Sam Altman, CEO da OpenAI, e Elon Musk, da Tesla e SpaceX. No entanto, Jensen Huang, CEO da Nvidia, questionou a necessidade de novas regulamentações;
- A iniciativa também gerou dúvidas sobre a viabilidade prática do plano, especialmente com a possibilidade de abertura de capital da Anthropic.
Com a parceria firmada com a Accenture, a Anthropic avança na concretização de uma das principais ideias de Amodei, ao permitir que uma organização externa tenha acesso direto para avaliar seus sistemas de segurança e detectar potenciais problemas antes que se tornem críticos.
