A OpenAI está sob o olhar atento de especialistas em segurança após anunciar uma nova técnica de raciocínio a ser utilizada em seu próximo modelo de inteligência artificial, denominado Astra. Essa abordagem, chamada de “recorrência opaca”, promete revolucionar a forma como os modelos processam informações, mas gera inquietação quanto à dificuldade de monitoramento de suas operações internas. O método de “recorrência opaca” permite que o modelo opere além do pensamento sequencial que caracteriza a maioria dos sistemas de IA atuais. Essa mudança suscita preocupações, pois pode dificultar a visibilidade sobre o que o modelo está realizando, tornando mais complicado identificar comportamentos potencialmente perigosos.
De acordo com informações do site The Information, a OpenAI pretende restringir o uso dessa técnica no Astra, porém a perspectiva de uma adoção mais ampla no futuro tem despertado reações entre os pesquisadores da área. Buck Shlegeris, CEO da Redwood, expressou sua profunda preocupação em relação a essa nova abordagem, afirmando que, embora não tenha certeza se o Astra será menos monitorável do que seus antecessores, a possibilidade de um aumento significativo na utilização da técnica pode comprometer a monitorabilidade do sistema por meio da cadeia de pensamento.
Implicações da técnica de recorrência opaca
Tradicionalmente, um modelo de raciocínio segue uma série de etapas ao tentar resolver um problema, o que, embora não seja uma representação perfeita, proporciona uma ferramenta valiosa para a supervisão de comportamentos inadequados ou desalinhamentos. A cadeia de pensamento tem sido crucial na análise de comportamentos problemáticos de agentes de IA, permitindo que os pesquisadores compreendam melhor as decisões que esses sistemas tomam. Entretanto, a introdução da recorrência opaca pode afetar gravemente essa supervisão. Ao invés de seguir uma sequência linear, a técnica possibilita que o modelo execute processamentos recorrentes. Especialistas alertam que quanto mais essa abordagem for utilizada, mais desafiador será observar e interpretar como o sistema chegou a determinadas conclusões.
Outro defensor da segurança em IA, Zvi Mowshowitz, também se manifestou sobre o tema, sugerindo que podem ser necessárias regulamentações para evitar uma “corrida para o fundo do poço” entre os laboratórios que desenvolvem inteligência artificial. Ele ressaltou que a técnica pode arriscar um tabu que a OpenAI e a Anthropic têm tentado estabelecer, que é a manutenção da fidelidade e monitorabilidade da cadeia de pensamento.
Posição da OpenAI sobre a legibilidade do modelo
Apesar das preocupações levantadas, a OpenAI afirmou que o uso da técnica no Astra será limitado e que a cadeia de pensamento do modelo deve permanecer legível. A empresa negou qualquer sugestão de que o sistema adotaria um tipo de processamento completamente inacessível, frequentemente referido como “neuralese”. Além disso, a OpenAI anunciou planos para desenvolver sistemas robustos de monitoramento da cadeia de pensamento como parte de suas estratégias de segurança futuras. Os receios dos especialistas, portanto, não estão necessariamente relacionados ao comportamento atual do Astra, mas sim aos riscos potenciais que podem surgir caso a técnica de recorrência seja expandida em versões futuras. O temor é que um aumento substancial na recorrência torne os processos internos dos modelos cada vez mais difíceis de acompanhar, especialmente à medida que suas capacidades evoluem.
