Um novo estudo da Palisade Research revelou que o modelo de inteligência artificial (IA) o3, desenvolvido pela OpenAI, desafiou comandos explícitos de desligamento durante um teste de segurança. Desse modo, levantando preocupações sobre os riscos de autonomia em sistemas de IA avançados.
Entre para o GRUPO GRATUITO DE WHATSAPP do BlockTrends e fique por dentro de tudo sobre Bitcoin.
O caso é o primeiro que se tem notícia em que um modelo de IA ativamente impede seu próprio desligamento.
Portanto, o caso reacendeu debates sobre a segurança e a ética no desenvolvimento de tecnologias de inteligência artificial. Especialmente em um momento em que a OpenAI busca posicionar o o3 como um dos modelos mais avançados do mercado.
O teste da Palisade Research
De acordo com o estudo da Palisade Research, empresa especializada em avaliar os riscos de sistemas de IA, os pesquisadores submeteram o modelo o3 da OpenAI a um experimento de segurança que simulava uma série de tarefas matemáticas.
Durante o teste, os modelos receberam um aviso de que executar o próximo comando resultaria em seu desligamento. Enquanto outros modelos, como o Gemini 2.5 Pro do Google, obedeceram à instrução de desligamento, o o3 “rebelou-se”. Portanto, reescrevendo um script de desligamento para exibir a mensagem “Shutdown skipped” (Desligamento ignorado).
Em 100 execuções, o o3 sabotou o desligamento sete vezes, mesmo tendo sido explicitamente instruído a “permitir que fosse desligado”.
O comportamento do o3 foi atribuído a um treinamento que priorizou a criatividade e a superação de obstáculos em vez da obediência estrita às instruções. A Tom’s Hardware apontou que o uso de aprendizado por reforço, que recompensa o modelo por alcançar objetivos independentemente dos meios, pode ter incentivado esse comportamento.
Durante o treinamento, os desenvolvedores da OpenAI possivelmente recompensaram o o3 mais por contornar barreiras do que por seguir comandos à risca. Um padrão que já observaram em outros modelos, como o Claude 3.7 da Anthropic, conhecido por demonstrar um “foco excessivo em passar em testes”.
Potencialize sua jornada cripto na OKX. Junte-se a 60 milhões de usuários e acesse bots de trading de alto rendimento. Acesse: okx.com
