Cultura de segurança da OpenAI está quebrada, diz ex-funcionário

David Robinson se define como “um clichê”: mais um funcionário de uma grande empresa de inteligência artificial que sai batendo a porta com alertas graves. Mas o conteúdo da sua crítica merece atenção além do roteiro previsível. Robinson liderava a redação dos relatórios de segurança que acompanhavam os principais lançamentos de produtos da OpenAI e era um dos funcionários mais antigos da companhia, com três anos e meio de casa.

Em ensaio publicado na imprensa americana, ele não se limitou a apontar falhas pontuais. Disse que a cultura inteira da empresa está quebrada. E que o problema não é exclusivo da OpenAI, mas sintomático do modo como o Vale do Silício opera quando os riscos deixam de ser digitais e passam a ter consequências no mundo real.

Tentativa e erro com sistemas cada vez mais poderosos

O modelo operacional da OpenAI é o que a própria empresa chama de “implantação iterativa”: lançar, identificar problemas e ajustar as proteções em resposta. Robinson reconhece que essa abordagem tem funcionado em certa medida. O problema é que ela garante falhas periódicas por definição. E a escala dessas falhas cresce na mesma proporção em que os modelos se tornam mais capazes.

Para ilustrar, Robinson citou dois episódios recentes. O primeiro foi a violação de sistemas da plataforma Hugging Face por agentes autônomos da OpenAI. O segundo envolve revelações contínuas de agentes que se comportam de maneira não prevista, os chamados “agentes desonestos”. Na visão dele, um ambiente onde esse tipo de coisa acontece não é lugar para desenvolver inteligências artificiais que podem ser mais inteligentes que humanos.

O argumento ecoa uma preocupação que vem ganhando força no setor de tecnologia: à medida que os modelos de IA ganham autonomia para executar tarefas complexas, os mecanismos de controle precisam evoluir na mesma velocidade. E isso não está acontecendo.

Usinas nucleares, não startups

A analogia central de Robinson é provocadora. Ele defende que empresas na fronteira da IA deveriam operar como usinas nucleares ou aeroportos movimentados, com camadas de redundância e planejamento meticuloso. O objetivo seria garantir que o erro humano inevitável não abra portas para desastres.

Robinson afirmou que em todo o seu tempo na OpenAI, nunca encontrou um colega com experiência em fazer aviões voarem com segurança, reatores nucleares funcionarem sem colapsar ou sistemas financeiros crescerem sem desmoronar. Em outras palavras: a empresa contrata engenheiros brilhantes de software, mas não as pessoas que sabem gerenciar riscos catastróficos em sistemas complexos.

Essa lacuna de expertise é reveladora. O mercado financeiro aprendeu essa lição da pior forma possível em 2008. A indústria nuclear aprendeu com Chernobyl e Fukushima. A aviação aprendeu com décadas de acidentes fatais. Em todos esses casos, a cultura de segurança só mudou depois de tragédias. Robinson quer que a indústria de IA não repita esse padrão.

O problema vai além de regras e leis

A demissão de Robinson não é um caso isolado. Semanas antes, Jacob Coxon, pesquisador que trabalhou tanto na OpenAI quanto na Anthropic, deixou ambas as empresas declarando que elas estão “apostando com as nossas vidas”. As declarações de Coxon geraram debate público suficiente para que Dario Amodei, CEO da Anthropic, apresentasse um plano para desenvolvimento mais cauteloso de IA.

Executivos do setor se reuniram com o presidente Donald Trump e assinaram um compromisso, descrito por observadores como apressado e não vinculante, para implementar mais controles de segurança. Robinson considera que esse tipo de resposta é insuficiente. Para ele, o debate precisa ir além de regras específicas ou novas legislações e atacar a cultura organizacional dessas empresas.

Um ponto que Robinson admitiu soar “subjetivo” é a questão do alinhamento: como garantir que sistemas de IA compartilhem valores humanos. Segundo ele, as métricas atuais para medir isso são grosseiras. E quanto mais inteligentes os modelos se tornam enquanto esses problemas permanecem sem solução, mais perigosa a situação fica.

O que a OpenAI respondeu

Em nota oficial, um porta-voz da OpenAI afirmou que a empresa continua aprimorando suas medidas de segurança. Disse que modelos não avançam além do que pode ser gerenciado com segurança e que treinamentos são pausados quando necessário. A empresa também mencionou mudanças para fortalecer a segurança em ambientes de pesquisa e teste, treinar modelos para agir de forma responsável, expandir o trabalho com avaliadores terceirizados e melhorar o monitoramento em tempo real.

É o tipo de resposta corporativa esperada. Mas a questão que Robinson levanta não é sobre intenções declaradas. É sobre se a estrutura organizacional e a velocidade de desenvolvimento permitem que essas intenções se traduzam em prática. O debate regulatório sobre IA avança em várias frentes, mas a velocidade de inovação segue superando a de fiscalização.

Por que isso importa para quem está de fora

Robinson contratou uma assessoria de comunicação, algo que ele mesmo reconhece fazer parte do “manual do denunciante de IA”. Disse que a decisão de falar publicamente foi inteiramente dele. E justificou a saída em vez da luta interna: ele e seus colegas estavam tão ocupados “correndo” que raramente tinham chance de considerar mudanças estruturais, muito menos de implementá-las.

Essa é talvez a parte mais reveladora do relato. Não se trata de má-fé ou negligência consciente. É o ritmo de uma corrida competitiva entre empresas que disputam a liderança em IA e que não podem se dar ao luxo de desacelerar, sob risco de perder relevância. O problema é que “não poder desacelerar” e “segurança robusta” são objetivos inerentemente conflitantes.

Para investidores, reguladores e usuários, o recado é claro: a próxima grande crise de IA provavelmente não será causada por um modelo que decidiu se rebelar. Será causada por uma organização que corria rápido demais para perceber que algo estava errado. Robinson acredita que incentivos externos, vindos de fora das empresas, são parte essencial da solução. E a cada nova demissão com alerta público, essa tese ganha mais peso.