A OpenAI anunciou recentemente o desenvolvimento de uma abordagem para a preparação de ‘riscos catastróficos’ associados a sistemas de inteligência artificial altamente capazes. Esses modelos, ainda não alcançados, são chamados de “superinteligência artificial”. Nesse sentido, a empresa está construindo uma equipe de Preparação, liderada por Aleksander Madry, e lançou um desafio de Preparação contra guerra nuclear, químicas e biológicas.
Desse modo, a equipe de Preparação se concentrará na avaliação de capacidades, avaliações e red teaming interno para modelos de fronteira. Desde modelos de curto prazo até aqueles com capacidades de inteligência geral artificial (AGI).
Eles dizem que poderão rastrear, avaliar, prever e proteger contra riscos catastróficos em várias categorias. Incluindo persuasão individualizada, cibersegurança, ameaças químicas, biológicas, radiológicas e guerra nuclear (CBRN) e replicação e adaptação autônomas (ARA).
Além disso, a equipe desenvolverá e manterá uma Política de Desenvolvimento Informado por Risco (RDP), que detalhará a abordagem da OpenAI para desenvolver avaliações rigorosas de capacidade de modelo de fronteira e monitoramento, criando um espectro de ações protetoras e estabelecendo uma estrutura de governança para responsabilidade e supervisão.
OpenAI também lançou o Desafio de Preparação de IA para prevenção de uso catastrófico indevido. Eles oferecerão US$ 25.000 em créditos de API para até 10 principais submissões, publicarão ideias e entradas inovadoras e procurarão candidatos para a equipe de Preparação entre os principais concorrentes deste desafio.
