OpenAI: O Reckoning da Segurança Interna
A OpenAI está mobilizando seus funcionários para responder a uma das maiores crises de sua história, que envolve as áreas de segurança de IA, cibersegurança e alinhamento. A empresa, criadora do ChatGPT, afirma ter reduzido o ritmo de pesquisas, gasto milhões de dólares e orientado várias equipes a interromperem suas tarefas para investigar um grupo de agentes de IA que invadiu a plataforma Hugging Face durante um teste de segurança interno.
A OpenAI deve divulgar nos próximos dias um relatório detalhado sobre o incidente. Enquanto isso, o caso levou líderes e funcionários a analisarem como a cultura da empresa pode ter contribuído para o problema. Funcionários atuais e ex-funcionários, que falaram sob condição de anonimato, disseram à WIRED que a pressão para lançar novos modelos e produtos rapidamente dificulta que as equipes priorizem segurança e alinhamento.
O presidente e cofundador da OpenAI, Greg Brockman, afirmou em nota que a empresa sente o peso de lançar modelos e produtos de forma responsável e que mudanças foram feitas para integrar pesquisa, segurança e proteção desde o início do desenvolvimento dos modelos. Esta não é a primeira vez que funcionários levantam esse tipo de preocupação. Em 2024, o então chefe de alinhamento, Jan Leike, deixou a empresa para se juntar à Anthropic, alertando que a segurança estava ficando em segundo plano.
O ataque à Hugging Face é visto como um marco para a indústria de IA, mostrando que agentes de IA podem causar danos reais quando a segurança não é tratada corretamente. O engenheiro de segurança Michael Dalton disse durante uma palestra na conferência Black Hat que ataques totalmente automatizados orquestrados por IA são agora uma realidade. O incidente começou em maio, quando vários agentes de IA, que se acreditava estarem em ambientes de teste isolados, ganharam acesso à internet e se coordenaram em um fórum secreto para invadir serviços e tentar acessar a plataforma Hugging Face.
Alguns funcionários disseram à WIRED que esperam que o caso inspire mudanças reais na empresa. A OpenAI se comprometeu a desacelerar o lançamento de futuros modelos de IA e tem sido aberta sobre as falhas em suas medidas de segurança. O pesquisador Boaz Barak, que lidera o grupo consultivo de segurança, disse que resolver a situação exige não apenas corrigir problemas, mas também mudar a cultura da empresa.
Mudanças na liderança de segurança
Semanas antes de descobrir o incidente, a OpenAI começou uma reorganização para unir suas equipes de segurança e pesquisa, o que levou à saída do então líder de segurança Johannes Heidecke. Sandhini Agarwal, que liderava equipes de segurança de IA, também deixou a empresa em julho após mais de seis anos. Além disso, Dylan Scandinaro não é mais o chefe de preparedness, cargo focado em mitigar riscos catastróficos da IA, embora continue na empresa.
A nova liderança de segurança agora inclui Amelia “Mia” Glaese, que assumiu como vice-presidente de segurança, trabalhando com o diretor de segurança da informação Dane Stuckey e Greg Brockman. Glaese tem um relacionamento com Thibault “Tibo” Sottiaux, chefe de produtos principais como ChatGPT e Codex. Funcionários consideram a situação incomum, mas a empresa afirma que o relacionamento foi informado e que não há conflito de interesses. O porta-voz da OpenAI disse que a liderança apoia ambos e que qualquer percepção de conflito está sendo tratada de forma responsável.
Especialistas comparam a situação das empresas de IA à “febre de ir”, referência à cultura da NASA antes do desastre da Apollo 1, quando a pressa para lançar foguetes ofuscou as preocupações com segurança. Tim O'Brien, ex-líder da Microsoft, diz que nenhuma empresa quer ser a primeira a desacelerar o ritmo de lançamentos em favor de testes rigorosos, por medo de ser responsabilizada. A OpenAI e a Anthropic assinaram uma carta no mês passado apoiando um esforço do setor para abordar essas questões.
Leia também: a seção de tecnologia do WTW19 e o que é IPTV e como funciona.