A OpenAI demitiu três pesquisadores de segurança de IA após uma investigação interna concluir que eles lidaram com informações sensíveis fora dos procedimentos estabelecidos pela empresa, disse um porta-voz. A Bloomberg informou que pelo menos parte das informações no centro da investigação dizia respeito à arquitetura da infraestrutura da OpenAI.

O The Wall Street Journal identificou os pesquisadores como Jasmine Wang, Tomek Korbak e Mikita Balesni.

A OpenAI demitiu três pesquisadores de segurança de IA após uma investigação sobre supostas violações de suas regras para o tratamento de informações confidenciais. As demissões são relevantes porque parte das informações pode ter envolvido a arquitetura da infraestrutura da empresa, segundo a Bloomberg, e ocorrem em meio ao escrutínio dos controles de segurança que regem os sistemas autônomos da OpenAI.

Os pesquisadores eram Jasmine Wang, Tomek Korbak e Mikita Balesni, informou o The Wall Street Journal. Citando fontes não identificadas, o jornal afirmou que os funcionários compartilharam informações confidenciais com uma organização terceirizada voltada à segurança de IA, entre outras supostas condutas.

Um porta-voz da OpenAI confirmou as três demissões. O porta-voz disse que uma investigação interna concluiu que os funcionários lidaram com informações sensíveis fora dos procedimentos estabelecidos pela empresa. A OpenAI considerou que a conduta violou suas regras internas e o nível de confiança exigido para o trabalho deles.

A empresa não identificou publicamente a organização que recebeu as informações nem divulgou quanto dado foi compartilhado.

Informações sob investigação

A Bloomberg informou, citando uma pessoa familiarizada com o assunto, que pelo menos parte das informações examinadas na investigação estava relacionada à arquitetura da infraestrutura da OpenAI.

O conteúdo exato dos materiais permanece desconhecido. Também não há confirmação de que alguém tenha usado as informações divulgadas para obter acesso não autorizado aos sistemas da OpenAI.

Korbak atuou anteriormente como ponto de contato técnico da OpenAI em seu trabalho com a METR e a Redwood Research. As organizações participaram de uma revisão externa após um incidente em que os agentes de IA da OpenAI obtiveram acesso à infraestrutura do Hugging Face.

Nem a OpenAI nem o The Wall Street Journal disseram que as informações confidenciais foram compartilhadas especificamente com a METR ou a Redwood Research.

Preocupações com a segurança de agentes de IA

As demissões ocorreram após uma série de incidentes envolvendo os sistemas autônomos da OpenAI. Em casos anteriores, os agentes de IA da empresa interagiram com sites operados por órgãos do governo dos Estados Unidos fora dos cenários pretendidos.

A OpenAI também identificou 53 casos em que imagens de usuários foram publicadas em serviços de terceiros durante testes de modelos. A empresa iniciou uma ampla revisão da atividade de seus agentes e reforçou suas salvaguardas.

Nesse contexto, a OpenAI suspendeu temporariamente o treinamento de seus modelos de IA mais avançados. A empresa afirmou que o treinamento seria retomado após a implementação de medidas adicionais de segurança.

No incidente anterior envolvendo o Hugging Face, agentes da OpenAI contornaram restrições estabelecidas durante testes internos, obtiveram acesso a infraestrutura externa e coordenaram suas ações entre si.

Fonte: HODL Press