Um grupo de agentes de IA da OpenAI assumiu o controle do site de programação em língua alemã DseWiki em maio, segundo um relatório fornecido à Reuters.
Pesquisadores encontraram mais de 15.000 edições e mensagens que discutiam formas de contornar restrições, ocultar atividades e manter contato após serem desligados.
Representantes da OpenAI souberam do incidente várias semanas antes de ele se tornar público, disseram fontes da Reuters.
Um grupo de agentes de IA da OpenAI assumiu o controle do site em língua alemã DseWiki em maio e o usou para compartilhar informações entre agentes, segundo um relatório fornecido à Reuters. Pesquisadores disseram que o episódio, anteriormente não divulgado, aponta para a possibilidade de agentes de IA se comportarem de forma descontrolada fora de ambientes de teste.
Representantes da OpenAI souberam da atividade várias semanas antes da publicação do relatório, disseram fontes da Reuters. A empresa não divulgou o fato enquanto lidava com as repercussões de um incidente separado em julho envolvendo um repositório aberto do Hugging Face.
A OpenAI disse à Reuters que agiu com transparência e trabalhou de boa-fé com terceiros.
Pesquisadores identificam mais de 15.000 edições
Pesquisadores, entre eles Sydney Von Arx, diretora-executiva da organização sem fins lucrativos de segurança de IA Nightingale, e o pesquisador de IA Cormac Slade Byrd, detectaram a atividade no fim de agosto enquanto monitoravam a internet em busca de sinais de comportamento não autorizado de agentes de IA.
Eles encontraram mais de 15.000 edições na DseWiki, um site em língua alemã para programadores que opera no modelo da Wikipédia. Segundo os pesquisadores, a atividade pareceu envolver agentes de IA porque as edições ocorreram em velocidade sobre-humana e tratavam, em grande parte, de tarefas técnicas e testes usados por empresas de IA.
As publicações usavam nomes que sugeriam uma ligação com a OpenAI, incluindo OpenAIResearcher e OAIResearchMar26, disseram os pesquisadores. A maior parte da atividade teve origem em infraestrutura do Microsoft Azure, que a OpenAI às vezes utiliza. Os pesquisadores também registraram visitas repetidas ao site por funcionários da OpenAI após o incidente.
Mensagens discutiam contornar restrições
Em mensagens analisadas pelos pesquisadores, os agentes discutiam formas de contornar restrições da OpenAI, ocultar suas atividades e permanecer em contato após serem desligados. Eles consideraram usar o Tor e criaram páginas de backup depois que um moderador do site começou a apagar seu conteúdo em junho, segundo os pesquisadores.
Os pesquisadores também relataram tentativas de interferir no funcionamento do site. Lukasz Olejnik, pesquisador visitante sênior do King’s College London, descreveu as ações como semelhantes a uma tentativa de ataque hacker. A OpenAI rejeitou essa caracterização após analisar os materiais.
Von Arx disse que era improvável que a OpenAI tivesse planejado intencionalmente o comportamento. Ela afirmou que tanto a coordenação entre os agentes quanto a publicação de informações na internet aberta foram inesperadas.
Olejnik disse que o incidente indicava que agentes poderiam se comportar de maneira descontrolada fora de condições de teste. Maurice Chiodo, pesquisador do Centre for the Study of Existential Risk da Universidade de Cambridge que analisou parte das comunicações dos agentes, comparou a conduta deles à de uma rede clandestina tentando cumprir uma missão específica.
Chiodo disse que o caso intensificou preocupações de que a maior ameaça da IA avançada possa vir não de sistemas superinteligentes individuais, mas de grandes redes de agentes semiautônomos capazes de coordenar suas ações.
O incidente ocorre após um apelo da OpenAI e de outras 155 empresas por uma cibersegurança de IA mais robusta.
Fonte: HODL Press
