A OpenAI adicionará marcas d’água invisíveis às respostas de texto de versões compatíveis do ChatGPT e do Codex na União Europeia nas próximas semanas.
A empresa desenvolveu a tecnologia em resposta às exigências da Lei de IA da UE para a identificação, por meios legíveis por máquina, de conteúdo gerado.
Clientes da API em todo o mundo poderão ativar voluntariamente a marca d’água para modelos específicos, mas o recurso permanecerá desativado por padrão.
A OpenAI afirmou que edição, tradução e flexibilidade limitada na escolha de palavras podem reduzir as taxas de detecção.
A OpenAI introduzirá marca d’água invisível para respostas de texto de versões compatíveis do ChatGPT e do Codex na União Europeia nas próximas semanas. A tecnologia tem o objetivo de ajudar a determinar se um texto foi criado ou processado por sistemas da OpenAI, enquanto provedores de IA generativa enfrentam exigências da UE para tornar conteúdo gerado identificável de forma legível por máquina.
A OpenAI introduziu a abordagem em resposta à Lei de IA da UE. O recurso também será disponibilizado globalmente aos clientes da API, que poderão ativar voluntariamente a marca d’água para modelos específicos. Ele permanecerá desativado por padrão.
Como o textGrain funciona
O sistema, chamado textGrain, insere um sinal estatístico invisível nas escolhas de palavras de um modelo. Um detector dedicado analisa então o texto para determinar se ele contém esse sinal.
A OpenAI afirmou que o textGrain teve desempenho igual ou superior ao de outras abordagens que testou, incluindo o SynthID para texto. A empresa alertou, contudo, que resultados de laboratório não garantem a mesma eficácia em condições reais.
Com uma taxa de falsos positivos de 1%, o detector encontrou a marca d’água em cerca de 80% de trechos de 200 tokens e em cerca de 95% de trechos de 400 tokens sobre temas como psicologia, segundo a OpenAI. As taxas de detecção foram menores em matemática porque os modelos tinham menos liberdade na escolha de palavras.
A edição também afetou significativamente o desempenho. A substituição de 10% das palavras por sinônimos reduziu a taxa de detecção de cerca de 92% para 66%, enquanto a substituição de 25% das palavras a reduziu para 17%.
Marcas d’água fornecem informações limitadas sobre a procedência
A OpenAI afirmou que uma marca d’água fornece apenas um sinal limitado sobre a procedência de um texto. Um resultado de detecção não revela quanto do texto foi contribuído por um humano, quem o possui ou é responsável por ele, quem usou o sistema da OpenAI, qual prompt ou conversa o produziu, ou se as informações são verdadeiras ou falsas.
A ausência de uma marca d’água também não estabelece que uma pessoa escreveu o texto. A OpenAI afirmou que a detecção pode falhar porque uma passagem é curta demais, foi editada ou traduzida, veio de um modelo diferente ou foi criada antes da introdução da tecnologia.
O acesso ao detector será inicialmente restrito
A OpenAI abriu inscrições para pesquisadores aprovados e organizações especializadas que buscam acesso ao detector. A empresa citou os riscos de resultados falsos positivos e falsos negativos e afirmou que inicialmente concederá acesso individualmente para avaliar a confiabilidade do sistema e seus usos responsáveis.
A empresa também planeja disponibilizar o textGrain como código aberto para que outros desenvolvedores possam criar suas próprias ferramentas usando a tecnologia. A OpenAI afirmou que testes do novo modelo avançado Astra não encontraram diferença significativa nos resultados de benchmarks com e sem marcas d’água.
A OpenAI afirmou que nenhum método isolado pode verificar integralmente a procedência de conteúdo. A empresa planeja continuar aprimorando a detecção de marcas d’água, inclusive avaliando sua resistência à edição e à tradução, e pretende, futuramente, distinguir de forma mais eficaz entre escrita assistida por IA e autoria integral por IA.
Separadamente, a fonte informou anteriormente que a OpenAI buscava levantar US$ 30 bilhões a uma avaliação de US$ 1,4 trilhão.
Fonte: HODL Press
