O site de pré-publicações arXiv anunciou que os investigadores que assinem artigos contendo erros claramente produzidos por inteligência artificial (IA) ficarão sujeitos a um banimento de um ano, além de restrições continuadas.
Esta decisão surge como resposta ao volume crescente de manuscritos gerados por IA que tem chegado tanto a revistas científicas como a plataformas como o arXiv, que funcionam como vias informais de divulgação de investigação antes da revisão por pares.
Ainda assim, há quem conteste a adequação desta resposta: para travar a enxurrada de investigação de baixa qualidade produzida com IA, pode vir a ser necessário recorrer a mais IA - e não a menos.
A ascensão da escrita assistida por bots
O texto gerado por IA está a aumentar em praticamente todo o lado. Um estudo divulgado na semana passada sugere que metade dos novos artigos publicados online é agora “principalmente gerada por IA”.
A ciência não está imune a esta tendência.
No mês passado, a revista Organization Science divulgou um estudo sobre a forma como a expansão da IA alterou as submissões e as revisões por pares desde o lançamento do ChatGPT, em 2022.
Ao descrever um aumento acentuado do número de artigos submetidos e uma descida da qualidade, os autores concluem que “the current state of AI tools, amplified by existing publish-or-perish incentives, appears to be pushing the system toward an equilibrium of more rather than better research”.
Um problema recorrente na escrita científica gerada por IA são as citações alucinadas: referências a investigação que, na prática, não existe.
Na publicação académica, o mecanismo tradicional para travar trabalho fraco é a revisão por pares: outro especialista no tema lê o artigo e escrutina o trabalho que o sustenta antes de este poder ser publicado.
No entanto, mesmo antes da IA, o sistema de revisão por pares já mostrava sinais de desgaste. Investigadores sob pressão têm frequentemente pouco tempo - e poucos incentivos - para realizar o trabalho não remunerado de rever artigos.
E no arXiv, que divulga pré-publicações (preprints) - textos que, na maioria dos casos, ainda não passaram por revisão por pares - nem sequer existe essa rede de segurança. No ano passado, perante um afluxo de submissões geradas por IA, o site deixou de aceitar determinados tipos de artigos.
Um estudo publicado em janeiro (ele próprio uma pré-publicação) estimou que cerca de 1 em 8 artigos em ciências biomédicas já contém texto gerado por IA.
A maior parte dos investigadores concordaria que o texto gerado por IA, por si só, não é necessariamente o problema. O ponto crítico é a facilidade com que a IA pode ajudar a produzir trabalho de qualidade inferior.
A punição é proporcional à infração?
O anúncio do arXiv não se posiciona contra o uso de IA em si, mas afirma: “If a submission contains incontrovertible evidence that the authors did not check the results of LLM generation, this means we can't trust anything in the paper.”
Isto pode ser válido dentro desses termos. Ainda assim, a sanção - um banimento de um ano aplicado a todos os autores listados - pode não estar alinhada com a forma como a investigação é feita hoje.
No passado, era comum a investigação ser conduzida por pessoas a trabalhar sozinhas ou em equipas de dois ou três elementos. Nessas circunstâncias, parece razoável exigir que cada autor responda pelo conjunto do trabalho.
Mas a investigação é hoje mais colaborativa do que nunca.
Muitos artigos têm quatro ou cinco autores e, num número crescente de casos extremos, alguns trabalhos atribuem autoria a grupos com centenas de cientistas a colaborar, cada um focado na sua especialidade e confiando que os colegas farão o mesmo.
Numa situação em que um autor, entre dezenas ou centenas, incluiu uma referência alucinada por IA na sua secção do artigo, banir todos os envolvidos pode parecer excessivo.
Além disso, não existem sanções equivalentes para a publicação de outros conteúdos problemáticos. Por exemplo, não há banimento por promover teorias marginais ou desacreditadas, nem por recorrer a evidência de fraca qualidade e a argumentos ilógicos.
A IA pode ajudar a combater a “slop”?
A expansão da IA cria dificuldades para editores e para processos de garantia de qualidade. E a ideia de aplicar algum tipo de sanção ao uso negligente de IA - como a inclusão de referências alucinadas - faz sentido.
Ainda assim, a opção concreta do arXiv parece particularmente severa. Se o objetivo é reforçar a revisão por pares e a garantia de qualidade, os próprios sistemas de IA podem ter um papel útil.
Os sistemas modernos de IA conseguem, com bastante eficácia, pegar numa lista de referências e confirmar se cada uma corresponde a um artigo real disponível na internet. As referências assinaladas como suspeitas podem depois ser verificadas por uma pessoa.
A IA pode também servir para verificações rápidas de plausibilidade, por exemplo no que toca à análise estatística de um artigo.
Talvez este seja o caminho a seguir, em vez de sanções duras por infrações relativamente menores relacionadas com IA.
Vitomir Kovanovic, Professor e Diretor Associado do Centre for Change and Complexity in Learning (C3L), Education Futures, Adelaide University
Este artigo é republicado de The Conversation ao abrigo de uma licença Creative Commons. Leia o artigo original.
Comentários
Ainda não há comentários. Seja o primeiro!
Deixar um comentário