- Escrito por Lilian Russo
- Imprimir
- Seja o primeiro a comentar!
IA e métricas produtivistas na ciência: uma mistura explosiva Destaque
Matéria do New York Times reproduzida na Folha de S.Paulo do último dia 7 de agosto chama atenção para o aumento da produção de artigos acadêmicos falsos. O texto da Folha menciona uma pesquisa publicada na revista Proceedings of the National Academy of Sciences (PNAS) que estudou uma complexa rede de pesquisadores e
O artigo “The entities enabling scientific fraud at scale are large, resilient, and growing rapidly”, publicado na PNAS, analisou dados provenientes de bases amplamente conhecidas pelos acadêmicos como Web of Science, Scopus, PubMed e OpenAlex. Essas informações foram cruzadas com denúncias de duplicação de imagens feitas no PubPeer, um site em que cientistas criticam artigos publicados e denunciam problemas como o uso de imagens adulteradas ou duplicadas, possibilitando a construção de redes em que artigos fraudulentos aparecem conectados pelo compartilhamento das mesmas figuras. Os autores também investigaram a atuação de editores identificados nominalmente em revistas como Plos One e nos periódicos da editora Hindawi, testando estatisticamente se alguns aceitavam artigos problemáticos com frequência maior do que o esperado por acaso.
Um grupo de 45 editores, apenas 0,25% do total em Plos One, foi responsável por 1,3% dos artigos publicados na revista até 2024, mas concentrou 30,2% dos trabalhos depois retratados. Muitos aceitavam manuscritos em prazos excessivamente curtos, de 30 dias ou menos.
Vários editores, afiliados a instituições de quatro diferentes países, também trocavam submissões de artigos entre si, sendo que mais da metade dos artigos aceitos por esse grupo acabou sendo retratada com notificações parecidas, apontando preocupações sobre autoria, revisão por pares e conflitos de interesse. Periódicos da editora Hindawi também apresentaram padrões semelhantes, sugerindo práticas coordenadas de aceitação irregular em larga escala.
Mesmo em situações em que a fraude está caracterizada acima de qualquer dúvida, como nos casos de duplicação de imagens, apenas 34,1% dos artigos foram efetivamente retratados. Esse dado, aliado ao crescimento das publicações fraudulentas em ritmo muito mais rápido do que o da ciência legítima, evidencia, como destacam os autores do artigo na PNAS, que os mecanismos atuais de correção e punição são insuficientes para conter a atividade. Uma solução que ainda não foi tentada é aliar as punições a políticas públicas que não incentivem a alta produtividade e premiem a qualidade das pesquisas.
Todo o alarde que se faz em relação à desonestidade na ciência, porém, mostra-se exagerado: a própria Academia é capaz de identificar os erros e as fraudes. Embora possa levar algum tempo para que resultados falsos ou equivocados sejam desmentidos, a comunidade científica é relativamente resiliente, sem consequências desastrosas para a ciência, além do trabalho de refutá-los. Grandes problemas surgem quando a desinformação é disseminada pela mídia ou quando agências de fomento dão uma importância demasiada à produtividade em detrimento da qualidade.
No entanto, a preocupação central não deveria recair sobre artigos fraudulentos, com resultados fabricados ou figuras plagiadas – em geral de fácil detecção –, mas sim sobre textos aparentemente razoáveis gerados por inteligência artificial (IA). Em um colóquio realizado no Instituto de Física Teórica (IFT) da Unesp, em 6 de agosto, chegou-se a produzir, diante de diversos especialistas, um artigo científico na área de Cosmologia.
A geração do artigo não se limitou à redação do texto, mas envolveu também a escolha do tema a partir de dados brutos de medições. Esses dados foram apresentados à IA, que assumiu inicialmente duas “personalidades”: o maker, responsável por propor uma interpretação e sugerir uma pesquisa com base nos dados, e o hater, encarregado de criticar a proposta inicial. A partir das críticas, o maker reformulava a sugestão, dando início a um ciclo de ajustes. Esse processo de interação se repetiu várias vezes e precisou ser interrompido manualmente pelo programador, pois maker e hater em geral não convergem para um consenso.
A partir da ideia inicial, a IA redigiu um artigo completo. Em uma primeira interação com a plateia, nenhum dos presentes conseguiu identificar falhas evidentes no texto gerado. Mais tarde, em conversa com um especialista, observou-se que, tal como estava, o artigo dificilmente seria aceito nas principais revistas de Física, já que alguns procedimentos apareciam excessivamente simplificados ou desnecessariamente complicados. Ainda assim, reconheceu-se que o trabalho poderia ser aceito em periódicos considerados sérios. Importante destacar, contudo, que o texto produzido pela IA foi integralmente autônomo, sem qualquer intervenção humana – não é difícil imaginar que, com algumas interações de refinamento, poderia alcançar o nível exigido por uma revista de excelência.
O colóquio traz diversas reflexões a respeito de mudanças que precisam ser implementadas, em breve, em políticas públicas. Uma delas é que, certamente, futuros editais não poderão se basear em métricas quantitativas, já que, em curto prazo, haverá um crescimento exponencial da quantidade de artigos bons e razoáveis que nem mesmo a própria comunidade da área de conhecimento terá tempo de avaliar quanto ao mérito científico.
Para evitar que se consolide um ecossistema em que a própria IA produza artigos, avalie sua qualidade, emita pareceres e identifique correlações com maior precisão e em muito menos tempo do que os humanos seriam capazes, será necessário criar mecanismos ativos de incentivo à valorização da qualidade e à formação de novos estudantes, sob o risco de termos, no futuro, gerações que nem sequer foram treinadas para distinguir o que é bom do que é ruim.
Esse cenário levanta obviamente questões de cunho ético-filosófico sobre o uso da IA, muitas das quais foram discutidas no próprio colóquio realizado no IFT. O avanço tecnológico, embora traga novas facilidades para a Humanidade, não a torna melhor do ponto de vista moral. É provável que vejamos uma aceleração tanto do que há de positivo quanto do que há de negativo – e, possivelmente, com maior velocidade para o negativo.
Como observa o filósofo John Gray em O Silêncio dos Animais: “Se existe algo único no animal humano é sua capacidade de multiplicar conhecimento em velocidade crescente, ao mesmo tempo revelando-se cronicamente incapaz de aprender com a experiência [...] Ao contrário do conhecimento científico, porém, as restrições da vida civilizada não podem ser arquivadas em um disco de computador. São hábitos de comportamento, difíceis de consertar uma vez rompidos. A civilização é natural para os seres humanos, mas também o é a barbárie”.
Por Marcelo Yamashita
https://revistaquestaodeciencia.com.br/artigo/2025/09/01/ia-e-metricas-produtivistas-na-ciencia-uma-mistura-explosiva