Quando os cientistas preferem as disposições do ChatGPT

Poderá um dia a inteligência artificial rever artigos científicos, ou mesmo fazer o que chamamos de revisão por pares? Por enquanto, os primeiros estudiosos examinados sobre este tema favorecem os julgamentos do ChatGPT em detrimento dos de seus colegas.

Lembremos que esta é uma parte essencial do processo pelo qual o conhecimento científico é construído: seja uma suposta descoberta, hipótese, confirmação ou Tudo isso deve ser apoiado por pesquisas publicadas. Idealmente, esta pesquisa deve ser revisada por outros especialistas na área antes da publicação. Isso é conhecido como “revisão por pares”.

No entanto, isto tem as suas limitações: é preciso encontrar especialistas que sejam capazes de compreender o que a investigação diz, e esses especialistas têm de ter tempo. Tradicionalmente, passam-se meses entre o momento em que um pesquisador submete um artigo a uma revista científica e o momento da publicação.

O ChatGPT pode substituir revisores humanos? Isso é o que pesquisadores liderados por James Zhou, especialista em aprendizado de máquina da Universidade de Stanford, na Califórnia, queriam testar. Eles pediram ao ChatGPT-4 que fornecesse “críticas construtivas” a mais de 3.000 estudos publicados em 2022-2023 por uma das revistas do grupo Nature (e, portanto, revisados ​​por pares) e a 1.700 artigos de uma conferência internacional sobre aprendizado de máquina (Conferência Internacional sobre Representações de Aprendizagem). Eles compararam análises de robôs com análises humanas. Como segunda etapa, eles pediram o mesmo ao ChatGPT para algumas centenas de artigos de pesquisa que não haviam sido revisados ​​por ninguém e pediram a cerca de 300 de seus autores (todos na área de IA ou TI) que avaliassem as críticas do bot a eles.

Resumindo, Que foi publicado anteriormente No dia 3 de outubro, no servidor ArXiv (o que, ironicamente, significa que não foi revisado por pares), eles escreveram primeiro mais da metade dos textos publicados e mais de três quartos (77%) dos textos publicados. Nas transcrições da conferência, o bot apontou coisas que pelo menos um dos revisores também havia apontado. Mas o resultado mais forte foi para manuscritos não publicados e não editados: 82% dos autores disseram que consideraram as críticas ao ChatGPT mais úteis do que as críticas que receberam no passado sobre outros artigos.

Mas o trabalho enfrenta grandes desvantagensNa segunda parte da pesquisa, a avaliação dos pesquisadores sobre as críticas que o robô lhes dirige é uma avaliação puramente subjetiva e não permite compará-la com as críticas que um humano poderia dirigir ao mesmo trabalho. A primeira parte da pesquisa fornece poucos detalhes sobre o que são essas informações que não são especificadas pelo ChatGPT, mas são relatadas por humanos. Isso ainda está para ser visto Se as revistas científicas estão satisfeitas com essas análises de IA Sem ter garantia de que o robô não “esqueceu” algo importante – mas essa questão também existe na verdadeira revisão por pares, que está longe de ser infalível.

Assine nosso extenso boletim informativo