Avaliação de artigos científicos por outros pesquisadores identifica quais estudos têm maior impacto

Com o advento da internet, a publicação de estudos científicos se tornou mais fácil. Agora, qualquer um pode publicar sua pesquisa em sites populares, a exemplo do Plos One, sem antes ter seu trabalho revisado por especialistas, o que é conhecido no meio acadêmico como peer review. Era esse sistema, de avaliação por pares, que garantia a qualidade de um estudo, e sua posterior publicação em uma revista científica. A eficácia do método estava sendo questionada nos últimos anos, em que parte dos estudiosos passaram a acreditar que o público seria muito mais eficaz para avaliar o desempenho de um estudo online do que cientistas graduados. Uma extensa pesquisa publicada hoje na revista americana Science, porém, fez não só renascer a importância do peer review, como provou que essa ainda pode ser a forma mais acertada de definir a relevância de um artigo científico.

Pesquisadoras americanas analisaram mais de 130.000 estudos que receberam fundos do Instituto Nacional de Saúde americano entre 1980 e 2008. Cada um desses artigos foi submetido ao processo de peer review, em que outros profissionais o leem e lhe conferem uma nota.

O resultado desta avaliação foi então comparado ao impacto que as pesquisas haviam provocado em suas áreas. Para quantificar esse desempenho, os pesquisadores olharam para a quantidade de vezes que o texto foi publicado, quantas citações recebeu em outros artigos e as patentes que gerou. Ao bater os números, concluíram que os trabalhos que haviam recebido as melhores notas também eram os mais relevantes.

“O peer review é extremamente aplicado para selecionar quais pesquisas merecem investimento, e mesmo assim não sabíamos muito sobre quão eficaz é esse sistema”, disse Leila Agha, professora da Universidade de Boston e uma das autoras do estudo. “Nossos resultados sugerem que o processo identifica com sucesso as propostas de pesquisas que provavelmente resultarão em uma grande quantidade de publicações e citações”.

LEIA TAMBÉM:

“É preciso uma revisão mais justa de artigos científicos”, diz Nobel de Química

A divulgação na internet tornou mais fácil a identificação de falhas em pesquisas

A importância do peer review vem sendo questionada na academia de diversas formas. Além do desafio imposto pela internet, críticos têm acusado alguns dos avaliadores mais renomados de não conferirem uma boa nota a uma pesquisa pela qualidade de seu conteúdo, mas sim pelo histórico profissional e acadêmico de seus autores. “Os críticos não questionam se os comitês de avaliação conseguem descartar as propostas fracas, mas sim se eles são realmente eficazes em identificar as ideias promissoras. Também há quem diga que se dá mais preferência aos projetos conservadores do que aos verdadeiramente ousados”, disse Leila Agha.

O trabalho de Leila, porém, fornece evidência de que o processo de avaliação é, sim, bem-sucedido. Disse Danielle Li, professora de administração de Harvard e também autora do estudo: “Provamos estatisticamente que o peer review é uma métrica funcional para reconhecer o potencial de propostas de pesquisas.”