Em 2012, os resultados do PISA indicaram um avanço expressivo das notas dos alunos brasileiros. O governo de plantão celebrou e se auto-congratulou. O próprio relatório oficial do PISA trouxe uma página inteira celebrando os avanços.

Para políticos de plantão, os ávidos por novidades e os desinformados de todos os matizes, resultados inesperados ou variações abruptas tornam-se motivo de reação imediata – para celebrar o milagre ou criticar o oponente. A imprensa mais desavisada normalmente entra na conversa e alimenta as ilusões com manchetes sensacionalistas. Foi o que ocorreu com o PISA de 2012.

Houve quem duvidasse não do aumento das notas, mas das explicações para o aumento. Para isso existem a ciência e os cientistas. No primeiro momento, não foi possível furar o cerco – nem mesmo as autoridades da OCDE se dispuseram a conversar e reavaliar. Ia estragar a festa. Acontece, coisas da vida. Burocratas e governos são sempre burocratas e governos – sejam eles nacionais ou supranacionais. Basta comparar a sobriedade de relatórios produzidos pelo PIRLS ou pelo TIMMS com os relatórios produzidos pela OCDE. Ambos são sólidos, mas o DNA é diferente: PIRLS e TIMMS são frutos do mundo acadêmico, enquanto o PISA é do mundo governamental.

O primeiro alerta documentado sobre o PISA 2012 veio do pesquisador Ruben Klein, que mostrou que havia uma mudança no perfil do alunado que poderia explicar o “salto”. Isso decorreu da mudança de critérios para fazer a prova: mudou o perfil dos alunos. Por isso, os resultados não podem ser comparados diretamente. Com o tempo, foram surgindo outras análises.

Junto com os pesquisadores Matheus Souza e Guilherme Hirata, da consultoria IDados, produzi um artigo revendo esses dados e ampliando a análise até 2018. Nesse estudo, confirmamos a análise de Ruben Klein, e mostramos como essas variações podem ser explicadas por outros fatores. Pelo menos 60% do aumento das notas se explicaria por outros fatores que não melhoria no ensino ou na aprendizagem dos alunos.

A pandemia de covid tem colocado em destaque o papel das evidências, da ciência e dos cientistas. Esse papel não é diferente na educação. Em educação sabemos menos do quem em epidemiologia, mas sabemos bastante. Os instrumentos estatísticos são os mesmos, idem quanto aos procedimentos de coleta, análise e interpretação de dados.

No caso da covid, os curiosos e curandeiros logo se tornam desacreditados. Aqui e ali há escaramuças e mesmo divergências profundas, mas que, em algum momento, encontram canais adequados para serem dirimidas. Há mecanismos institucionais para converter evidências em protocolos – e curas. A redução do nível de mortalidade de infectados de 7 para pouco mais de 1,5% é prova disso.

Mas na educação tem sido diferente. Curiosos e curandeiros continuam a ampliar o seu espaço – se o Brasil de Jô Soares esculhamba até a máfia, por que não esculhambar as evidências? Basta todo mundo dizer a palavra mágica – evidências – e estamos conversados. Mais ainda quando a pílula é dourada com plumas e paetês. Em educação, “protocolos” ainda são considerados “engessamento da criatividade”- e por aí vai. Melhor conviver com panaceias de efeito geral.

Há poucas evidências sobre o que efetivamente funciona em educação. Há instituições e sites especializados que produzem informações relevantes. Como no caso da covid, não bastam convicções fortes nem mesmo forte pressão de grupos financeiros para que algo seja considerado como evidência científica. Novidades surpreendentes raramente devem ser levadas a sério – desconfiar e verificar os dados e procedimentos continuam sendo o caminho mais seguro para avançar o conhecimento. Vale para a covid. Vale para a educação.