O que dizem os testes

Podemos comparar dois cursos cujos alunos fizeram
o mesmo teste. Fora disso, os números não dizem nada. Mas isso já é de uma utilidade incalculável

Ilustração Alê Setti

Quem diria? Apesar de seus parcos êxitos na educação, o Brasil se converteu no país com o mais abrangente sistema de avaliação. Não é pouca porcaria. Temos o Sistema Nacional de Avaliação da Educação Básica, Saeb, para o ensino fundamental e médio e o Exame Nacional do Ensino Médio, Enem, para a entrada no superior. Temos o Provão, que ninguém mais tem. Finalmente, temos a avaliação da pós-graduação.

E agora, que fazemos com isso tudo? O primeiro desafio é entender o que dizem os testes. Mas os conceitos subjacentes são baseados em métodos estatísticos pouco intuitivos. A estatística, que serve para enganar, pode também servir para iluminar, desde que saibamos interpretá-la.

Com avidez, olhamos para as tabelas e perguntamos: os resultados estão bons ou maus? Infelizmente, esta é justamente a pergunta que esses testes não podem responder. Nas medições sociais não há metro ou quilo, padrões absolutos de medida. Há apenas comparações. Podemos saber se essa escola ou esse país está melhor ou pior que outro. Mas, ao contrário do metro, que é uma distância marcada em uma barra de platina em Paris, não há um padrão de educação guardado em um museu. Alguém poderá arbitrariamente definir um nível mínimo a ser atingido. Mas até agora ninguém decretou quanto se deve saber para atingir um nível "bom" de educação. Os testes, portanto, falam de melhor/pior e não de bom/ruim.

Os testes são construídos para medir diferenças de conhecimento, tanto entre os que sabem muito quanto entre os que não sabem quase nada. Para isso, incluem perguntas fáceis para diferenciar os ignorantes e outras muito difíceis para diferenciar os sabidões. Daí a regra prática de desenhar um teste: em média, os respondentes devem acertar a metade das questões. Portanto, quando as tabelas mostram testes com médias próximas de 50% de acerto, vivas para o fabricante! É um bom profissional.

Se é assim, é óbvio que não podemos brandir as tabelas e dizer: vejam só que desastre está nossa educação, os alunos só acertaram metade do teste! Isso é quase tão tolo quanto se escandalizar com o fato de cerca de metade dos alunos estar abaixo da média. Ora, só pode ser assim, pois a média é o centro de gravidade da distribuição, um tanto de alunos para cima e outros para baixo.

Nem sempre se atinge o alvo dos 50% de acerto. Portanto, é um erro lamentável concluir, por exemplo, ao encontrar as médias inferiores, que a educação da 8ª série está pior que a da 4ª, ou que o Provão piorou. Pode ser que o teste seja mais difícil.

O Provão é vítima de outros erros de interpretação. A rigor, a nota E diz apenas que os outros são melhores. Mas não diz se o curso é bom ou mau. Daí o absurdo de dizer que a educação superior está péssima porque há tantos cursos com D e E. Se o Provão fosse aplicado exclusivamente nas melhores universidades do mundo, ainda assim 13% ganhariam nota E, simplesmente por serem "menos ótimas" do que as outras. Da mesma forma, como as notas são comparativas, se muitos cursos melhorarem, o que ficar parado terá nota pior, apesar de não haver piorado.

Outro erro clássico: verificou-se que dentre os cursos de nota A, há duas vezes mais públicos do que privados. O que provoca as pressurosas interpretações de que o privado é pior que o público. Mas para dizer se o privado é pior que o público temos de olhar a média de toda a distribuição, não apenas seu topo.

Disso tudo, fiquemos com uma regrinha fácil: podemos comparar dois cursos (ou até países) cujos alunos fizeram o mesmo teste. Fora disso, os números não dizem mais nada. Mas isso já é de uma utilidade incalculável. Hoje sabemos quem é quem na educação brasileira. Quais Estados brilham ou fenecem, que faculdades oferecem o melhor ensino, quem está fazendo força para melhorar. Está tudo nos jornais ou no website do MEC/Inep.

Claudio de Moura Castro é economista (claudiomc@earthlink.net)