Quer avaliar os efeitos do Bolsa Família? Use a tecnologia
É preciso avançar na análise de políticas públicas. A boa notícia é que há tecnologias capazes de coletar dados com agilidade e custos reduzidos
Em fevereiro de 2014, o município de Joaçaba, em Santa Catarina, anunciou investimento (“o maior em 20 anos”) em um novo material didático a ser utilizado pela rede municipal de ensino. Em julho, foi a vez de Oriente, em São Paulo, com investimento de “proporções históricas” em uniforme escolar. Em dezembro, a prefeitura de Sorriso, município de cerca de 70.000 habitantes do Mato Grosso, revelou que colocaria 830.000 reais na ampliação e reforma de uma escola municipal.
Um enorme volume de recursos tem sido canalizado na tentativa de melhorar a qualidade da educação no Brasil – vista por muitos como nosso maior gargalo. Contudo, como se vê, não existe consenso sobre qual a dimensão prioritária de investimento: com recursos escassos, uma prefeitura deveria concentrar esforços em material didático de qualidade? Uniformes? Infraestrutura? Salário dos professores?
Para responder a essa pergunta, precisaríamos saber qual é o impacto de cada uma dessas políticas. O aprendizado dos alunos mudou a partir da adoção do novo material, dos novos uniformes ou das novas instalações? Somente isso não basta, no entanto. Se o novo material não teve efeito, foi de fato porque não funcionava? Ou porque não chegou a tempo ou em quantidade correta? Porque o professor não recebeu treinamento ou tem dificuldade com o material? Porque o professor falta demais ou faltam outros insumos complementares? Hoje, não temos condições nem de começar a responder essas questões.
A má notícia é que, nas principais áreas de políticas públicas, os dados para responder às questões relevantes sobre impacto das ações em análise estão disponíveis em frequência ou escala inadequadas, e muitas vezes sobre dimensões que não são as mais relevantes para avaliar a efetividade das políticas. A boa notícia é que é possível avançar na coleta dos dados apropriados à avaliação de impacto de políticas públicas de maneira prática e com custos razoáveis, fazendo bom uso de tecnologia – que pode ser utilizada para coletar esses dados com agilidade e custos reduzidos.
O telefone, em particular, é uma ferramenta poderosa de monitoramento. Em políticas sociais, por exemplo, a MGov monitorou, ao longo de dezembro de 2014, o uso de protótipos de educação financeira junto a beneficiários do Bolsa Família, cujo objetivo era de aumentar a poupança e a canalização dos recursos do programa para pequenos negócios. Em educação, o mesmo telefone pode ser utilizado para coletar percepções de professores e alunos sobre materiais, novas práticas ou infraestrutura, no horizonte adequado. Na saúde, a MGov está acompanhando o impacto da informatização de processos em unidades de saúde em Embu das Artes (SP) sobre as percepções dos usuários sobre espera e qualidade. Em mobilidade urbana, é possível falar diretamente com o usuário.
Outras ferramentas, como “totens virtuais” nas unidades de saúde para coletar as percepções dos usuários – implementados preliminarmente pela Prefeitura de São Paulo -, e plataformas on-line de aprendizado – com dados de desempenho disponíveis em frequência bem mais adequada para avaliação dos impactos de intervenções para melhorar o aprendizado – tem potencial para contribuir para novos avanços em 2015.
O primeiro passo, contudo, é admitir que existe um problema. Não me parece que essa consciência exista de forma disseminada entre os avaliadores de políticas públicas hoje no Brasil.
Muitos apontam que de nada adianta ao setor público produzir dados sem que possua a capacidade de analisá-los. Discordo veementemente desse ponto. Vivemos uma escassez de dados, não de capacidade de análise; basta ver os (ainda) raros exemplos de governos que compartilharam dados com pesquisadores. Como exemplos, o trabalho de Laura Chioda (Banco Mundial), Rodrigo Soares (FGV-EESP) e João Manuel Pinho de Mello (Insper), sobre o impacto do Bolsa Família em criminalidade juvenil na cidade de São Paulo, ou o de Joana Naritomi (LSE) sobre o impacto da Nota Fiscal Paulista sobre evasão fiscal, no mesmo estado.
Motivados pelo desafio de responder grandes questões, muitas vezes diretamente associadas ao desenho de políticas públicas, poderosos cérebros estão dispostos a fazer esse trabalho sem custos para o poder público – desde que possam usar seus resultados para publicação e, claro, desde que tenham acesso aos dados necessários para responder às perguntas de pesquisa. Precisamos de mais dados.
Obstáculos à avaliação de políticas públicas
1. Políticas sociais.
Essa é uma das áreas sobre a qual temos menos dados disponíveis, e temos consciência disso. Gostaríamos de saber, por exemplo, como o Bolsa Família afeta renda, consumo e oferta de trabalho das famílias beneficiadas, como o Minha Casa Minha Vida afeta as despesas, acesso a crédito, e resultados de saúde das famílias contempladas, ou como o Garantia-Safra – programa de seguro contra a estiagem do Ministério de Desenvolvimento Agrário – afeta decisões produtivas, renda e consumo dos agricultores familiares beneficiados. No entanto, muitos desses indicadores não são acompanhados, ou disponíveis apenas de maneira indireta, através das pesquisas domiciliares do Instituto Brasileiro de Geografia e Estatística.
Um dos principais problemas disso é que somente podemos avaliar dimensões contempladas por perguntas dessas pesquisas. Mais do que isso, o horizonte da avaliação é na melhor das hipóteses anual, insuficiente para realizar a sintonia-fina desses programas, e que inviabiliza a avaliação de programas como o de seguro, cuja efetividade precisaria ser medida em torno de um período específico de tempo que não necessariamente coincide com o horizonte das pesquisas.
Os poucos dados administrativos disponíveis em horizontes mais curtos, como a frequência escolar das crianças participantes do Bolsa Família, acabam guiando as perguntas de pesquisa, no melhor exemplo de “procurar a chave onde o poste ilumina”, ao invés de iluminar onde gostaríamos de procurar a chave.
2. Saúde
Essa é uma das áreas sobre a qual temos menos dados disponíveis, e não temos consciência disso. Gostaríamos de saber, por exemplo, como a informatização das unidades básicas de saúde e prontos-socorros afeta tempo de espera, proporção de usuários que busca atendimento e não é frustrada, e a qualidade percebida dos atendimentos, ou como uma política de vacinação afeta mortalidade infantil. Se o DATASUS tem dados incrivelmente detalhados sobre procedimentos e mortalidade, estes são agregados para todo o município – não permitindo, dessa forma, avaliar pilotos que começam em unidades específicas, que poderiam permitir escalar apenas as intervenções com efetividade comprovada – ou não capturam dimensões fundamentais, como as percepções dos usuários sobre espera e qualidade.
3. Educação
Essa é a área onde temos mais dados disponíveis, mas na frequência e escala insuficientes para alimentar políticas públicas. Educação é a área em que disponibilidade de dados padronizados sobre as dimensões que mais nos interessam – desempenho dos alunos – mais avançou nos últimos anos. Gostaríamos de saber qual o efeito de adoção de novos materiais, novas técnicas didáticas e melhorias de infraestrutura escolar sobre aprendizado. De fato, Prova Brasil e SAEB já dão hoje subsídios para que questões dessa natureza possam começar a ser respondidas. No entanto, estas ainda são realizadas com frequência anual – impedindo um acompanhamento da implementação ao longo do calendário escolar, o que permitiria aprender mais sobre os mecanismos de sucesso ou fracasso das intervenções e ajustar a implementação num horizonte de tempo mais ágil. Mais ainda, mal começamos a monitorar as percepções dos professores e dos próprios alunos sobre essas intervenções, o que permitiria entender onde estão os gargalos da implementação.
4. Mobilidade urbana
Essa é a área sobre a qual menos nos preocupamos com dados. Gostaríamos de saber se as faixas exclusivas de ônibus de fato melhoraram a mobilidade dos usuários de transporte público, qual foi o impacto das novas ciclovias sobre tráfego e poluentes emitidos, ou qual o impacto da manutenção do preço do bilhete em 3 reais sobre essa população no que diz respeito a renda disponível para outras despesas, ou mesmo com relação à escolha de modal. Não temos, no entanto, pesquisas sistemáticas que nos ajudem a responder essas perguntas. O IBGE pergunta anualmente, na PNAD, apenas com representatividade para os Estados, quanto tempo os indivíduos perdem no deslocamento entre a casa e o trabalho. A prefeitura de São Paulo começou a monitorar sistematicamente a velocidade média dos ônibus e deve começar a monitorar o uso das ciclovias em 2015. Mas esses esforços ainda são tímidos e pulverizados.
* Guilherme Lichand – doutorando em economia política e governo na Universidade Harvard e sócio-fundador da MGov Brasil – foi vencedor do Prêmio Jovens Inspiradores 2014, categoria especial Chivas
O problemão que Alexandre de Moraes arrumou para Lula
A preocupação de Gisele Bündchen quanto ao filho mais velho, Benjamin
Ex de filho de Lula entrega provas de abusos à polícia
Lula caminha para tornar o governo uma “gestão Dilma”, diz Armínio Fraga
O péssimo clima dentro da Polícia Federal
