Clique e Assine a partir de R$ 19,90/mês

Quer avaliar os efeitos do Bolsa Família? Use a tecnologia

É preciso avançar na análise de políticas públicas. A boa notícia é que há tecnologias capazes de coletar dados com agilidade e custos reduzidos

Por Guilherme Lichand * 19 fev 2015, 17h21

​Em fevereiro de 2014, o município de Joaçaba, em Santa Catarina, anunciou investimento (“o maior em 20 anos”) em um novo material didático a ser utilizado pela rede municipal de ensino. Em julho, foi a vez de Oriente, em São Paulo, com investimento de “proporções históricas” em uniforme escolar. Em dezembro, a prefeitura de Sorriso, município de cerca de 70.000 habitantes do Mato Grosso, revelou que colocaria 830.000 reais na ampliação e reforma de uma escola municipal.

Um enorme volume de recursos tem sido canalizado na tentativa de melhorar a qualidade da educação no Brasil – vista por muitos como nosso maior gargalo. Contudo, como se vê, não existe consenso sobre qual a dimensão prioritária de investimento: com recursos escassos, uma prefeitura deveria concentrar esforços em material didático de qualidade? Uniformes? Infraestrutura? Salário dos professores?

Para responder a essa pergunta, precisaríamos saber qual é o impacto de cada uma dessas políticas. O aprendizado dos alunos mudou a partir da adoção do novo material, dos novos uniformes ou das novas instalações? Somente isso não basta, no entanto. Se o novo material não teve efeito, foi de fato porque não funcionava? Ou porque não chegou a tempo ou em quantidade correta? Porque o professor não recebeu treinamento ou tem dificuldade com o material? Porque o professor falta demais ou faltam outros insumos complementares? Hoje, não temos condições nem de começar a responder essas questões.

A má notícia é que, nas principais áreas de políticas públicas, os dados para responder às questões relevantes sobre impacto das ações em análise estão disponíveis em frequência ou escala inadequadas, e muitas vezes sobre dimensões que não são as mais relevantes para avaliar a efetividade das políticas. A boa notícia é que é possível avançar na coleta dos dados apropriados à avaliação de impacto de políticas públicas de maneira prática e com custos razoáveis, fazendo bom uso de tecnologia – que pode ser utilizada para coletar esses dados com agilidade e custos reduzidos.

O telefone, em particular, é uma ferramenta poderosa de monitoramento. Em políticas sociais, por exemplo, a MGov monitorou, ao longo de dezembro de 2014, o uso de protótipos de educação financeira junto a beneficiários do Bolsa Família, cujo objetivo era de aumentar a poupança e a canalização dos recursos do programa para pequenos negócios. Em educação, o mesmo telefone pode ser utilizado para coletar percepções de professores e alunos sobre materiais, novas práticas ou infraestrutura, no horizonte adequado. Na saúde, a MGov está acompanhando o impacto da informatização de processos em unidades de saúde em Embu das Artes (SP) sobre as percepções dos usuários sobre espera e qualidade. Em mobilidade urbana, é possível falar diretamente com o usuário.

Outras ferramentas, como “totens virtuais” nas unidades de saúde para coletar as percepções dos usuários – implementados preliminarmente pela Prefeitura de São Paulo -, e plataformas on-line de aprendizado – com dados de desempenho disponíveis em frequência bem mais adequada para avaliação dos impactos de intervenções para melhorar o aprendizado – tem potencial para contribuir para novos avanços em 2015.

O primeiro passo, contudo, é admitir que existe um problema. Não me parece que essa consciência exista de forma disseminada entre os avaliadores de políticas públicas hoje no Brasil.

Muitos apontam que de nada adianta ao setor público produzir dados sem que possua a capacidade de analisá-los. Discordo veementemente desse ponto. Vivemos uma escassez de dados, não de capacidade de análise; basta ver os (ainda) raros exemplos de governos que compartilharam dados com pesquisadores. Como exemplos, o trabalho de Laura Chioda (Banco Mundial), Rodrigo Soares (FGV-EESP) e João Manuel Pinho de Mello (Insper), sobre o impacto do Bolsa Família em criminalidade juvenil na cidade de São Paulo, ou o de Joana Naritomi (LSE) sobre o impacto da Nota Fiscal Paulista sobre evasão fiscal, no mesmo estado.

Motivados pelo desafio de responder grandes questões, muitas vezes diretamente associadas ao desenho de políticas públicas, poderosos cérebros estão dispostos a fazer esse trabalho sem custos para o poder público – desde que possam usar seus resultados para publicação e, claro, desde que tenham acesso aos dados necessários para responder às perguntas de pesquisa. Precisamos de mais dados.

Obstáculos à avaliação de políticas públicas

1. Políticas sociais.

Essa é uma das áreas sobre a qual temos menos dados disponíveis, e temos consciência disso. Gostaríamos de saber, por exemplo, como o Bolsa Família afeta renda, consumo e oferta de trabalho das famílias beneficiadas, como o Minha Casa Minha Vida afeta as despesas, acesso a crédito, e resultados de saúde das famílias contempladas, ou como o Garantia-Safra – programa de seguro contra a estiagem do Ministério de Desenvolvimento Agrário – afeta decisões produtivas, renda e consumo dos agricultores familiares beneficiados. No entanto, muitos desses indicadores não são acompanhados, ou disponíveis apenas de maneira indireta, através das pesquisas domiciliares do Instituto Brasileiro de Geografia e Estatística.

Continua após a publicidade

Um dos principais problemas disso é que somente podemos avaliar dimensões contempladas por perguntas dessas pesquisas. Mais do que isso, o horizonte da avaliação é na melhor das hipóteses anual, insuficiente para realizar a sintonia-fina desses programas, e que inviabiliza a avaliação de programas como o de seguro, cuja efetividade precisaria ser medida em torno de um período específico de tempo que não necessariamente coincide com o horizonte das pesquisas.

Os poucos dados administrativos disponíveis em horizontes mais curtos, como a frequência escolar das crianças participantes do Bolsa Família, acabam guiando as perguntas de pesquisa, no melhor exemplo de “procurar a chave onde o poste ilumina”, ao invés de iluminar onde gostaríamos de procurar a chave.

2. Saúde

Essa é uma das áreas sobre a qual temos menos dados disponíveis, e não temos consciência disso. Gostaríamos de saber, por exemplo, como a informatização das unidades básicas de saúde e prontos-socorros afeta tempo de espera, proporção de usuários que busca atendimento e não é frustrada, e a qualidade percebida dos atendimentos, ou como uma política de vacinação afeta mortalidade infantil. Se o DATASUS tem dados incrivelmente detalhados sobre procedimentos e mortalidade, estes são agregados para todo o município – não permitindo, dessa forma, avaliar pilotos que começam em unidades específicas, que poderiam permitir escalar apenas as intervenções com efetividade comprovada – ou não capturam dimensões fundamentais, como as percepções dos usuários sobre espera e qualidade.

3. Educação

Essa é a área onde temos mais dados disponíveis, mas na frequência e escala insuficientes para alimentar políticas públicas. Educação é a área em que disponibilidade de dados padronizados sobre as dimensões que mais nos interessam – desempenho dos alunos – mais avançou nos últimos anos. Gostaríamos de saber qual o efeito de adoção de novos materiais, novas técnicas didáticas e melhorias de infraestrutura escolar sobre aprendizado. De fato, Prova Brasil e SAEB já dão hoje subsídios para que questões dessa natureza possam começar a ser respondidas. No entanto, estas ainda são realizadas com frequência anual – impedindo um acompanhamento da implementação ao longo do calendário escolar, o que permitiria aprender mais sobre os mecanismos de sucesso ou fracasso das intervenções e ajustar a implementação num horizonte de tempo mais ágil. Mais ainda, mal começamos a monitorar as percepções dos professores e dos próprios alunos sobre essas intervenções, o que permitiria entender onde estão os gargalos da implementação.

4. Mobilidade urbana

Essa é a área sobre a qual menos nos preocupamos com dados. Gostaríamos de saber se as faixas exclusivas de ônibus de fato melhoraram a mobilidade dos usuários de transporte público, qual foi o impacto das novas ciclovias sobre tráfego e poluentes emitidos, ou qual o impacto da manutenção do preço do bilhete em 3 reais sobre essa população no que diz respeito a renda disponível para outras despesas, ou mesmo com relação à escolha de modal. Não temos, no entanto, pesquisas sistemáticas que nos ajudem a responder essas perguntas. O IBGE pergunta anualmente, na PNAD, apenas com representatividade para os Estados, quanto tempo os indivíduos perdem no deslocamento entre a casa e o trabalho. A prefeitura de São Paulo começou a monitorar sistematicamente a velocidade média dos ônibus e deve começar a monitorar o uso das ciclovias em 2015. Mas esses esforços ainda são tímidos e pulverizados.

* Guilherme Lichand – doutorando em economia política e governo na Universidade Harvard e sócio-fundador da MGov Brasil – foi vencedor do Prêmio Jovens Inspiradores 2014, categoria especial Chivas

Continua após a publicidade

Publicidade

Essa é uma matéria exclusiva para assinantes. Se já é assinante, entre aqui. Assine para ter acesso a esse e outros conteúdos de jornalismo de qualidade.

Essa é uma matéria fechada para assinantes e não identificamos permissão de acesso na sua conta. Para tentar entrar com outro usuário, clique aqui ou adquira uma assinatura na oferta abaixo

Informação de qualidade e confiável, a apenas um clique. Assine VEJA.

Impressa + Digital

Plano completo da VEJA! Acesso ilimitado aos conteúdos exclusivos em todos formatos: revista impressa, site com notícias 24h e revista digital no app, para celular e tablet.

Colunistas que refletem o jornalismo sério e de qualidade do time VEJA.

Receba semanalmente VEJA impressa mais Acesso imediato às edições digitais no App.

a partir de R$ 39,90/mês

Digital

Plano ilimitado para você que gosta de acompanhar diariamente os conteúdos exclusivos de VEJA no site, com notícias 24h e ter acesso a edição digital no app, para celular e tablet.

Colunistas que refletem o jornalismo sério e de qualidade do time VEJA.

Edições da Veja liberadas no App de maneira imediata.

a partir de R$ 19,90/mês