Para que um programa social funcione da melhor maneira possível, ele precisa ser avaliado periodicamente. O acompanhamento de iniciativas como o Fome Zero ou o Bolsa Família pode corrigir equívocos de planejamento e substituir políticas que não funcionam. Analisar a efetividade desses programas é uma das atribuições do Tribunal de Contas da União (TCU). Mas como saber se a avaliação do TCU está sendo feita de maneira correta? Para solucionar essa dúvida a psicóloga Helga Hedler elaborou uma Meta-avaliação das auditorias de natureza operacional do Tribunal de Contas da União: um estudo sobre auditorias de programas sociais. Meta-avaliação é uma avaliação de outra avaliação, que leva em conta aspectos como metodologia, seleção dos sujeitos, objetivos, critérios e análise dos resultados.
Apesar de considerar o nível das auditorias do TCU muito bom, Helga identificou falhas que podem comprometer o resultado das avaliações. Os problemas vão desde falta de especialização dos auditores (em áreas específicas dos programas, mesmo contando com a participação de consultores externos,) à aplicação de instrumentos insuficientes para medir o sucesso dos programas.
O estudo deu origem a uma tese de doutorado orientada pelo professor Cláudio Vaz Torres e defendida em junho de 2007 no Departamento de Psicologia da Universidade de Brasília (UnB). No trabalho, a pesquisadora investigou dez auditorias de natureza operacional realizadas pelo TCU de 1999 a 2005. Helga estava interessada em saber se as análises de programas sociais de áreas como educação, assistência social e saúde se adaptavam aos critérios do Joint Committee, associação que fornece parâmetros para balizar a avaliação de uma outra avaliação.
Esse é o caso do Programa de Enfrentamento ao Abuso e Exploração Sexual de Crianças e Adolescentes (apelidado de Sentinela), que oferece serviços especializados para atender crianças e adolescentes vítimas de abuso ou exploração sexual. Segundo a pesquisadora, um dos objetivos do programa Sentinela era melhorar a auto-estima de seus beneficiários. “Mas não houve como avaliar a auto-estima e a convivência familiar, já que os auditores ouviram apenas as mães, e não entrevistaram os pais e os adolescentes atendidos”, considera Helga. Tampouco foram utilizados instrumentos válidos para mensurar a auto-estima.
A mesma falha foi identificada na auditoria do Programa Nacional do Livro Didático (PNLD). Os professores e alunos que trabalharam com os livros provenientes do projeto não foram consultados pelos auditores e, segundo a pesquisadora, as informações coletadas não possuíram alcance suficiente para entender o funcionamento do programa. “Uma visão mais ampla de todos os programas seria obtida por meio do levantamento de informações com maior quantidade de beneficiários e não somente com instituições de atendimento, especialistas, organizações e órgãos do governo, conforme comentado na primeira questão”, sugere a pesquisadora.
ESPECIALIZAÇÃO – A falta de treinamento específico em determinadas áreas dos programas sociais para os auditores foi registrada, entre outros, no Programa Desenvolvimento do Turismo no Nordeste (Prodetur/NE). Sem dados do programa sobre o impacto ambiental na primeira fase a avaliação do Programa ficou comprometida. O Prodetur/NE também evidencia falhas nos programas sociais avaliados. “É preciso que o próprio programa ofereça condições e dados de avaliação. Para diagnosticar se ele está funcionando, é necessário saber como as coisas estavam antes de seu início. Mas esse tipo de informação não são encontradas em todos eles”, critica a pesquisadora.
De acordo com a apuração de Helga, a estrutura interna do TCU também pode ser aprimorada. A partir da avaliação da auditoria feita no Programa Novo Emprego e Seguro-Desemprego, a psicóloga percebeu que o tamanho da equipe (três auditores na fase de planejamento e cinco pessoas na fase de execução) e o tempo para a realização da análise foram considerados insuficientes pela pesquisadora.
PREJUÍZO – Os itens que receberam avaliação inferior em todas as auditorias foram métodos e técnicas, aspectos básicos da investigação. Se melhorassem nesses quesitos, as auditorias de natureza operacional do TCU refletiriam melhor a realidade dos projetos sociais sustentados pelo Governo Federal.
“As avaliações precisam ser analisadas porque tanto o avaliador quanto o cliente, o avaliado ou outro interessado na avaliação, terão prejuízo financeiro ou moral, entre outros, se o trabalho for ineficiente. As meta-avaliações melhoram a qualidade das avaliações em termos metodológicos e práticos”, justifica Helga, que faz questão de destacar que, apesar de poderem melhorar, as auditorias realizadas pelo TCU estão entre as melhores do mundo.