Este conteúdo foi produzido por Maria Cecília Prates
Também nos Estados Unidos e no Reino Unido, países com uma prática do terceiro setor bem mais avançada do que no Brasil, a avaliação dos projetos sociais segue sendo um desafio muito presente. Lá o que se observa é que as organizações filantrópicas estão se sentindo asfixiadas pela compulsão em medir impacto social e avaliar o retorno econômico de suas ações. Anseiam, e já estão trabalhando por uma metodologia de avaliação coerente com o contexto da quase totalidade dessas instituições.
A título de contribuir para essa reflexão, apresento a seguir os posicionamentos-chave de alguns especialistas de organizações think-tanks nesses países, como a NPC (New Philanthropy Capital); Giving Evidence; e FSG (Foundation Strategy Group). Para isso, sistematizei os seguintes artigos, buscando padronizar termos e integrar as partes.
Com todo este entusiasmo por medir, documentar, provar e financiar o impacto, será que não estaríamos perdendo o barco da avaliação?
É hora de parar de (apenas) medir o impacto, e começar a avaliar.
A avaliação deveria ser entendida com o sentido de ajudar a:
O impacto (ou efeito) do trabalho de uma organização filantrópica depende da qualidade da teoria da mudança (ou da ideia) que a organização utiliza, e quão bem ela implementa essa teoria da mudança. Tanto a teoria da mudança como a sua execução precisam ser boas, para que o impacto seja elevado; e se qualquer uma delas, a teoria da mudança ou a execução, não for boa, o impacto será baixo.
A grande maioria das organizações sociais não deveria avaliar o impacto do seu trabalho. Isto porque deve ser atribuição dos pesquisadores acadêmicos a avaliação do impacto da teoria da mudança que a organização decide utilizar; já a organização filantrópica deve se ocupar da avaliação de processo, isto é, o monitoramento da execução de suas ações.
O exemplo dado: considere um clube de café da manhã em uma escola para crianças com deficiência. A teoria da mudança (ou ideia / estratégia considerada) é a de que um bom café da manhã contribui para o aprendizado, evitando as distrações causadas pela fome. Já a execução envolve ter os alimentos que as crianças vão comer, comprá-los a um bom preço, trazer as crianças, e assim por diante.
A avaliação da qualidade da execução envolve verificar se as crianças estão vindo de fato para o clube, qual é a opinião delas sobre o clube de café da manhã, quanto dos alimentos é desperdiçado, etc. Isto é o monitoramento ou avaliação de processo. É relativamente simples, e é de extrema importância porque fornece feedback no prazo adequado para a equipe do projeto, e permite que a organização melhore os seus processos e os aprimore significativamente. Esse monitoramento deve ocorrer com regularidade, e a organização pode fazê-lo por si mesma.
Já avaliar a qualidade da estratégia (ou da teoria da mudança) é bem mais complexo. Envolve investigar se, no caso, um café da manhã decente contribui realmente para a aprendizagem. E isso exige isolar o efeito da intervenção de outros fatores externos e simultâneos. Esta é a avaliação de impacto.
No exemplo dado, nós não podemos olhar simplesmente se as crianças que frequentam o clube estão agora aprendendo melhor do que antes. Isto porque talvez o início do clube possa ter coincidido com outros fatores, tais como a chegada de um novo professor; ou com a chegada de novos livros; ou se as crianças passaram a assistir algum programa educativo na tv, que antes não assistiam. Também não podemos olhar se as crianças do clube aprendem mais rápido do que aqueles que não frequentam o clube, porque é altamente provável que haverá grandes diferenças entre quem vai e quem não vai ao clube. Talvez só os “piores” alunos estejam participando do clube. Para contornar todas essas questões, teríamos que fazer um experimento com controle aleatorizado. Isso levanta questões complicadas tais como se devemos “randomizar” crianças, ou escolas, ou cidades; e qual deve ser o tamanho da amostra. Estas e muitas outras são questões normais de serem investigadas em tais pesquisas de impacto.
Daí, estabelecer atribuição (ou causalidade) — que é essencial para avaliar impacto — é um campo de pesquisa em ciências sociais. No entanto, sabe-se que a quase totalidade das instituições filantrópicas não é constituída por cientistas sociais. Ou seja, elas não são capazes de executar avaliações de impacto que sejam confiáveis, porque não têm essas habilidades in-house.
A boa notícia é que a maioria das instituições do terceiro setor não precisa das habilidades de pesquisa para avaliação de impacto. No exemplo dado, uma vez que já sabemos se e quando a teoria da mudança relacionada aos clubes de café da manhã funciona — pois ela já teria tido o seu impacto rigorosamente avaliado antes — não precisaremos avaliar o seu impacto novamente na organização, a menos que o contexto seja muito diferente
Assim, as organizações filantrópicas e os seus financiadores deveriam usar as avaliações de impacto já existentes para fazerem as escolhas de intervenções eficazes que decidem adotar / financiar. E, nesse caso, tudo o que as organizações filantrópicas precisariam fazer seria executar bem os seus programas sociais, e fazerem o seu monitoramento (ou avaliação de processo).
A quase totalidade do terceiro setor é constituída por instituições pequenas e, para estas, é muito difícil fazer avaliação, porque elas têm menos recursos disponíveis do que as grandes organizações. Por isso, torna-se fundamental para essas organizações menores saberem onde concentrar os seus esforços de avaliação e como mantê-los em proporção com a escala do trabalho social que fazem.
Nesse sentido, são quatro os pilares básicos da avaliação a serem seguidos, nessa ordem:
Como abordagem mais acessível para as instituições filantrópicas, os autores sugerem as pesquisas antes e depois com os usuários dos serviços sociais (ou participantes do projeto), pois essas pesquisas são capazes de fornecer, baseadas em auto-relato, uma visão relativamente objetiva de como as coisas mudaram na vida dos participantes, como efeito do trabalho da organização. Para tratar a causalidade, podem ser feitas perguntas diretas aos usuários para saber se eles consideram, ou não, que foram os serviços da organização que fizeram determinada diferença em suas vidas.
O autor parte do incômodo de que as instituições filantrópicas coletam tantos dados para mostrar que elas fazem a diferença e, no entanto, fica claro que elas falham em acumular e compartilhar esse conhecimento. Diferente do que fazem os profissionais da área médica, que compartilham entre si o que funciona e o que não funciona, com bem mais transparência.
A explicação seria que os estímulos no setor social estão errados. As organizações filantrópicas se sentem compelidas a avaliarem para validarem o seu próprio trabalho, e a convencerem os seus financiadores a continuarem a lhes dar dinheiro. Com isto, elas acabam ficando presas em um ciclo de auto-justificativa e de coleta de dados sem sentido, que pode ser chamado “desfile de beleza’.
Maria Cecília Prates é economista e mestre em economia pela UFMG, e doutora em administração pela FGV /Ebape (RJ). A área social sempre foi o foco de suas pesquisas durante o período em que esteve como pesquisadora na FGV, e depois em seus trabalhos de monitoria, consultoria, pesquisa e voluntariado.
Contato: mcecilia@estrategiasocial.com.br
Inscreva-se na nossa Newsletter
Participe do nosso grupo no WhatsApp para receber nossos conteúdos em primeira mão
O Portal do Impacto tem o objetivo de compartilhar conteúdos gratuitos para as Organizações da Sociedade Civil (OSCs ou ONGs) e seus empreendedores nos temas de gestão, captação de recursos, tecnologia, comunicação e outros temas relevantes para o Terceiro Setor.
As opiniões manifestadas nos conteúdos de terceiros apresentados neste portal são de exclusividade das pessoas que as manifestaram, não responsabilizando a Phomenta. Todo o conteúdo é orientativo e tende a ser prático, mas recomendamos a procura de especialistas locais para implementação de ações, considerando a realidade da OSC.
