Fuente: iadb.org (Autor: Samuel Silva)
La pregunta del millón, Desafío para la industria microfinanciera y para cualquier programa de desarrollo: ¿cómo saber qué efecto ha tenido?
Así como hoy se habla de efectividad en el desarrollo, ayer se hablaba de gestión por resultados. Sea cual fuere la frase de moda para definir el tema, el interrogante sigue siendo el mismo: ¿cómo evaluar el impacto que ha causado un programa de desarrollo? ¿Cómo sería América Latina si nunca hubieran existido la Fundación Ford, el BID, la comunidad donante? Y el punto de fondo: ¿existe evidencia empírica sobre la efectividad de las microfinanzas para mejorar las condiciones de vida de los microempresarios?
La pregunta es clave, urgente y válida. Y aunque en los últimos años ha aumentado sustancialmente el número de estudios de evaluación de impacto, todavía no hay una respuesta clara.
Es posible que para la banca comercial —como para cualquier industria donde prima la iniciativa privada y el mercado pone las reglas— la pregunta suene retórica. Lo que valida una actividad es su balance, sus resultados en «plata blanca». Si el negocio deja utilidades, es efectivo. Y en cierto sentido esta visión ha permeado a muchas organizaciones internacionales de microfinanzas que han dejado de invertir en costosos estudios de impacto: si los clientes solicitan y devuelven los préstamos es porque están mejor con ellos.
Pero cuando una industria surge a causa de una intervención externa, llámese acción del Estado o de la comunidad donante, el balance de fin de año de una empresa sólo demuestra que esa empresa es sostenible, no efectiva. Hablando por ejemplo de las leyes de fomento de la microempresa, el consultor Miguel Cabal dice que «no sabría decir si estamos mejor o peor con las leyes de fomento, porque no ha habido reales esfuerzos de evaluación de impacto«. Y al terminar su presentación en el Foro Interamericano de la Microempresa en Cartagena, el profesor de Princeton, Dean Karlan, formuló la pregunta del millón. «¿Hay evidencia empírica de la efectividad de las microfinanzas?» Su respuesta: «La verdad es que todavía no lo sabemos«.
El discurso del método
Por evaluación de impacto se entiende cualquier proceso que busca determinar si una acción emprendida logra el resultado esperado. Y el primer problema que se presenta es que las actividades microfinancieras pueden tener tres tipos de resultados deseados: económicos, sociopolíticos e individuales. Los efectos económicos van desde el impacto de una sola institución microfinanciera en una comunidad específica, hasta el que pueda tener en el PIB de un país una industria microfinanciera desarrollada y con decenas de instituciones que atienden a cientos de miles de clientes en la economía de una zona geográfica o un sector de la población.
Abunda la evidencia empírica sobre el impacto económico positivo de las microfinanzas. Para la muestra, dos estudios: uno sobre los proyectos microfinancieros de Save the Children en Honduras en 1999, el cual mostró que el acceso al microcrédito ayudó a muchos pequeños productores agrícolas a no tener que vender por adelantado sus productos por debajo del precio de mercado para conseguir ingresos durante los meses sin cosecha, y otro sobre el programa de crédito con educación CRECER de Bolivia, donde se reveló que el 67% de los participantes en el programa había aumentado sus ingresos gracias a él. Pero las IMF también pueden producir cambios en el estatus político o social de un sector de la población, y el acceso al crédito y al sistema financiero formal también impacta la autoestima de los prestatarios. Evaluar estos tipos de efectos requiere distintas metodologías.
Cuando el objetivo que se persigue es la reducción de la pobreza, analizar el impacto de las microfinanzas se vuelve especialmente importante. En Development Gateway, un sitio en la red especializado en el tema, se plantea que hay consenso en que es más conveniente usar múltiples métodos en lugar de uno solo, y que es necesario combinar los enfoques cualitativo y cuantitativo. Pero en muchos casos esto resulta demasiado costoso para programas en los cuales la inversión total es relativamente pequeña.
Grupo de control
Otro de los problemas que surge es que la evaluación de impacto debe iniciarse antes de que el programa se lleve a cabo. Según Karlan, dado que el impacto es causal y «se refiere a cómo un programa produce cambios«, para medirlo se debe diseñar un instrumento y ponerlo en marcha junto con la iniciativa misma. «No se puede hacer un estudio de impacto en forma retrospectiva«, concluye. Además, si la evaluación de impacto quiere ser rigurosa debe evitar sesgos que pongan en duda su objetividad, lo cual plantea cuestiones de fondo sobre las que se enredan los expertos. El sesgo de selección es uno de los más evidentes: los clientes de las microfinancieras, por el hecho mismo de solicitar un microcrédito, poseen características emprendedoras que pueden contribuir a su éxito. ¿Cómo seleccionar individuos comparables sin crédito en un grupo de control?
Otro escollo, específico a las instituciones microfinancieras, es la limitada calificación gerencial para llevar a cabo el ejercicio, además de que al personal de las IMF tampoco le entusiasma pues significa introducir variables empíricas en las herramientas de análisis, lo cual se traduce en trabajo adicional y en una complicación extra para ellos.
Control y precisión
Miguel Angel Navarro, gerente financiero de la Organización de Desarrollo Empresarial Femenino (ODEF) de Honduras, una de las microfinancieras que participan en el proyecto ImpAct en ese país que el propio Navarro coordina, señala el mayor problema con la evaluación de impacto: «Hay que tener un grupo de control para ver cómo se comporta respecto del grupo en el cual se aplicó el programa, y eso es bastante difícil«.
El proyecto ImpAct, financiado por la Fundación Ford y varias universidades británicas, es un intento de evaluar el efecto de las microfinanzas en los clientes de varias regiones del mundo. Se inició en América Latina en 2001 con 10 IMF hondureñas, una de las cuales fue ODEF. Se trataba de usar cinco herramientas para medir el efecto de los servicios de las microfinancieras. «Como detectábamos un 45% de deserción entre nuestros clientes, la primera herramienta que usamos fue una encuesta para medir por qué la gente estaba desertando«, relata Navarro.
Como grupo comparativo inicial ODEF usó clientes nuevos, pero la metodología se refinó y ahora, por cada cliente elegido al azar para participar en la evaluación de impacto, se escoge para el grupo de control a otro cliente perteneciente al mismo grupo demográfico, ubicación geográfica y actividad económica.
¿Resultados? Un 33% de los desertores había abandonado a las IMF porque tuvo problemas con la atención que recibía de la institución misma, pero un 21% lo había hecho porque no le parecía satisfactorio el programa de microfinanciamiento disponible. Entre las razones señaladas figuran la alta rotación del personal, la lentitud en la aprobación del crédito, el ser atendidos por cualquier persona y no por el mismo ejecutivo siempre, y la inflexibilidad en materia de plazos.
El resultado más destacado fue que el 66% de los encuestados dijo que regresaría a la microfinanciera si el programa mejoraba. «Eso nos hizo desarrollar programas nuevos y salir a rescatar a clientes que habían desertado«, recuerda Navarro. La reincorporación de viejos clientes fue grande, «y mucho más barata que salir a buscar clientes nuevos«.
Ser o no ser
El estudio de ODEF es claramente ventajoso para mejorar el negocio de las instituciones microfinancieras participantes y también amplía el acceso al crédito. Pero ¿es realmente evaluación de impacto? Karlan sostiene que definitivamente no, pero Navarro estima que sí, por cuanto «permite saber si las microfinancieras están cumpliendo sus objetivos y, si no lo están haciendo, realizar los cambios necesarios«.
Sin embargo, es más fácil entender el ejercicio de ODEF como un estudio de mercado o como una encuesta de satisfacción del cliente para mejorar un producto, y no como una auténtica evaluación de impacto. Pero no se puede negar su utilidad como herramienta para mejorar la atención al cliente y hacer más transparentes sus demandas y necesidades.
Y si se trata de dar mayor transparencia al mercado, el trabajo que están haciendo calificadoras como Microrate o la plataforma de información The Mix, también beneficia a los clientes y aceita mejor los engranajes de una industria que ha surgido bajo la sospecha de la intervención, ya sea estatal o donante. Pero ni la calificación de crédito (credit rating) ni la puntuación del crédito (credit scoring), ni los indicadores de The Mix son evaluaciones de impacto.
Para Karlan, las experiencias prácticas que se han llevado a cabo en evaluación de impacto tienen en general deficiencias metodológicas serias que las privarían de validez. Aunque aclara: «Hay dos tipos de impacto: al que se refiere Miguel [Navarro, de ODEF] y al que me refiero yo. Las herramientas que está usando ODEF son útiles para un proceso cualitativo. Pero si se quiere hacer impacto, se necesita tener un grupo de comparación válido. Y los líderes de las microfinanzas y los donantes van a tener que empezar a hacer esto«.
La experiencia de quienes han intentado hacer o han hecho evaluaciones de impacto de algún tipo es que cuando un experto sugiere cambios, nadie los quiere hacer, pero cuando la evaluación de impacto se hace de abajo hacia arriba, todos quieren participar en ella.
«La metodología siempre tiene problemas», concluye Navarro, «y la manera de mejorar una herramienta es usarla«.
