45
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados De la evidencia a la acción Claudia Macías J-PAL LAC 2
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
De la evidencia a la acción
Claudia Macías
J-PAL LAC
2
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Objetivos de aprendizaje
3
Entender los beneficios de contar con
evidencia en las políticas públicas.
Conocer herramientas utilizadas para dar
a conocer los resultados de las
evaluaciones experimentales.
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Importance
Índice
1. La evaluación de impacto como un bien
público
2. Aspectos relevantes para incidir en
políticas públicas
3. Recursos para difundir resultados
4. El panorama general de la evidencia
How to Components Example What it is Big picture
4
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
1. La evaluación de impacto como un bien público
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Importance How to Components Example
6
La evaluación de impacto como un bien público
La evaluación, por si sola, es un bien
público
Pero, ¿cómo obtenemos el máximo
provecho de ella?
Debemos planificar, desde el
inicio, su incidencia y difusión
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Importance How to Components Example
7
Entender desde el principio los potenciales usuarios de la evaluación
Estamos contestando preguntas cuya respuesta puede ser útil para otras intervenciones.
Las gestiones para incidir en políticas públicas comienza antes de que empiece la evaluación.
Para ello, se recomienda hacer un Plan de Incidencia en Política (PIP)
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Importance How to Components Example
8
Plan de Incidencia en Política
Definimos objetivos
Identificamos los actores y alianzas claves
Definimos una propuesta de incidencia
Definimos las estrategias y acciones para llevarla
a cabo
Definimos recursos y cronogramas
Monitoreamos y evaluamos el plan
Detalles sobre cómo realizar e implementar estos planes se puede encontrar en www.3ie.org y en www.vippal.cippec.org.
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Importance How to Components Example
9
¿Cómo definir estrategias?
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
2. Aspectos relevantes a la hora de incidir en política
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Importance How to Components Example
11
¿Los resultados son generalizables?
Si hay impacto en
Montevideo, ¿lo habrá
también en otros
lugares?
Un estudio que informaba sobre retornos de la educación tuvo impacto en Madagascar y en
República Domínicana
¿La misma intervención tendrá impacto en Chile o Uruguay?
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Validez interna y externa
Validez interna: ¿la evaluación cumple con las condiciones suficientes para identificar el efecto del programa?
Validez externa: ¿podemos generalizar los resultados de la evaluación?
12
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Importance How to Components Example
13
Tomando en cuenta validez externa
Hay que considerarla en el diseño de la
evaluación
La validez externa del programa se
puede comprobar replicando la
evaluación
La teoría cumple un rol importante para
argumentar validez externa
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Pongamos la evaluación en contexto
No hay suficiente evidencia:
¿Replico la evaluación?
Hay suficiente evidencia
¿Escalo mi programa?
¿Rediseño mi programa?
14
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Escalamientos “Scale-ups”
Evaluaciones (intervenciones) con mayor probabilidad de ser escaladas:
Contestan preguntas relevantes para política pública
Mostraron tener impacto positivo
La organización que ejecuta el programa tiene la capacidad de escalarlo
Capacidad de responder en tiempo real a los implementadores de políticas públicas
Las evaluaciones son diseñadas para que no sean cajas negras
15
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Ejemplo: Precios de los productos de salud
La Malaria afecta a más de 200
millones en todo el mundo
Puede ser prevenida fácilmente con
redes antimosquito baratas.
Existe creencia que venderlas a un
precio bajo es bueno
Evaluación sobre la sensibilidad de
la demanda a cambios en el precio:
Resultados: Incluso precios muy
bajos reducen significativamente el
uso de las redes anti mosquitos
16
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
¿Por qué y cómo influyó en política pública?
17
Se enfocó en contestar una pregunta
relevante para los académicos e
implementadores
Organizaciones como la Population Services
International (PSI) ahora distribuyen
gratuitamente las mallas antimosquitos
Otras organizaciones también se sumaron
Luego se aprendió que esto no solo aplica
para las mallas antimosquitos
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Pasos para escalar programas
1. Entender la
evidencia:
comparar
múltiples
estudios
18
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Pasos para escalar programas
2. Elegir que programa escalar
19
35
75
64
32
0
10
20
30
40
50
60
70
80
Reunionescomunitarias
Debates entrecandidatos
Campañasmediaticas para
promover el voto
Proveer información"report cards"
Incremento en la participación de los votantes (en miles)
-El impacto importa tanto como los costos
¿Viendo el gráfico, qué
intervención escogerías para
incentivar a la gente a salir a votar?
A. Reuniones comunitarias
B. Debates entre candidatos
C. Campañas mediáticas
D. Proveer información “report cards”
E. No tengo suficiente información
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Pasos para escalar programas 2. Elegir que programa escalar
20
5
12,5
0,71
20,6
0
5
10
15
20
25
Reuniones comunitarias Debates entre candidatos Campañas mediaticas parapromover el voto
Proveer información "reportcards"
Números de votantes más por cada 1000 dólares gastados (en miles)
-El análisis costo-efectividad es un herramienta útil para decidir
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Pasos para escalar programas
3. Elegir el lugar y el implementador
- Elegir lugares de contextos similares y con los
mismos problemas
- Ejecutar la replicación del programa con una
organización que tenga la capacidad para hacerla
- Es importante que el implementador entienda bien
QUÉ es lo que se va a escalar
21
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Pasos para escalar programas
4. Contactar a la nueva organización con la
que implementó el programa en el primer
estudio
5. Mantenerse involucrado en el proceso,
capacitar a la organización y dar asistencia
técnica
6. Pilotear antes de escalar
22
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Ejemplos de Scale-ups de evaluaciones de J-PAL
23
59 millones de niños han recibido pildoras desparasitadoras
33 millones de niños han recibido educación compensatoria
65 millones de personas utilizan las tarjetas Raskin
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
3. Recursos para difundir resultados
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Importance How to Components Example
25
Resúmenes de Políticas Públicas
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Importance How to Components Example
26
Estructura de Resúmenes de Política
Contexto y principales resultados
Detalles sobre la evaluación
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Importance How to Components Example
27
Estructura de Resúmenes de Política
Resultados de la evaluación
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Importance How to Components Example
28
Estructura de Resúmenes de Política
Lecciones de política pública
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Análisis Costo-efectividad
Resume un
programa complejo
en una proporción
entre el impacto en
una variable y su
costo
29
Años de escolaridad adicionales por cada 100 dólares
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Análisis Costo-efectividad
Permite comparar distintos programas
30
Años de escolaridad adicionales por cada 100 dólares
Información sobre retornos de la educación en República Domínicana
3.1 años
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Importance How to Components Example
31
Costo-beneficio vs costo-efectividad
¡No confundir estos dos conceptos!
El análisis costo-beneficio convierte todo a dinero para ver si la intervención es socialmente o financieramente rentable.
Por ejemplo, tendríamos que darle un valor al aumento de asistencia de los alumnos.
Ambos son útiles, pero para distintos objetivos
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Importance How to Components Example
32
Aspectos a considerar en el análisis costo-efectividad
Recopilar información sobre los costos
desde el inicio de la evaluación
Mantener supuestos consistentes en el
análisis para poder comparar con otros
programas
Tener cuidado con la sensibilidad de los
costos
Detalles sobre cómo realizar análisis costo-efectividad se pueden encontrar en http://www.povertyactionlab.org/ publication/cost-effectiveness
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
4. El panorama general de la evidencia
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Recordando de la primera clase: Todavía falta mucha evidencia por producir
Comparación con estudios clínicos 163,285
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Recordando de la primera clase: Todavía falta mucha evidencia por producir En economía vamos avanzando pero falta mucho por hacer.
En J-PAL a la fecha hemos realizado 491
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Algunas ideas para incrementar el uso y producción de evidencia
36
Promover mecanismos formales para institucionalizar el aprendizaje
Fomentar una cultura de evidencia y aprendizaje en el quehacer público
Empoderar a la ciudadanía para demandar evidencia en las políticas públicas
1.
2.
3.
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Fomentar cultura de evidencia y aprendizaje
Difundir lecciones de política
Crear espacio para plantear y responder
preguntas
Fomentar la gestión de evidencia y
promover experiencias innovadoras
Impulsar “laboratorios” que prueben y
evalúen nuevas ideas de política pública 37
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Comisión para definir y responder preguntas relevantes de políticas
Sesiones de trabajo con investigadores nacionales e
internacionales e implementadores de política pública en las que se
identifican y diseñan estudios para responder preguntas relevantes
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Tres Comisiones realizadas 2011 2012 2013
Quipu Quipu Regional Brújula
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
¿Cómo parte todo?
Felipe Kast (en ese entonces Ministro del MIDEPLAN) tuvo la idea de crear una comisión de académicos que se plantearán la pregunta desde un inicio.
1) Definir preguntas relevantes para Chile
2) Proponer intervenciones para contestarlas (resolver problemas identificados)
3) Diseñar evaluación experimental
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
¿Qué es una comisión?
¡Partamos por las preguntas!
Gobierno
Académicos
Asesores
J-PAL/IPA
Definimos las preguntas a
resolver
Diseño de propuestas y su
evaluación
Selección de las propuestas
Implementación y evaluación
Llevar a escala buenas iniciativas }
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Incubadora de evaluaciones de impacto
Unión entre actividades de capacitación e
incidencia en políticas
Podemos promover evaluaciones de
impacto de programas existentes que
sigan expandiéndose
Fomentar una cultura de evaluar impacto
en el gobierno
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Talleres de evidencia
Ayudar a entender e interpretar la evidencia
existente. Sobre todo en los casos en que:
ONGs muy pequeñas
No es posible aleatorizar
No sea el momento de evaluar impacto
Es necesario repensar el diseño del
programa antes de evaluar
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Promover la institucionalización del aprendizaje
Sistematizar y legalizar las experiencias
relevantes
Proponer organismos con autonomía para
promover evaluaciones de impacto y
pilotaje
Investigar modificaciones legales que
puedan contribuir a la formalización de la
evaluación
44
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
Empoderar a la ciudadanía para demandar evidencia
Incentivar discusión entre líderes de
opinión
Difundir la importancia de contar con
evidencia
45
Panorama de la evidencia Incidencia en política Bien Público Difusión de resultados
¡Gracias!
46
