2016

Evaluación de Proyectos Sociales (SOL-190)

Profesora: andrea lopezAndrés González

ÍndiceDiseño de un programa social...........................................................................................................2

Diseño de indicadores.......................................................................................................................7

1

10 de Marzo.

Diseño de un programa social.

Una política pública se puede definir como un “programa de acción de una autoridad inves-

tida de poder público”. Ahora bien, el problema de esta definición es que le entrega el mo-

nopolio de la creación de políticas públicas al Estado. Un concepto más actualizado y am-

plio puede ser: “son cursos de acción y flujos de información relacionados con un objetivo

político definido en forma democrática, que son desarrollados por el sector público y fre-

cuentemente con la participación de la comunidad y también del sector privado”. De esta

forma, la creación de una política pública no es sólo monopolio del Estado.

Cuando hablamos de un diseño de programa nos vamos a centrar en tres puntos.

I. Atingencia: aquí se debe analizar:

a) Relevancia social: es un diagnóstico de si el problema existe o no, y, de exis-

tir, a cuántas personas afecta. Esto puede ser respondido con investigaciones

académicas y con estadísticas nacionales. (Si se da de tarea la creación de un

Programa nacional de alfabetización para mayores de 18 años, ello no tiene

mayor sentido en la medida que casi el 100% está alfabetizado. Ello cambia

si nos vamos a un país como Nigeria donde un 75% de los hombres y 58%

de las mujeres están alfabetizados; aquí sí es atingente.)

b) Inserción Institucional: ver cómo se enmarca el programa en los objetivos de

la institución, en un ministerio, por ejemplo. Y también se quiere ver la rela-

ción del programa con otros programas; esto es importante para evitar dupli-

cidades, porque un programa puede ser el complemento de otro, porque se

puede optimizar recursos, etc. (Ejemplo clase: “Beca Vocación de Profesor”,

implementado por la Sub-secretaria de Educación. Ella entrega una beca de

arancel a los estudiantes con 600 puntos o más en la PSU para estudiar la

carrera de Pedagogía. Además, la misión del Ministerio de Educación (MI-

2

NEDUC). Considerando la Misión del MINEDUC1, ¿se inserta bien está

política pública? Sí, se inserta bien, en la medida en que la misión del Minis-

terio dice que buscan “asegurar un sistema educativo inclusivo y de cali-

dad”. Sin embargo, este programa pierde todo el valor relativo que pueda

tener con la implementación de la Gratuidad, por ejemplo. Se están dupli-

cando políticas, no se están complementando. A la presentación le tiende a

faltar una teoría. Asume de que la PSU es un buen método de medición de

calidad al igual que la prueba INICIA; en parte porque no hay mejores ins-

trumentos.)

II. Coherencia interna: se ve la interrelación de tres elementos del programa:

a) Los objetivos: qué se busca lograr. Estos se ven en tres niveles:

1. Fin último: contribución que no es responsabilidad del programa, ya

que es algo tan general como disminuir la pobreza, por ejemplo. Es

algo que va a “contribuir a…”, pero es algo que el programa no se

puede hacer responsable en la medida que es demasiado ambicioso.

2. Objetivo general: sí es responsabilidad del programa; es el resultado

directo de la ejecución del programa. Es lo que el programa pretende

1 El Ministerio de Educación de Chile es el órgano rector del Estado encargado de fomentar el desarrollo de la

educación en todos sus niveles, a través de una educación humanista democrática, de excelencia y abierta al

mundo en todos los niveles de enseñanza; estimular la investigación científica y tecnológica y la creación

artística, y la protección e incremento del patrimonio cultural de la Nación. Del mismo modo, esta institución

es la llamada a velar por los derechos de todos los estudiantes, tanto de establecimientos públicos como priva-

dos.

La misión del Ministerio de Educación es asegurar un sistema educativo inclusivo y de calidad que contribuya

a la formación integral y permanente de las personas y al desarrollo del país, mediante la formulación e imple-

mentación de políticas, normas y regulación, desde la educación parvularia hasta la educación superior.

Es función del Ministerio de Educación que el sistema integrado por los establecimientos educacionales fi-

nanciado con recursos públicos provea una educación gratuita y de calidad, fundada en un proyecto educativo

público laico, respetuoso y pluralista, que permita el acceso a toda la población y que promueva la inclusión

social y la equidad.

3

conseguir de manera concreta con su implementación. Un programa,

un objetivo general.

3. Objetivos específicos: también son responsabilidad del programa.

Son metas intermedias que ayudan a conseguir el objetivo general,

por lo tanto deben tener coherencia con el Objetivo general.

b) La población objetivo: a quien va dirigido el programa, a quien se busca

beneficiar con el programa. Puede estar delimitada por lineamientos de cual-

quier índole, incluso, y generalmente, presupuestarios. En este contexto se

distingue entre:

1. Población potencial: aquella que presenta el problema que se busca

solucionar. Es lo que se quiso diseñar.

2. Población beneficiada: aquella que efectivamente se vio beneficiada

con el programa. La mayoría de las veces es distinta a la Población

potencial. Es lo que efectivamente pasó. Por lo general es un subcon-

junto de la población objetivo.

3. Estrategia de intervención: qué estrategia empleo para conseguir el

objetivo; qué es lo que hace el programa. Típicamente se hacen dos

cosas:

- Se entregan bienes y/o servicios,

- Se realizan actividades.

Además de eso, se ve el vínculo entre las actividades, bienes o servi-

cios y los objetivos del programa: ¿por qué de hacer A se llegaría a

B? Esto se puede conseguir con investigaciones, literatura al respec-

to, experiencia internacional; por lo general se ocupan fuentes tercia-

rías. Muchas veces en esta etapa pueden haber problemas a nivel de

saber qué es lo que hace un programa (ejemplo, programa 24 horas

del Ministerio del Interior); a nivel del vínculo entre las actividades,

bienes o servicios y los objetivos del programa (ejemplo, Maletín

Literario). (Al momento de diseñar un programa se puede hacer refe-

rencia respecto a las condiciones externas, el contexto en el cual se

despliega el programa).

4

Hay que analizar bien la coherencia interna; ello se consigue en virtud de

la evidencia empírica, en base a estudios hechos al respecto. La coherencia in-

terna no se limita a enumerar los elementos anteriores; hay que citar estudios

que abalen la existencia del vínculo entre los distintos elementos de la coheren-

cia interna. A ratos, puede que los elementos de la coherencia interna puede que

no se entrelacen muy bien.

III. Consistencia: es la medición de resultados del programa; se realiza ex ante. Es la

relación, la brecha existente entre el diseño (planificación) y la implementación

de un programa. (Supone una coherencia interna sólida). Se mide en función de

indicadores, que a su vez se pueden clasificar según el ámbito de desempeño

(eficacia, eficiencia, economía, calidad de servicio), y según ámbito de control

(procesos, productos, resultados [corto, mediano, largo plazos]). Dos conceptos

importantes son:

a) La eficacia: se refiere a si el programa cumple o no con sus objetivos, en

particular los objetivos generales o propósito, y los objetivos específicos (no

se considera el fin último en la medida que no es responsabilidad directa

suya). Estos objetivos no sólo son analíticamente distintos, sino que también

se alcanzan en plazos distintos; en general los objetivos específicos son con-

seguibles en un corto plazo (ejemplo, Programa Plan Cuadrante). Entonces,

al analizar los resultados se va a distinguir entre:

1. Resultado (output): consecuencias inmediatas en el corto y me-

diano plazo; en términos analíticos se está midiendo los objetivos

específicos del programa. (Un programa de vacunación de in-

vierno se puede evaluar en invierno, en un par de meses).

2. Impacto (outcome): consecuencias a largo plazo; se realiza una

medición del objetivo general del programa. (Un programa de

reducción de la pobreza no se puede medir, según la literatura,

hasta antes de 5 años).

Así, cobra importancia el evaluar un programa cuando debe ser evaluado en

función de sus objetivos, particularmente en políticas sociales; esto permiti-

5

ría arreglar el problema sobre la marcha. (Ejemplo, Prevención Temprana,

para evitar el consumo de droga: programa dirigido a niños entre 9 y 10

años. Se mide el programa a los 3 años, es decir, cuando los niños tienen 13

años. El problema es que el consumo de droga tiende a iniciar entre los 14 y

17 años; ver que la población disminuyo su consumo no se verá hasta cuan-

do ésta tenga 17 años.)

b) La eficiencia: refiere al costo al cual el programa obtuvo resultados, cumplió

con sus objetivos. Parte del supuesto de que los recursos son escasos, por lo

tanto se analiza el volumen de recursos destinados al programa. La relación

entre eficacia y eficiencia es importante; los esfuerzos tienen que ser propor-

cionales a lo que se quiere lograr. La eficiencia se evalúa en dos momentos:

1. Ex ante: presupuesto. Se analiza el precio del bien o servicio que se

va a entregar; y las opciones disponibles, se busca la opción menos

costosa. (Ejemplo, Puente de Chacao: se comparó con la mejora de

un sistema de flotas. En la medición de gasto era más eficiente mejo-

rar la flota.) No sólo importa obtener lo que se quiere con el provee-

dor más barato sino que también las opciones disponibles para conse-

guir el objetivo.

2. Ex post: análisis de gasto. Se realiza sobre la base de indicadores y el

análisis de costo-eficiencia, es decir, evaluación socio-económica.

Cuando se evalúa un programa se distingue entre Gasto Administrativo

(G.A) y Gasto Social (G.S). Así, si:

G . A ÷ G . S=[0,1]

El resultado será 0 en la medida que el Gasto Administrativo sea mayor que

el Gasto Social (G . A>G. S). Será 1 cuando el Gasto Social sea mayor que

el Gasto Administrativo (G . A<G. S). El resultado de la división debe ser lo

más cercano a 1.

Tanto la eficiencia como la eficacia se miden en base a indicadores.

Todo lo anterior es lo que se conoce como la Racionalidad o Lógica del Programa.

6

El diseño está relacionado con la evaluación. Un programa mal diseñado difícilmen-

te será bien evaluado, difícilmente cumplirá los objetivos que se propone. Los programas

siempre están en constante construcción.

17 de Marzo.

Diseño de indicadores.La primera etapa a evaluar en un programa social es la atingencia, en una segunda etapa se

ve la coherencia interna, la tercera etapa se ve la consistencia. La eficiencia y la eficacia se

miden en función de indicadores. Al minuto de diseñar un indicador hay que tener claro de

dónde se va a sacar la información para que el indicador mida lo que se supone que debe

medir.

Un indicador es una simplificación de la realidad que nos da información numérica

a cerca de las consecuencias y/o del funcionamiento del programa. Los indicadores se pue-

den diseñar ex ante (antes que el programa comience a implementarse) o ex post (evaluar el

programa estando en ejecución); se prefiere hacerlo ex ante. Un indicador va a tener un

conjunto de características deseables:

a) Simple: se apela al principio de parsimonia. Se prefieren indicadores sencillos a

los complejos. Hace referencia a que sea una simplificación de la realidad.

(Ejemplo: Nivel socioeconómico; con dos dimensiones: Dimensión económica

(Bienes), Dimensión social (Nivel educacional). Un indicador simple se cons-

truiría cruzando ambas dimensiones).

b) Observables y medibles: se busca una medida objetiva. De ahí deriva la impor-

tancia de definir el concepto: debe ser descompuesto en indicadores pequeños

que sean medibles. (Ejemplo: “Informe de la ONU ubica a Dinamarca como el

país más feliz del mundo”. Siendo la unidad de análisis los países. Entonces este

índice toma seis preguntas referentes al: PIB, esperanza de vida, generosidad, el

apoyo social, la libertad, la corrupción. Un concepto complejo como la felicidad

fue descompuesto en estas seis dimensiones, más allá de que se esté de acuerdo

con estas dimensiones).

7

c) Válidos: se refiere a que se esté midiendo el concepto que se busca medir. El

principal problema de la validez es que se va a tener un trade off entre la vali-

dez y la simplicidad: para asegurarse de medir todo lo que se quiere medir por lo

general se tiene que medir de manera más exhaustiva. (Ejemplo: el concepto de

“Vulnerabilidad social”, que por lo general se mide en función del ingreso. El

indicador puede ser simple, pero no valido: hay que sumar otras cosas tales

como educación, contexto familiar, redes de apoyo, etc.) Lo importante en la

validez es explicitar lo que se quiere medir, es decir, es importante restringir lo

que se va entender por el concepto en cuestión, de ahí la importancia de los mar-

cos teóricos en las investigaciones.

d) Precisos: es decir, a qué nos estamos refiriendo con un determinado indicador.

Es importante para la comparabilidad, porque, por ejemplo en el mismo caso de

la felicidad, así se pueden comparar distintos estudios referentes al mismo con-

cepto. Cuando se da un indicador lo primero que se tienen que hacer una fórmu-

la matemática, los periodos de medición en los cuales se miden los indicadores,

después hay que decir la unidad de observación, es decir, a quién se está midien-

do, y cuarto las fuentes de información; de aquí nace la importancia de diseñar

el indicador antes.

e) Sensibles: es decir, que tengan poder estadístico. Esto aplica para distintos tipos

de programas. Cuando se mide un indicador se tiene que medir en función de

una muestra que te permita medir el concepto. (Ejemplo: encuestas de drogas.

Realizar una de estas encuestas es complejo en la medida que se tienen que ha-

cer en el mismo periodo y porque las prevalencias en Chile no son tan altas).

f) Comparables: esto es en dos sentidos: consigo mismos, es decir, con las cifras

previas del mismo indicador – esto se puede conseguir de dos formas: aplicando

la misma fórmula, como por ejemplo la CASEN, o aplicando el mismo periodo,

como por ejemplo las encuestas de drogas y las de demandas de dinero (Banco

Central); estos estudios comparan con el año anterior pero manteniendo el mes

dado que, por ejemplo, hay meses en los cuales los chilenos gastan más que

otros meses, y comparar Agosto con Noviembre no tiene mayor sentido – y con

los demás indicadores, con otros estudios; aquí va a ser crucial que el indicador

8

sea efectivamente preciso, lo que se tiende a hacer es vender metodologías, lo

cual te asegura que toda la información es comparable. Esto es importante en la

medida que permite poner en contexto la información que se está midiendo.

Ahora, hay un trade off siempre entre comparabilidad y perfeccionamiento: ¿qué

pasa si el indicador no es lo suficientemente valido? Se reportan dos indicado-

res: el antiguo y el nuevo. La idea es que al tener una serie lo suficientemente

larga de indicadores nuevos se puede dejar de usar el indicador antiguo.

g) Verificables: tiene que ver con las fuentes de información que se utilizan. Al

medir un indicador de determinada manera se tiene que decir explícitamente de

dónde se saca la base de datos; ello para verificar que lo que se midió es efecti-

vamente cierto. Tiene que ver un tanto con la transparencia del estudio. Enton-

ces, lo que se hace es que los indicadores se presentan de una determinada ma-

nera según un nombre, una definición y una base de datos de donde se extrae la

información.

h) Económicamente razonables: los indicadores más primarios de un estudio son

aquellos que se recolectan de manera muy rápida, pero en la medida que el indi-

cador se va sofisticando se hace más caro el recolectar la información. Lo que se

hace es que le Estado asume la aplicación de ciertas encuestas. Y en función del

costo de la medición, se ve también su periodicidad.

Veamos cómo tiene que ser este indicador en función del programa.

a) Pertinente: que el indicador mida las metas estratégicas del programa. Aquí hay

que hablar de un sistema de incentivos: cuando uno pone un indicador, se pone

una escala de incentivos a la institución; las instituciones funcionan por bonos

relacionados a ciertas metas. (Ejemplo, carabineros, robo de auto y robo co-

mún).

b) Atribuible al programa: es decir, evaluación del impacto. Apunta a establecer

una relación causal entre el programa y lo que se está midiendo; limpiar el indi-

cador de todas las condiciones externas. Por ejemplo, si se mide la pobreza en

un contexto de crisis económica, no necesariamente dice que el programa es

malo, o no cumple con su fin.

9

c) No manipulables: las evaluaciones tienen que ser autónomas. El problema de

esto es que por lo general funciona con auto-reporte.

d) Variables: tiene que ver con los plazos. Al construir el indicador hay que decir el

momento en el cual se espera que el efecto se presente. Hay que ver la variabili-

dad del indicador, y cuando se espera que esta se produzca.

e) Validados: refiere al vínculo que como evaluador hay que establecer con la insti-

tución evaluada. Hay que explicitar que se evalúa al programa y no a la institu-

ción. (Ejemplo, el gremio de los profesores que tienden a ser reticentes a las

evaluaciones que puede que no vean que las evaluaciones no son tanto para me-

dirlos a ellos sino que para medir los programas de pedagogía).

28 de Marzo.

Matrices de diseño.

10