Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf ·...

136

Transcript of Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf ·...

Page 1: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,
Page 2: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Departamento Nacional de PlaneaciónDirección de Evaluación de Políticas Públicaswww.dnp.gov.co/sinergia

Dirección GeneralEsteban Piedrahita

Subdirección GeneralJuan Mauricio Ramírez

Secretaría GeneralElizabeth Gómez Sánchez

Director de Evaluación de Políticas PúblicasDiego Dorado Hernández

Evaluaciones en equidad: cobertura social

Serie:15 años del Sistema de Seguimiento y Evalua-ción en Colombia - Sinergia: una mirada desde las

evaluaciones de política pública más relevantes.

Coordinación de la Publicación

Dirección de Evaluación de Políticas PúblicasAndrea Catalina Ortiz González

Carolina Isaza EspinosaGermán Alberto Ramírez RamírezGustavo Alberto Quintero Ardila

Leonardo André Garzón Mora María Fernanda Gaitán Lozano

Paola Andrea Urueña Pineda

Coordinación Grupo de Comunicacionesy Relaciones PúblicasHenry Pabón Gómez

Diseño y diagramaciónClara Victoria Forero Murillo

Javier Romero Cárdenas

© Departamento Nacional de Planeación, 2010Bogotá, D.C., Abril de 2010

Calle 26 Núm. 13 -19Teléfono 3815000

Bogotá, D.C., Colombia

Page 3: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Personas que colaboraron con la realización de esta cartilla

Grupo de DirecciónAna Carolina Ramirez Pineda

Ana Gómez RojasAriane Ortiz Bichard

Armando Ardila Delgado Carolina Isaza Espinosa

Mario Andres Velasco Rodríguez Mercedes Souza Weich

Grupo de InvestigacionesJosé Danilo Gonzalez Peña

Gustavo Alberto Quintero ArdilaDavid Andres Ibáñez Parra

Grupo de Evaluaciones FocalizadasEduardo Andrés Alfonso Sierra

Alejandro Moreno López Alexandra Díaz Montenegro

Andrea Nathalia RomeroFelipe Balcázar

Jairo Edison Tirado MartínezJulián Daniel Muñoz Cifuentes

Liliana Andrea MurciaOscar Julián Corzo

Sandra Jeannette Perdomo MedinaSandra Lucía Virgüez

Walter Mauricio Aguilar Villegas

Grupo de seguimiento al Plan Nacional de DesarrolloJulio Alejandro Abril

Ana Maria Arias DíazElizabeth Tello Saldarriaga

Hernán Darío Orozco Guayara Juliana Consuelo Moncada Guayazan

Juanita Pérez RubioLech Julián Guerrero Cárdenas

Lina Maria Moncaleano CuellarPaola Andrea Ramirez

Sandra Catalina Campos Romero

Page 4: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

4

15 años del Sistema de Seguimiento y Evaluación en Colombia - Sinergia: una mirada desde las evaluaciones de política pública más relevantes.

Page 5: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

5

15 años del Sistema de Seguimiento y Evaluación en Colombia - Sinergia: una mirada desde las evaluaciones de política pública más relevantes.

ÍndiCE

inTROdUCCiÓn 8

dimEnsiÓn dE EqUidad 10

saLUd 17

Evaluación ejecutiva de los proyectos departamentales y distritales de atención integralde personas con discapacidad 18

De pocos a muchos, diez años de la expansión del aseguramiento en salud en colombia 25

Desarrollar el plan de análisis y la elaboración de informes del análisis de situación de salud de colombia 2002-2007 32

Evaluación de medio término del programa de reorganización, rediseño y modernización de las redes de prestación de servicios de salud 43

aLimEnTaCiÓn 53

Evaluación ejecutiva al programa red de seguridad alimentaria resa 54

Evaluación de impacto del programa de desayunos infantiles con amor (dia) del instituto colombiano de bienestar familiar 63

EdUCaCiÓn BÁsiCa 69

Evaluación de la política de gratuidad educativa de la ciudad de bogotá 70

Evaluación de los modelos implementados por el programa nacional de alfabetización y educación básica de jóvenes y adultos del ministerio de educación nacional 77

Hacia una mejor educación rural: impacto de un programa de intervención a las escuelas en colombia 86

CULTURa 93

Evaluación cualitativa de resultados del proyecto “educación musical para niños, niñas, adolescentes y jóvenes: déjate tocar por la música” 94

Evaluación y seguimiento del programa salas concertadas del ministerio de cultura 103

ViViEnda 109

Evaluación de impacto del programa de vivienda de interés social urbana- intermedia 110

EmPLEO 121

Programa empleo en acción: impactos sobre los beneficiarios y sus familias 122

Programa jóvenes en acción. Impactos sobre los beneficiarios y sus familias 129

Page 6: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

6

15 años del Sistema de Seguimiento y Evaluación en Colombia - Sinergia: una mirada desde las evaluaciones de política pública más relevantes.

aGRadECimiEnTOs

El Departamento Nacional de Planeación presenta sus agradecimientos a todas aquellas personas e instituciones que colaboraron con la recolección y revisión del material que hace parte de esta serie de publicaciones, especialmente a:

Comité Internacional de la Cruz Roja, CHF Internacional, Programa Mundial de Alimentos, Acnur, Banco Interamericano de Desarrollo, Cámara de Comercio de Bogotá, Alcaldía de Bogotá, Alcaldía de Medellín, Ministerio de Educación Nacional, Ministerio de Protección Social, Ministerio de Transporte, Ministerio de Defensa Nacional, Ministerio de Cultura, Ministerio de Agricultura, Ministerio de Comercio, Ministerio de Ambiente Vivienda y Desarrollo Territorial, Ministerio de las Comunicaciones y Tecnologías de Información, Icetex, Instituto Colombiano de Bienestar Familiar, SENA, Agencia Presidencial para la Acción Social y la Cooperación, entre otros.

Page 7: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

7

15 años del Sistema de Seguimiento y Evaluación en Colombia - Sinergia: una mirada desde las evaluaciones de política pública más relevantes.

PRÓLOGO

Por mandato constitucional, el Departamento Nacional de Planeación es el encargado de orientar el monitoreo y evaluación de los principales planes, programas y proyectos públi-cos. En el cumplimiento de esta tarea, ha liderado el Sistema Nacional de Evaluación de Resultados de la Gestión Pública, SINERGIA, que durante los últimos 15 años ha brindado un valioso apoyo a la gestión pública colombiana.

Desde su concepción en 1994, el sistema ha afrontado numerosos retos posicionándose como un referente latinoamericano en temas de monitoreo y evaluación a nivel público. Su experiencia ha motivado a otros países a desarrollar sus propios sistemas. Así mismo, ha sido una guía para las entidades territoriales que quieren fortalecer su gestión orientándola al logro de resultados.

Quisiera destacar el compromiso que ha caracterizado al equipo técnico del DNP en la construcción y consolidación del sistema, pues su éxito ha sido fruto de la audacia, cono-cimiento, creatividad y sobre todo, de la perseverancia, características indispensables para liderar cambios y aportar efectivamente a la construcción de un mejor país.

El principal objetivo de esta serie, además de recopilar la memoria institucional, es generar un debate crítico y constructivo en torno al importante papel que juegan el monitoreo y la evaluación en un Estado del siglo XXI. Así, se espera incidir en el bienestar de los colombia-nos apoyando el compromiso de todos los servidores públicos que han velado por cambiar el paradigma en tormo a la evaluación, potenciando su uso como una poderosa herramien-ta de gestión.

Me permito entonces presentar las experiencias y enseñanzas que a lo largo de estos 15 años nos deja Sinergia, así como algunos de los retos que deberá enfrentar en los años venideros, y la compilación de evaluaciones más representativas que se han llevado a cabo desde 2004 en Colombia, las cuales constituyen un ejemplo de cómo la evaluación se ha convertido en un aspecto fundamental de la gestión pública colombiana, incidiendo en el desarrollo social y económico del país.

Esteban PiedrahitaDirector General Departamento Nacional de Planeación

Page 8: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

8

inTROdUCCiÓn

El propósito de este libro es celebrar los quince años de Sinergia, presentado un balance de lo que ha sucedido en Colombia con la Nueva Gestión Pública y en particular con la Gestión Orientada a Resultados a través de una de sus principales herramientas, la evaluación de políticas públicas. Para realizar esta presentación se ha tomado como marco de referencia la evolución y perspectivas del Sistema Nacional de Evaluación de Resultados de la Gestión Pública – Sinergia, que sin duda alguna ha sido el escenario más fructífero en la implemen-tación de la cultura del seguimiento y evaluación de las políticas gubernamentales. Es ne-cesario aclarar que la política pública implica el desarrollo de lineamientos y acciones, por parte de actores públicos o privados, que afectan el bienestar de la comunidad.

Entendida como la adaptación y el uso de las prácticas del sector privado a los sistemas organizacionales del sector público1, la Nueva Gestión Pública (NGP), aparece como uno de los cambios más significativos resultante de los debates que se dieron en el siglo XX en torno al papel y la estructura del Estado y de la administración pública. Este modelo tenía el fin de maximizar el valor público (Clad-BID, 2007) y mejorar la eficiencia y eficacia del Estado. La NGP se caracteriza por la flexibilización de las estructuras administrativas, el aumento en la velocidad de decisión, la implementación de un modelo gerencial y el mejoramiento en la identificación de las necesidades sociales a través de la participación de la ciudadanía. Una condición esencial para su funcionamiento es el adecuado manejo de la información, para que ésta sea útil en el diagnóstico de las problemáticas, así como en la formulación, implementación, seguimiento y evaluación de las políticas públicas.

Desde finales de los años ochenta, Colombia comenzó a implementar muchas de las pro-puestas emanadas de las discusiones sobre reforma del Estado, la descentralización política materializada en la elección popular de gobernadores y alcaldes o la creación del Banco de Proyectos a través de la Ley 38 de 1989, son claros ejemplos de ello. Sin embargo, es la Constitución de 1991 la que genera el marco normativo que permite al país transitar por la senda de la transformación del modelo de Estado. No sólo se dieron cambios en la estruc-tura política del país, como la introducción de la democracia participativa o la creación de nuevas instituciones como la Fiscalía, sino que las reformas que se implementaron permitie-ron la adopción de modelos y herramientas que han venido modificando la forma de ver y entender el Estado y su relación con la ciudadanía.

En materia de evaluación, el Documento Conpes 2688 de 1994 sienta las bases de Sinergia. Este es un primer paso en una serie de cambios que habrían de marcar un hito en la con-cepción del seguimiento y la evaluación en el país. La misión otorgada a Sinergia es apoyar al Gobierno colombiano para que mantenga el rumbo y mejore el desempeño con el fin de alcanzar los objetivos definidos por las políticas públicas.

1 THOMPSON Fred (1997). “Defining the new public management”, en: Advances in International Compara-tive Management, p. 1-14.

Page 9: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

9

Este libro describe, de forma general, la incidencia del seguimiento y la evaluación en la gestión pública colombiana y la evolución de Sinergia en ese contexto, presentando sus logros y retos y cómo se está preparando para afrontarlos. Posteriormente, ejemplifica la pe-netración de la cultura de la evaluación en Colombia a través más de 40 evaluaciones cuyo impacto potencial es muy alto en términos de toma de decisiones, teniendo como referente el gobierno que se iniciará en 2010.

El primer capítulo desarrolla, más en detalle, el marco conceptual en el que se producen las reformas del Estado en el mundo, la forma en que éstas se aplican en Colombia, la historia de Sinergia y sus perspectivas de futuro y establece la relación entre la gestión orientada a resultados y la evaluación de políticas públicas. En los siguientes capítulos, se presenta el resumen de las evaluaciones que se seleccionaron como las más relevantes de los últimos 15 años.

Para la selección de estas evaluaciones, se realizó un filtro de la disponibilidad y calidad de información presente en el Radar de Evaluaciones de la Dirección de Evaluación de Políticas Públicas, posteriormente se seleccionaron aquellas que eran representativas en términos metodológicos, yendo desde las de impacto hasta las institucionales. Finalmente, se clasificó la información en tres grandes dimensiones: Equidad, Competitividad y administración del Estado.

Cada una de las evaluaciones se presenta a través de una ficha donde se recogen los ante-cedentes de la política, el programa o proyecto que fue evaluado, posteriormente se realiza una descripción del mismo haciendo énfasis en los recursos y su operación, seguidamente se describe la evaluación, sus conclusiones y las recomendaciones que emanan de ella. Fi-nalmente, si la información disponible lo permite, se presentan las implicaciones de política y se cierra con la ficha técnica de la evaluación.

Este libro pretende ser una herramienta de consulta y referencia sobre las evaluaciones de política pública en Colombia, con ocasión de la celebración de los 15 años de Sinergia y de la GPOR en el país.

Page 10: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

10

Evaluaciones en equidad: cobertura social

dimEnsiÓn dE EqUidad

Según la Constitución de 1991, uno de los fines del Estado social de derecho es “servir a la comunidad, promover la prosperidad general y garantizar la efectividad de los principios, derechos y deberes consagrados en la Constitución”. De esta manera, dentro de los dere-chos, garantías y deberes de los ciudadanos que el Estado debe garantizar, la Constitución Política establece que:

Todas las personas nacen libres e iguales ante la ley, recibirán la misma protección y trato de las autoridades y gozarán de los mismos derechos, libertades y oportunidades sin ninguna discriminación por razones de sexo, raza, origen nacional o familiar, lengua, religión, opinión política o filosó-fica (…)

El Estado promoverá las condiciones para que la igualdad sea real y efectiva y adoptará medidas en favor de grupos discriminados o marginados (…)

El Estado protegerá especialmente a aquellas personas que por su condi-ción económica, física o mental, se encuentren en circunstancia de debi-lidad manifiesta y sancionará los abusos o maltratos que contra ellas se cometan.

De este modo, según los lineamientos de la Constitución Política el Estado debe promover la igualdad de derechos, garantías y deberes, prestando especial atención a los grupos de población que presenten mayor marginación, pobreza y/o vulnerabilidad. Sin embargo, la pobreza no debe entenderse sólo como la carencia de ciertas necesidades básicas como la alimentación, la vivienda, el vestuario y/o los servicios públicos; autores como Amartya Sen (2000) profundizan en el concepto de pobreza y añaden, a la carencia de necesidades básicas, la de capacidades y oportunidades para cambiar estas condiciones2.

En procura de garantizar estas condiciones mínimas para la población, “los mandatos esta-blecidos en la Constitución de 1991 y las principales leyes que la desarrollaron, introdujeron cambios profundos en la estructura y en la administración de los sectores de salud, educa-ción y servicios públicos, y en el papel de las entidades territoriales en la política social del Estado”3. Las mencionadas reformas mostraron sus bondades al presentarse avances hacia mediados de los noventa en los indicadores que miden la pobreza. Sin embargo, con la re-cesión de finales de siglo, estos avances se vieron truncados, y retrocedieron casi diez años en la mayoría de indicadores de pobreza y desigualdad.

Una de las acciones más importantes por parte del Estado para enfrentar esta problemática fue la creación, mediante el decreto presidencial 4416/04 del 30 de diciembre de 2004, de la misión para el diseño de una estrategia para la reducción de la pobreza y la desigualdad (Merpd). La Merpd, impulsada desde el Departamento Nacional de Planeación (DNP), bus-caba estudiar los determinantes de la pobreza y la desigualdad y hacer recomendaciones para avanzar en materia de equidad, entre las que se cuenta la creación de la Red de Pro-tección Social contra la Extrema Pobreza, más adelante denominada Juntos.

2 “Política social con responsabilidad económica / Política económica con responsabilidad social”. Banco Inte-ramericano de Desarrollo. Marzo de 2002. Vol III. No. 1.

3 Documento Conpes Social 102. Red de Protección Social contra la Extrema Pobreza.

Page 11: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

11

Dimensión de equidad

En este sentido y con el fin de cumplir con los objetivos acordados en la Cumbre del Mi-lenio, y dentro de la Visión Colombia 2019, se define para el Gobierno colombiano la necesidad de priorizar sobre “la construcción de una sociedad más igualitaria con metas concretas a 2010 y 2019, dentro de las cuales se espera para 2019 tener plena cobertura en salud, educación básica media, agua potable y saneamiento básico”4.

Teniendo en cuenta este marco, se define equidad como el acceso a todas aquellas condi-ciones mínimas que les permitan a las generaciones presentes y futuras tener la garantía de que van a llevar una vida digna (acceso a salud, educación, vivienda, empleo, gene-ración de ingresos, entre otras), de modo tal que cuenten con las herramientas necesarias para superar, o no caer, en condiciones de marginación, vulnerabilidad y/o pobreza.

Alrededor de este eje se desarrollan las evaluaciones que tienen como objetivo determinar si las intervenciones del Estado contribuyen a aumentar la equidad. En este contexto, estas evaluaciones buscan mejorar las políticas públicas que pretenden un desarrollo igualitario de oportunidades de cada uno de los ciudadanos para que éstos puedan llevar una vida digna, tomando como población prioritaria la población pobre extrema, la población en situación de desplazamiento, las víctimas del conflicto, los indígenas y los afrocolombia-nos, entre otros.

La anterior definición claramente agrupa una gran cantidad de programas, proyectos, planes o políticas, algunas de las cuales han presentado desarrollos importantes en los últimos años, por ejemplo mediante el diseño de nuevas líneas de política como resultado de los análisis realizados por Merpd. En este sentido, a continuación se presenta un ba-lance y el estado de algunas de las líneas de política que se enmarcan en la dimensión de equidad.

Pobreza y Población vulnerable

Como una estrategia para la reducción de la pobreza y la desigualdad, la Red Juntos arti-cula toda la oferta institucional del Estado, brindando acceso preferente y acompañando a las familias para que estas superen la pobreza y mejoren sus condiciones de vida. Así, entre agosto de 2006 y diciembre de 2009 se logró la vinculación de más de un millón de familias desplazadas y vulnerables a esta estrategia.

En materia de promoción social, el programa Familias en Acción durante 2009 brindó asis-tencia para mejorar la nutrición y garantizar la permanencia en el sistema educativo de más de 5 millones de niños de aproximadamente 2,57 millones de familias de escasos recursos o en situación de desplazamiento.

4 Ibíd.

Page 12: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

12

Evaluaciones en equidad: cobertura social

Cuadro 1Programa Familias en Acción

(Población beneficiaria 2006-2009)

indicador Resultado 2006

Resultado 2007

Resultado 2008

Resultado 2009

Resultado cuatrienio

Total Familias en Acción beneficiadas (Sis-bén y desplazadas) 699.391 1.610.544 1.765.263 2.570.202 2.570.202

Familias beneficiadas por el programa Fa-milias en Acción (desplazadas) 111.286 172.637 270.707 341.759 341.759

Niños beneficiados por el programa Fami-lias en Acción (Sisbén y desplazados) 1.759.787 3.191.268 4.052.817 5.149.351 5.149.351

Niños beneficiados por el programa Fami-lias en Acción (desplazados) 257.171 333.364 576.557 695.770 695.770

Familias en la Red Juntos con acompaña-miento familiar (con acuerdo de correspon-sabilidad)

0 42.189 329.387 1.039.382 1.045.406

Fuente: Acción Social - Sistema de Seguimiento a Metas de Gobierno.

Salud

Entre agosto de 2002 y diciembre de 2009, se contrataron más de 5 millones de nue-vos cupos del régimen subsidiado de salud para la población del nivel I y II del Sisbén y más de 20 millones de personas fueron beneficiarias del régimen subsidiado en Salud. Adicionalmente, en relación con el régimen contributivo de salud a octubre de 2009, se reportaron 17,8 millones de afiliados presentados en compensación5.

Así mismo, la población en situación de desplazamiento fue beneficiaria de la salud: entre enero y diciembre de 2009, se contrataron más de 63 mil cupos para esta población en el régimen subsidiado a través del mecanismo de subsidios plenos. Con esto, entre agosto de 2006 y diciembre de 2009, se han otorgado 818.712 subsidios de salud para esta población.

5 Se entiende por compensación el proceso mediante el cual se descuentan de las cotizaciones recaudadas íntegramente e identificadas plenamente por las Entidades Promotoras de Salud (EPS) y demás Entidades Obligadas a Compensar (EOC), para cada período mensual, los recursos destinados a financiar las activi-dades de promoción y prevención, los de solidaridad del régimen de subsidios en salud y los recursos que el sistema reconoce a las EPS y demás EOC por concepto de Unidades de Pago por Capitación (UPC), así como los reconocidos para financiar el per cápita de las actividades de promoción y prevención, incapacidades por enfermedad general y licencias de maternidad y paternidad (Decreto 2280 de 2004).

Page 13: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

13

Dimensión de equidad

Cuadro 2Beneficiarios en salud

(Población afiliada 2006-2009)

indicador Resultado2006

Resultado 2007

Resultado 2008

Resultado 2009

Resultado cuatrienio

Total nuevos afiliados en el Régi-men Subsidiado en Salud (inclu-ye cupos para subsidios totales y parciales)

776.366 1.693.207 2.035.527 513.433 5.018.533

Total afiliados al Régimen Con-tributivo de Salud (acumulado) 16.352.751 17.093.538 17.762.604 17.797.642 17.797.642

Nuevos afiliados en el Régimen Subsidiado en Salud (cupos para subsidios desplazados)

272.579 196.117 286.355 63.661 818.712

Fuente: Ministerio de la Protección Social – Sistema de Seguimiento a Metas de Gobierno.

educación

Entre 2006 y 2009, el Gobierno mantuvo la tasa de cobertura bruta en educación básica (grados de transición a noveno) en 110%6. De igual forma, se generaron 288.766 nuevos cupos en educación superior (técnica, tecnológica y universitaria). Adicionalmente, en ese periodo se atendieron a más de 6 millones y medio de alumnos en condición de vulnerabi-lidad y 526.044 en condición de desplazamiento en educación preescolar, básica y media. Así mismo, mediante el Programa Nacional de Alfabetización se atendieron a más de un millón de personas mayores de quince años, resultados que permitieron reducir la tasa de analfabetismo, la cual, siguiendo una tendencia decreciente en los últimos años, se ubicó en 6,62% al finalizar 2008 (último dato disponible).

Por otro lado, para facilitar el acceso de las personas de Sisbén I y II a la educación superior, el 56,9% de los créditos otorgados por el Icetex fueron colocados en este segmento pobla-cional. Entre 2006 y 2009, se colocaron $1,58 billones a través de las diferentes líneas de crédito. Adicionalmente es un resultado importante el que 19% de los alumnos que se ma-tricularon en educación superior durante 2010 recibieron créditos del Icetex.

6 La tasa de cobertura bruta en educación básica está definida como la razón entre el total de alumnos ma-triculados en educación básica en transición, básica primaria (grados 1 a 5) y básica secundaria (grados 6 a 9), independiente de su edad y el total de población en edad teórica para cursar dicho nivel, es decir, la población entre 5 y 14 años. Adicionalmente incluye la población matriculada en ciclo de adultos. Estas cifras son calculadas con proyecciones de población censo 2005.

Page 14: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

14

Evaluaciones en equidad: cobertura social

Cuadro 3Resultados en educación (2006-2009)

indicador Resultado 2006

Resultado 2007

Resultado 2008

Resultado 2009

Resultado cuatrienio

Tasa de cobertura bruta para la educación básica (grados de transición a noveno) 106 107 108 110 110

Niños en edad inicial con atención educativa - 35.704 116.739 60.307 212.750

Alumnos en condición de desplazamiento atendidos en el sistema educativo oficial 232.115 274.514 415.849 526.044 526.044

Alumnos en condición de vulnerabilidad atendidos en el sistema educativo oficial 4.876.126 5.375.540 6.504.849 6.588.559 6.588.559

Jóvenes y adultos alfabetizados 394.768 591.838 855.959 1.083.019 1.083.019

Tasa de analfabetismo 7,1 6,9 6,6 - 6,6

Tasa de cobertura de educación superior 30 32 34 36 36

Porcentaje de estudiantes de educación supe-rior financiados con créditos Icetex 12 14 11 19 19

Participación de la matrícula de educación téc-nica y tecnológica en el total de la matrícula de educación superior

27 29 31 32 32

Fuente: Ministerio de Educación - Sistema de Seguimiento a Metas de Gobierno.

vivienda

A través del programa de Vivienda de Interés Social (VIS), entre agosto de 2006 y diciembre de 2009 se asignaron 553.287 subsidios familiares de vivienda, de los cuales 332.041 se hicieron a través de Fonvivienda, 34.263 por medio del Banco Agrario, 22.922 por la Caja Promotora de Vivienda Militar y de Policía, y 164.061 a través de las Cajas de Compensa-ción Familiar. Adicionalmente, el Fondo Nacional del Ahorro aprobó 121.671 créditos para adquisición de vivienda de interés social.

Cuadro 4Resultados en vivienda (2006-2009)

indicador Resultado 2006

Resultado 2007

Resultado 2008

Resultado 2009

Resultado cuatrienio

Créditos aprobados para VIS por el Fondo Nacional de Ahorro 15.713 29.333 30.126 54.844 121.671

Predios fiscales o privados titulados (Fonvi-vienda- Mavdt) 0 31.379 89.283 83.051 207.363

Subsidios asignados a población desplaza-da (Fonvivienda) 12.051 18.743 23.139 10.524 52.428

Subsidios asignados para mejoramiento de vivienda (Fonvivienda) 0 1.752 10.168 5.933 17.853

Subsidios asignados para VIS por cajas de compensación familiar 48.796 46.294 46.281 47.734 164.061

Subsidios asignados para VIS rural por Ban-co Agrario 12.882 12.499 10.445 1.224 34.263

Subsidios asignados para VIS urbana por Fonvivienda 77.076 68.876 135.133 110.518 332.041

Subsidios para VIS asignados por caja pro-motora de vivienda militar y policía 6.101 6.982 6.948 6.408 22.922

Fuente: Ministerio de Ambiente, Vivienda y Desarrollo Territorial (Mavdt) - Sistema de Seguimiento a Metas de Gobierno.

Page 15: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

15

Dimensión de equidad

Generación de inGreSoS

En cuanto a generación de ingresos, durante 2009, a través del programa Banca de las Oportunidades se desembolsaron cerca de 1,6 millones de créditos a microempresarios equivalentes a más de $4 billones de pesos. De este modo, en lo corrido del cuatrienio se han entregado más de 5 millones de créditos que suman más de $15 billones. Adicio-nalmente, a través del programa Ordenamiento social de la Propiedad, durante el 2009 se adjudicaron 17.562 ha que beneficiaron a 1.622 familias, de las cuales, 2.743 ha se entregaron a 323 familias desplazadas. Finalmente, 2.539 familias se beneficiaron con co-financiación de proyectos productivos por medio del programa Alianzas Productivas en 22 departamentos del país7.

Cuadro 5Banca de las Oportunidades y Alianzas Productivas

(2006-2009)

indicador Resultado 2006

Resultado 2007

Resultado 2008

Resultado 2009

Resultado cuatrienio

Total de créditos a microempresarios a tra-vés de bancos, CFC, ONG y cooperativas 526.854 1.458.944 1.474.128 1.581.057 5.040.983

Familias beneficiadas con Alianzas Pro-ductivas 2.212 1.643 4.760 2.539 11.154

Fuente: Ministerio de Agricultura y Desarrollo Rural -Sistema de Seguimiento a Metas de Gobierno.

7 Caquetá, Putumayo, Boyacá, Cundinamarca, Huila, Norte de Santander, Santander, Tolima, Bolívar, Cesar, Córdoba, Sucre, Arauca, Casanare, Meta, Antioquia, Caldas, Cauca, Chocó, Quindío, Risaralda y Valle del Cauca.

Page 16: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

16

1.

15 años del sistema de seguimiento y evaluación en colombia - sinergia: una mirada desde las evaluaciones de política pública más relevantes.

1.

Page 17: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

1. 1.

saLUd

Page 18: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

18

EVaLUaCiÓn EJECUTiVa dE LOs PROYECTOs dEPaRTamEnTaLEs Y disTRiTaLEs dE aTEnCiÓn inTEGRaL dE PERsOnas COn disCaPaCidad

antecedenteS

La variable de discapacidad en Colombia se introdujo por primera vez con el censo de 1993, en el que se calcularon unas 593.618 personas con esta condición, lo que representaba una tasa de 1,85%. La estructura de la pregunta se dirigía a determinar la presencia de la discapa-cidad desde el enfoque de la deficiencia en estructuras corporales y de algunas funciones.

Años más tarde, y tomando como base los estudios realizados por la Organización Mundial de la Salud (OMS) a inicio de los ochenta que afirmaban que el número de discapacitados oscilaba entre el 0,2% y el 20,9% de la población, se realizaron estudios en varios departa-mentos y municipios.

Para el año 2002, el Ministerio de Protección Social (MPS) confirma los hallazgos del informe de pobreza en Colombia (Vélez et ál., 2002), al afirmar que existe relación entre la discapa-cidad y el riesgo de pobreza8. En dicho informe, se evidencia que existe una baja cobertura tanto en las acciones de prevención y diagnóstico como en la intervención terapéutica opor-tuna por parte de las entidades territoriales.

Esta serie de hallazgos demandan la necesidad de desarrollar mecanismos para prevenir la discapacidad y mejorar los servicios de rehabilitación funcional para las personas con dicha condición. Para lograr este objetivo, el Ministerio de la Protección Social (MPS) puso en marcha una estrategia que busca el desarrollo de iniciativas territoriales mediante la ejecución de planes de acción, que sirvan como instrumentos de gestión de los programas y proyectos conducentes al mejoramiento de los servicios de promoción de entornos protec-tores y prevención de discapacidades, rehabilitación y equiparación de oportunidades para la población afectada.

El programa se justifica entonces en los siguientes aspectos: (i) la ausencia de estadísticas confiables sobre discapacidad en Colombia; (ii) la relación entre discapacidad y riesgo de pobreza, y (iii) la baja cobertura en acciones de prevención y rehabilitación. De igual forma, y de acuerdo con el MPS, el país no cuenta con un registro sistemático que permita precisar la condición de discapacidad y, por consiguiente, el número de personas afectadas. Las fuentes de información utilizadas para registrar y caracterizar esta población (DANE, Nacio-nes Unidas, OMS) utilizan diversos enfoques.

En este contexto el programa operado por el Ministerio de Protección Social busca desarro-llar la política pública de discapacidad en y desde lo local, a través de la Dirección General de Promoción Social (DGPS), transfiriendo recursos a 32 departamentos y 4 distritos, con el objeto de apoyar el desarrollo de planes de acción territoriales de atención integral a la

8 “La variable deficiencia resulta estadísticamente significativa al medir la proporción de hogares pobres se-gún NBI, con un valor de 7 puntos porcentuales por encima para los hogares con presencia de deficiencia. Al desagregar por indicadores simples, son estadísticamente significativas las diferencias para condiciones inadecuadas de la vivienda y hacinamiento crítico, variables relacionadas directamente con la capacidad de ahorro de las familias”. Según el MPS, el 79% de las personas con discapacidad viven en estrato 1 y 2 (42% y 36% respectivamente). Ministerio de Protección Social-Dirección General de Promoción Social. Implantación de Proyectos para Población en Condiciones Especiales (Salud Mental, Discapacitados y Desplazados). Bogo-tá, 4 de marzo de 2005.

Page 19: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

19

población con discapacidad perteneciente a los niveles 1 y 2 del Sisbén y dar cumplimiento a lo establecido en el Documento Conpes 80 “Política Pública Nacional de Discapacidad”.

deScriPción del ProGrama

El programa de Proyectos Departamentales y Distritales de Atención Integral de Personas con Discapacidad cuenta con un componente del proyecto de inversión: Implantación de Proyectos para Población en Condiciones Especiales (salud mental, discapacitados y despla-zados). El programa es una iniciativa de transferencia de recursos dirigido a las secretarías departamentales y distritales de salud9.

Dichas transferencias se constituyen en un apoyo monetario que tiene como propósito desa-rrollar, a nivel territorial, planes de acción de atención integral a la discapacidad. Para cum-plir con este objetivo, el MPS selecciona los departamentos y distritos que podrían acceder a los recursos, mediante la priorización de dos grupos con base en criterios de NBI, número de personas con discapacidad en el departamento y número de personas con régimen subsi-diado. Luego de surtir este proceso, el Ministerio condiciona la transferencia de recursos a la presentación de un proyecto de inversión por parte de la entidad territorial, que contribuya al mejoramiento de las condiciones de vida de la población con discapacidad (cada proyecto debe contemplar recursos de cofinanciación por parte de los entes territoriales)10. Finalmen-te y luego de cumplir con esta serie de requisitos, se asignan los recursos a los departamen-tos y distritos seleccionados de manera escalonada cada dos años. La DGPS del MPS realiza misiones de asistencia técnica de los proyectos, con el fin de monitorear la ejecución de los recursos y verificar el cumplimiento de las obligaciones en cabeza de los entes territoriales.

En este contexto, el programa cumple una doble función. Por un lado, busca mejorar el acce-so, la cobertura y la calidad de los servicios de prevención, atención y rehabilitación integral de las personas en situación de discapacidad, en especial de los individuos en circunstancias de vulnerabilidad y extrema pobreza. Por otro lado, pretende apoyar la descentralización de la política pública que beneficia a dicha población, a través de la transferencia de recursos de la Nación a las entidades territoriales encargadas de su ejecución. Ambos propósitos se enmarcan en el esquema de asistencia social dentro del sistema de protección social.

El programa consta de tres componentes: 1. Distribución de recursos 2. Asistencia técnica y 3. Suministro de información. El presupuesto asignado al programa hasta el año 2006 se ilustra en la siguiente tabla:

9 Las Secretarías de Salud, de Desarrollo Social y las Direcciones Territoriales del Ministerio de la Protección Social, como interlocutores del MPS, son los responsables de la organización y consolidación de los Comités Técnicos Territoriales de Discapacidad, los cuales constituyen la instancia para la implementación de la polí-tica pública de Discapacidad.

10 Estos proyectos deben estar enmarcados, por exigencia del MPS, en el desarrollo de, como mínimo, una de las actividades definidas como financiables en los Lineamientos Técnicos para la Elaboración y Ejecución de Proyectos Departamentales de Atención Integral de Personas con Discapacidad. Dichas actividades giran alrededor de lo siguiente: 1. Registro y caracterización de la población con discapacidad acorde a los linea-mientos establecidos por el departamento nacional de estadística (DANE) 2. Implementación de metodolo-gías de prevención, rehabilitación, accesibilidad e integración social 3. Apoyo para la autonomía funcional, la autodeterminación y la calidad de vida de las personas con discapacidad. 4. Mejoramiento de la estrategia de rehabilitación institucional. 5. Fortalecimiento de los Comités Técnicos Territoriales de Discapacidad y apoyo al fortalecimiento del Comité Consultivo Nacional de las Personas con Limitación. 6. Apoyo al empleo y la productividad. (Tomado del Informe de Descripción Evaluación Ejecutiva de Proyectos Departamentales y Distritales de Atención Integral de Personas con Discapacidad).

Page 20: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

20

Cuadro 6Presupuesto anual del programa

(Millones de pesos corrientes)

año Resolución Total incremento

2002 1253 1.332.451.400 -

2003 2529 2.500.000.000 46,7%

2004 1834 2.650.000.000 5,6%

2005 0746 2.800.000.000 5,3%

2006 1452 2.940.000.000 4,7%

2007 - 4.035.200.000 27,1%

2008 - 3.050.000.000 -32,3%

2009 - 2.900.000.000 -5,1%

Fuente: Informe final evaluación ejecutiva PDDAID. Los recursos 2002-2006 son tomados del proyecto de inver-sión: Implantación de Proyectos para Población en Condiciones Especiales (BPIN 1016-00138) y son asignados cada año por resolución. 2007-2009. Fuente: SIIF. Recursos de apropiación inicial.

deScriPción de la evaluación

La evaluación ejecutiva de los Proyectos Departamentales y Distritales de Atención Integral de Personas con Discapacidad se realizó teniendo en cuenta la importancia que el tema ha ido adquiriendo en el marco del Plan Nacional de Intervención en Discapacidad (2004-2007) y las dificultades encontradas para la ejecución de los lineamientos de descentralización de la Política Pública en Discapacidad.

En este sentido, uno de los objetivos de la evaluación ejecutiva, realizada por el consultor de la Universidad de los Andes, Luis Bernardo Mejía Guinand en el año 2007, era generar información sistematizada y de calidad sobre la implementación y los resultados de las inter-venciones públicas a favor de las personas con discapacidad, contribuyendo así a una mejor definición de los lineamientos para el desarrollo de una Política de Atención Integral a la Discapacidad del Estado Colombiano a futuro. Esta evaluación se constituiría en un insumo para lograr este fin junto con la evaluación cualitativa desarrollada al programa de “Con-formación de Redes Sociales de Apoyo a la Discapacidad” de la Consejería Presidencial de Proyectos Especiales.

La metodología de evaluación ejecutiva permitió desarrollar un análisis de la operación de los proyectos departamentales y distritales con base en la metodología de Marco Lógico, según la cual la operatividad de un programa se puede articular en cuatro niveles: fin (u objetivo general), propósitos (u objetivos específicos), componentes y actividades.

En cuanto a la información, esta fue recolectada a partir de fuentes primarias y secundarias y mediante la realización de visitas de campo rápidas en cuatro departamentos del país. El ámbito del estudio se refirió a los proyectos territoriales que se ejecutaron entre el año 2002 y 2006.

De igual forma, se realizaron entrevistas semiestructuradas a funcionarios del Grupo de Dis-capacidad de la Dirección General de Promoción Social del Ministerio de Protección Social y se entrevistaron funcionarios de la Dirección de Planeación y de la Oficina de Presupuesto de

Page 21: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

21

la misma entidad. Adicionalmente, se entrevistaron los funcionarios técnicos responsables del tema en las secretarías de salud de los departamentos de Risaralda, Quindío, Guaviare y Magdalena.

PrinciPaleS concluSioneS

De acuerdo al consultor, el programa no ha logrado cumplir a cabalidad con el objetivo planteado, entre otras causas porque no opera como tal. Esto se debe a que el programa, en la práctica, es un componente de un proyecto de inversión del MPS. Esto genera restricciones relacionadas con los incentivos negativos que hacen que no exista unidad entre lo que hace el MPS-DGPS-GD y los departamentos. De igual forma y a juicio de esta evaluación, son tres las razones que también pueden explicar el incumplimiento: (i) fallas en el diseño operativo del programa; (ii) debilidades en la estructura organizacional y (iii) ausencia de actividades de seguimiento, evaluación y control.

Gráfico 1 Esquema de fortalezas y debilidades del Programa de Atención Integral a Personas

con Discapacidad

FORTALEZAS DEBILIDADES

Fallas en el diseño operativo delprograma

FinalizaciónDebilidades en la estructura

organizacional

Ausencia de actividades deseguimiento, evaluación y control

Inclusión en la agenda

Fuente: Elaboración DEPP.

Fallas en el diseño operativo del programa

El programa que se denomina Proyectos Departamentales y Distritales de Atención Integral de Personas con Discapacidad es en realidad un componente del proyecto de inversión Implantación de Proyectos para Población en Condiciones Especiales. Este hecho hace que el programa no funcione como un grupo organizado y variado de actividades dirigidas ha-cia el logro de objetivos específicos, sino como la agrupación de intervenciones singulares dirigidas hacia el logro de objetivos puntuales. En este contexto, el MPS se compromete a transferir recursos, por resolución, a las entidades territoriales, y estas, a su vez, se respon-sabilizan por la ejecución de los recursos transferidos en el marco de unas directrices esta-blecidas por el MPS.

Bajo el esquema presupuestal actual, el incentivo del MPS (como el de cualquier otra enti-dad) es ejecutar las apropiaciones presupuestales y no perderlas. En la medida en que el MPS-DGPS-GD trasfiera los recursos a las entidades territoriales el proyecto se considera ejecutado. En la práctica, lo que suceda con el proyecto una vez los recursos se transfieran

Page 22: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

22

se define como responsabilidad de la entidad territorial. Esto se agrava con el hecho que el MPS no dispone de mecanismos eficientes para hacer que las entidades territoriales rin-dan cuentas de los recursos transferidos. Esta afirmación se sustenta en tres aspectos: (i) la inexistencia de metas e indicadores para cada una de las variables objeto de la intervención y para los cuatro niveles de desempeño del programa; (ii) la no exigibilidad del cumplimien-to de dichas metas por parte del MPS a las entidades territoriales y (iii) la ausencia total de información sobre líneas de base y resultados obtenidos con los recursos transferidos.

Debilidades en la estructura organizacional

La unidad ejecutora del programa es el Grupo de Discapacidad de la DGPS, dependencia subordinada al Viceministerio de Salud y Bienestar del MPS. Para el año de la evaluación (2007), la unidad ejecutora cuenta con tres funcionarios de planta (coordinadora del pro-grama, profesional y secretaria). Estos funcionarios deben repartirse entre ellos todas las funciones y responsabilidades relacionadas con el programa. Este hecho no sólo limita las posibilidades del programa, sino que trae consecuencias negativas en tres aspectos: (i) en el desconocimiento de la ejecución de los proyectos a nivel territorial y la consiguiente falta de información; (ii) en las deficiencias en la comunicación y coordinación entre el MPS y los departamentos y (iii) en las dificultades de cubrir de forma oportuna al país con asistencia técnica.

Ausencia de actividades de seguimiento, evaluación y control

Esto se debe a la inexistencia de: (i) líneas de base, (ii) indicadores, (iii) metas medibles e (iv) información sobre los proyectos financiados. De hecho, en los archivos del MPS-DGPS-GD, para el año 2007, sólo existen 54 proyectos de los aproximadamente 72 que deberían ha-llarse para el periodo 2002-2006. De estos, tan sólo el 32,6% posee información evaluativa, la cual es de muy baja calidad. En este contexto, en algunos casos es imposible dar razón sobre los resultados obtenidos por el programa11.

Por otra parte, y haciendo alusión a las fortalezas del programa, estas se establecen en términos de financiación, ya que el programa ha mantenido una financiación constante du-rante los últimos diez años y logró incentivar que los gobiernos departamentales asignaran recursos al tema de discapacidad12. Otra de las fortalezas es la agendación del tema de discapacidad en lo local, pues gracias al programa se promovió la inclusión de este tema en los planes de desarrollo locales y la definición de planes de acción territoriales de atención a la discapacidad. De forma adicional, se avanzó en la conformación de comités departa-mentales y municipales de discapacidad.

11 Ayudas técnicas entregadas a personas en situación de discapacidad de los niveles 1 y 2 del Sisbén; rehabi-litación funcional a personas en situación de discapacidad de los niveles 1 y 2 del Sisbén; centros y unidades de rehabilitación dotados con elementos y equipos de rehabilitación; atención a personas en situación de discapacidad de los niveles 1 y 2 del Sisbén en centros y unidades de rehabilitación; capacitación en meto-dologías y estrategias de rehabilitación basada en comunidad a las familias de las personas en situación de discapacidad de los niveles 1 y 2 del Sisbén; capacitación en metodologías y estrategias de rehabilitación basada en comunidad a líderes comunitarios; empleo, a través de la generación de proyectos productivos, de personas en situación de discapacidad de los niveles 1 y 2 del Sisbén y personas en situación de discapacidad favorecidas con la eliminación de barreras físicas; capacitación a ciudadanos sobre las acciones integradoras para la atención de la persona con discapacidad; capacitación a ciudadanos sobre metodologías de confor-mación de redes sociales de apoyo a la discapacidad.

12 Durante el periodo evaluado, 2002-2006, los gobiernos locales cofinanciaron por valor de $2.869.689.335 los proyectos financiados por el MPS.

Page 23: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

23

recomendacioneS de la evaluación

Las recomendaciones del consultor se centran en sugerir cambios puntuales y aplicables en el diseño operativo del programa que contribuyan a reducir las asimetrías de información existentes entre el MPS-DGPS-GD y los departamentos. De esta forma, se espera mejorar la coherencia vertical y horizontal del marco lógico del programa. Dicha propuesta de ajuste se divide en acciones de corto plazo y acciones en el mediano plazo.

Gráfico 2 Esquema de recomendaciones de la evaluación

AJUSTES PROYECTOS DEPARTAMENTALES YDISTRITALES DE ATENCIÓN INTEGRAL DE

PERSONAS CON DISCAPACIDAD

Acciones en elcorto plazo

Acciones en ellargo plazo

Reconstruir aspectos del diseño operativodel programa que en la práctica no existen,

por ejemplo indicadores y metas

Sugerir en el diseño del programa con elobjetivo de ajustarlo a las condiciones

de su operación

Fuente: Elaboración DEPP.

Acciones en el corto plazo

Es indispensable que el programa construya, como mínimo, indicadores de propósito y de fin. Estos indicadores hacen referencia al producto inmediato que se produce debido a las acciones del programa y a los efectos de largo plazo de la intervención sobre la población objetivo. Estos indicadores son necesarios tanto para medir la eficacia del programa, como para monitorear la evolución del mismo.

Para cada uno de estos indicadores, el programa debe levantar una línea de base o valor inicial del indicador; esto le permitirá al programa medir su evolución en el tiempo. Adicio-nalmente, el programa debe establecer metas para cada indicador. Las metas son el valor al que se espera que llegue el indicador como resultado de la intervención. Dicha meta debe ser referida a un periodo de tiempo específico.

Acciones en el mediano plazo

La evaluación propone los siguientes cambios en el proceso de implementación de los Pro-yectos Departamentales y Distritales de Atención Integral de Personas con Discapacidad:

Incorporar, como criterios de focalización de recursos, las dos consideraciones siguien-•tes: (i) población atendida (personas en situación de discapacidad beneficiadas con los recursos de la transferencia del MPS a través de las actividades financiables por los proyectos) y (ii) esfuerzo departamental en la cofinanciación. Esta evaluación con-sidera que el MPS-DGPS-GD debe conservar, en principio, la condicionalidad de la

Page 24: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

24

presentación de los proyectos a las actividades descritas en los lineamientos técnicos. Sin embargo, dichas actividades deben estar sujetas a la evolución de los indicadores definidos para los niveles de propósito y fin del programa.

Incorporar un sistema de información descentralizado, alimentado directamente por las •secretarías de salud, que le permita al Ministerio consolidar en todo el país los avances tanto en la gestión como en los resultados de los proyectos de inversión asignados. Se sugiere un sistema de alimentación en línea donde las secretarías departamentales de salud, para cada unidad de análisis, que en este caso sería el proyecto de inversión, registren con una periodicidad definida los avances en los indicadores de gestión y los indicadores de resultados e impacto.

Ampliar la planta del Grupo de Discapacidad del MPS-DGPS. •

Optimizar el sistema de planeación. •

Ficha técnica de la evaluación

Título de la Evaluación Evaluación Ejecutiva de los Proyectos Departamentales y Dis-tritales de Atención Integral de Personas con Discapacidad

Programa evaluado Proyectos Departamentales y Distritales de Atención Integral de Personas con Discapacidad

Cobertura del programa Departamentos y distritos.

Presupuesto del programa 2009: 2.900 millones de pesos

Entidades que contrataron la evaluaciónDepartamento Nacional de PlaneaciónFonadeMinisterio de Protección Social

Evaluador Luis Bernardo Mejía

Costo de la evaluación

$66 millones de pesos (este valor incluye la evaluación cua-litativa del Proyecto de Conformación de Redes Sociales de Apoyo a la Discapacidad de la Consejería de Programas Es-peciales. Pues las dos fueron suscritas en el mismo contrato).

metodología utilizada Evaluación ejecutiva

Recolección de la informaciónVisitas de campo rápidas en 4 departamentos del país. El ám-bito del estudio se refirió a los proyectos territoriales que se ejecutaron entre el año 2002 y 2006.

duración Julio de 2007-octubre de 2007

Bibliografía

Departamento Nacional de Planeación. “Política Pública Nacional de Discapacidad” (Docu-mento Conpes 80) Bogotá septiembre de 2004.

“Informe final de la evaluación ejecutiva: Proyectos Departamentales y Distritales De Aten-ción Integral de Personas con Discapacidad”.

Ministerio de la Protección Social (http://www.minproteccionsocial.gov.co/).

Ministerio de Protección Social-Dirección General de Promoción Social. “Implantación de Proyectos para Población en Condiciones Especiales (salud mental, discapacitados y despla-zados)”. Bogotá, 4 de marzo de 2005.

Page 25: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

25

dE POCOs a mUCHOs, diEZ aÑOs dE La EXPansiÓn dEL asEGURamiEnTO En saLUd En COLOmBia

antecedenteS

“Colombia ha sido uno de los primeros países en desarrollo que ha introducido un esquema de aseguramientos en salud universal e iguala el acceso financiero a un paquete de benefi-cios básicos para todos” (Panapoulou, 2001).

La Ley 100 de 199313 creó el Sistema de Seguridad Social Integral e introdujo diferentes cambios en la regulación colombiana respecto a los servicios de protección social. Esta ley definió como objetivo del sistema “garantizar los derechos irrenunciables de la persona y la comunidad para obtener la calidad de vida acorde con la dignidad humana, mediante la protección de las contingencias que la afecten”. Así mismo estableció el alcance del sistema en lo referente a las obligaciones del Estado y la sociedad, las instituciones y recursos, de-finiendo como principios de dicho sistema: la eficiencia, la universalidad, la solidaridad, la integralidad, la unidad y la participación.

Dicha Ley también introdujo, en su segundo libro el Sistema General de Seguridad Social en Salud (SGSSS), a través del cual se propuso regular el servicio público esencial de salud y crear condiciones de acceso en toda la población al servicio en todos los niveles de atención. Para garantizar el acceso a los servicios de salud para la toda la población en Colombia se cuenta con un sistema de aseguramiento que tiene dos formas de afiliación: el régimen contributivo y el régimen subsidiado14.

La cobertura del aseguramiento en salud en el país ha aumentado de forma sostenida desde la introducción de la Ley 100. Según datos presentados en la evaluación del POS, para 1993 la cobertura del aseguramiento era inferior al 25% de la población (cerca de 9 millones de personas) concentrada principalmente en los deciles de ingreso más altos y en los funcionarios públicos. Actualmente existen más de 17,7 millones de afiliados al Régimen Contributivo mediante el esquema de compensación, 20.6 millones de afiliados al Régimen Subsidiado15 y cerca de 1.5 millones de afiliados a regímenes especiales.

El régimen contributivo cubre a los trabajadores formales que devengan al menos un sala-rio mínimo mensual, también a los trabajadores informales y a los independientes quienes tienen un ingreso de al menos dos salarios mínimos mensuales. Por otra parte el régimen subsidiado abarca a las personas consideradas pobres acorde al Sistema de Identificación de Beneficiarios (SISBEN). Los afiliados al Régimen Subsidiado son las personas sin capaci-dad de pago para cubrir el monto total de la cotización16.

13 Complementada y modificada por las Ley 715 de 2001, relativa a las competencias y recursos y la Ley 1122 de 2007 que modifica el SGSSS.

14 Los beneficiarios al régimen subsidiado en salud se seleccionan mediante la aplicación de la encuesta Sisbén (Sistema de Selección de Beneficiarios a Programas Sociales), a través del listado censal de las comunidades indígenas, mediante la certificación de la población infantil abandonada expedida por el ICBF, o mediante la identificación de la población indigente en los formatos establecidos.

15 Base de datos de atención de Afiliados – BDUA, a diciembre de 2009.16 Numeral segundo del literal A) del artículo 157 de la Ley 100.

Page 26: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

26

Según el artículo 213 de la Ley 100 de 1.993: “Las personas que cumplan con los criterios establecidos por el Consejo Nacional de Seguridad Social en Salud como posibles benefi-ciarios del régimen de subsidios se inscribirán ante la dirección de salud correspondiente, la cual calificará su condición de beneficiario del subsidio, de acuerdo con la reglamentación que se expida para el efecto.”

La evidencia del impacto de las reformas a la salud en Colombia es requerida, no solo en términos de formulación de política sino para entregar lecciones para otros países que están considerando reformas similares.

deScriPción de la evaluación

La evaluación17 fue publicada por la Oficina de Relaciones Exteriores del BID en un libro editado por Amanda L. Glassman, María-Luisa Escobar, Antonio Giuffrida y Ursula Giedion, que contiene seis partes:

Después de una década de la reforma al sistema de salud.•

Instituciones, gasto, programas y salud pública.•

Impacto del subsidio al aseguramiento en salud sobre la cobertura en salud y el acceso •y uso de los servicios de salud.

Hospitales públicos y la reforma a la atención en salud.•

Protección financiera del aseguramiento de salud.•

Diez años de la reforma al sistema de salud: lecciones sobre el financiamiento a la •atención en salud en Colombia.

Esta ficha se concentra en la reseña del capítulo 3, que trata sobre el impacto del Asegura-miento en Salud en Colombia y que fue realizado por Ursula Giedion, Beatriz Yadira Díaz, Eduardo Andrés Alfonso y William D. Savedoff.

El capítulo 3 tiene como objetivo proveer evidencia para enriquecer el debate acerca de la pertinencia e impacto de las reformas de 1993 y el riesgo relacionado con introducir grandes reformas que no tengan en cuenta su impacto sobre los logros alcanzados.

El aseguramiento en salud reduce los costos directos de acceso y utilización de los servicios de salud a los individuos y familias. Este por lo tanto reduce el riesgo financiero de enferme-dad y mejora el acceso a los servicios de salud.

Este estudio trabaja sobre la hipótesis de que el régimen de aseguramiento subsidiado en salud introducido en Colombia en 1993 ha mejorado los niveles de acceso a los servicios de salud de la población asegurada haciendo la atención más económica.

El estudio realiza varias aclaraciones en torno a los análisis realizados:

El aseguramiento en salud afecta principalmente la asequibilidad económica de los •servicios de salud; y no altera necesariamente de manera significativa otros factores de acceso.

17 Nombre en Ingles: From Few to Many, Ten Years of Health Insurance Expansion in Colombia.

Page 27: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

27

El aseguramiento en salud afecta la salud indirectamente mediante su impacto en el •uso de la atención en salud.

El efecto del aseguramiento en salud puede variar a través de la población• 18.

La gente que tiene aseguramiento en salud puede diferir sistemáticamente, de forma •consistente, de aquellos sin aseguramiento, haciendo el análisis más difícil.

El nivel de salud en sí mismo es un concepto complejo y los hallazgos pueden variar •dependiendo de las variables particulares utilizadas para medirlo.

La evidencia recogida en datos de investigaciones previas y los análisis desarrollados pre-viamente así como la legislación Colombiana indican que la participación de los potenciales beneficiarios en el régimen subsidiado no es aleatoria y depende de variables adicionales a los puntajes obtenidos en el SISBEN. Por este motivo, la evaluación considera que “una simple comparación de las variables de resultado entre afiliados y no afiliados muy proba-blemente arrojaría estimadores sesgados del impacto del aseguramiento subsidiado a la salud en Colombia”.

La evaluación utilizó una combinación de cortes transversales19 repetidos de la Encuesta de Demografía y Salud (EDS) para 1995, 2000 y 2005; datos del censo de 1993, y datos de registros administrativos municipales. La muestra incluyó a los afiliados al régimen subsidia-do y aquellos que no tenían ningún tipo de aseguramiento basándose en datos de la EDS. Se excluyeron las personas afiliadas al régimen contributivo, quienes se caracterizan por ser individuos de ingresos medios y altos.

Como se describió anteriormente la, elegibilidad que rige la afiliación en el régimen subsi-diado en Colombia es compleja, lo que afecta la estrategia analítica empleada en el estudio. La evaluación plantea entonces que para modelar adecuadamente la “participación” (un tema clave cuando se usan métodos cuasiexperimentales como Pareo por Similitud20,- PSM, por sus siglas en Inglés, o Pareo por Diferencias en Diferencias21-MDD, por sus siglas en Inglés); era necesario entender los procesos mediante los cuales se determina que personas son “elegibles” para recibir aseguramiento subsidiado en salud, así como los factores que afectan su decisión de afiliarse.

Dada la no disponibilidad de datos experimentales, el estudio implementó diferentes méto-dos de análisis22 que le permitieran controlar por sesgos de selección debidos a diferencias entre afiliados y no afiliados, y por la robustez de los resultados. Se encontró un “trade off” entre los métodos de PMS y MDD. La evaluación establece que: “MDD controla no solo por diferencias entre afiliados y no afiliados por variables observables (por ejemplo: educación,

18 En particular en áreas donde hay redes de seguridad social efectivas, la ausencia del aseguramiento talvez no sea una barrera significante para recibir atención: en consecuencia, el impacto marginal de introducir una cobertura mediante aseguramiento puede ser pequeña en comparación con el impacto en otras áreas donde los individuos tienen un menor número de opciones.

19 Conjunto de datos sobre variables observadas pertenecientes a un periodo de tiempo definido, por ejemplo un mes, un trimestre o un año.

20 Propensity Score Matching.21 Matched Double Difference.22 Se probaron cuatro métodos, entre ellos: Aproximación por Regresión por Discontinuidad (Discontinuity Re-

gression Approach), pareo por similitud (Propensity Score Matching) y pareo por diferencias en diferencias (Matched Double Difference).

Page 28: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

28

ingreso y características de la vivienda) sino que también por diferencias invariables en el tiempo sobre diferencias no observadas…”, pero sin embargo requiere de la disponibilidad y comparabilidad de la información a lo largo del tiempo.

En el estudio se utilizaron 18 variables, 13 relacionadas con el acceso y 5 con el estado de salud. Los datos contienen información importante relacionada con el acceso a servicios pero muy poca referente con el estado de salud. De hecho, las variables relacionadas con este último se enfocan exclusivamente en la salud de las madres gestantes y de los niños recién nacidos. Este es un aspecto que complica el análisis dado que la mayoría de servi-cios de salud relacionados con maternidad y cuidado de infantes recién nacidos son gratis independientemente de la condición de afiliado o no afiliado, tampoco se pueden hacer in-ferencias sobre otras variables asociadas al estado de salud y que tiene una mayor relación con la afiliación (IDB 2009).

PrinciPaleS concluSioneS

Este estudio demuestra que la implementación de reformas incentiva un mayor uso de los servicios de atención en salud y mejora el acceso entre aquellos que tienen capacidad de enrolarse. Esta conclusión es robusta como se muestra mediante los análisis realizados.

Las potenciales implicaciones de política se dan respecto a los cambios en el sistema actual, y como se considera que ellos deben realizarse sin perder los avances obtenidos, las nuevas políticas deben demostrar que están en capacidad de promover el uso efectivo de los siste-mas de salud al menos al mismo nivel que se da. Así mismo los análisis entregan “pistas” para guiar futuras políticas y análisis.

Muchos de los afiliados, mediante el aseguramiento en salud, reportan barreras financieras de acceso a servicios que se relacionan principalmente con la falta de: cobertura de los ser-vicios de salud demandados por la población, financiación con costos asociados al cuidado en salud (por ejemplo. transporte, individuos que se les cobra por servicios de salud por error o por razones ilegítimas). Así mismo los problemas con la provisión, particularmente en zonas rurales, continúa siendo un inconveniente para las personas afiliadas. Otros fac-tores sociales influyen en el uso de los servicios, por ejemplo el uso de servicios gratuitos en salud por parte de personas afiliadas.

Para analizar la influencia del régimen subsidiado en salud sobre el estado de la salud de los beneficiarios, se necesita un mayor número de mediciones sobre variables asociadas a la salud de adultos y niños así como de las condiciones que la influencian y que se encuentran asociadas a factores ambientales y sociales. La recolección de datos longitudinales tipo pa-nel permitiría aprender mucho más sobre el efecto de las políticas públicas en la utilización de los servicios de salud y el estado de salud, mientras se controla por factores individuales invariables en el tiempo que usualmente afectan negativamente los estudios.

Utilizando la metodología de pareo por similitud o PSM, la diferencia promedio entre los individuos pareados es el estimador del impacto de la política. Independientemente del mé-todo de pareo, las estimaciones confirman que el esquema de aseguramiento subsidiado en salud incrementa el acceso en salud de la población pobre.

Los afiliados mediante el régimen subsidiado tienen una propensión superior (un 40% más) de haber realizado una visita ambulatoria a los servicios de salud durante el último año. Mientras que un 25% de los afiliados han tenido barreras de acceso cuando requieren de

Page 29: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

29

atención, los no afiliados lo han experimentado en un 42%. Adicionalmente, los niños con aseguramiento que tienen problemas respiratorios y diarreicos tienen una mayor probabili-dad de ser llevados a un centro de atención en salud. Más aún, las mujeres afiliadas tienen una mayor probabilidad de dar a luz en una instalación para atención en salud y de ser asistida por un doctor o un equipo calificado.

Otros resultados de importancia muestran que los niños que tienen aseguramiento tienen esquemas de vacunación completos y apropiados para su edad, y por lo tanto tienen menos probabilidades de morir por causa de una enfermedad prevenible. Como es de esperarse los indicadores de salud son, en general, peores en áreas rurales. Por ejemplo, el porcentaje de nacimientos atendidos por un doctor u otro profesional de la salud alcanza más del 90% en áreas urbanas, pero es menos de 70% en áreas rurales.

Como hecho curioso, la cobertura de aseguramiento en salud tiene, aparentemente, un mayor efecto sobre el uso de servicios de atención médica en áreas rurales que en urbanas. La afiliación al régimen subsidiado incrementa las visitas ambulatorias del 44% al 66% en áreas rurales, mientras que en zonas urbanas lo incrementa del 53% al 70%.

Los resultados de los análisis respecto al estado de salud no permiten realizar conclusiones, con excepción de bajo peso extremo de los recién nacidos. Los demás resultados a nivel nacional no son sólidos. A diferencia del análisis con medias no condicionadas, al controlar por diferencias en las características observadas mediante el método de PMS se demuestra que no existen diferencias significativas entre pacientes afiliados y no afiliados en términos de complicaciones después del parto, resultados de bajo peso de los recién nacidos.

Para probar la robustez de los análisis anteriores se implementó la metodología de pareo por diferencias en diferencias (MDD) utilizando un conjunto de datos de cortes transversales reiterados (Encuesta de Demografía y Salud 1995, 2000 y 2005). Este análisis permitió con-firmar contundentemente los hallazgos previos. Para el conjunto de resultados medidos a tra-vés de las tres encuestas, la afiliación mediante el régimen subsidiado se asocia de manera consistente con importantes mejoras en el acceso de los individuos a los servicios de salud.

Las personas afiliadas presentan incrementos respecto a los no afiliados en resultados como: un aumento del 4,2% en la probabilidad de dar a luz en centro de salud de los afiliados frente a los no afiliados o un 42% más de probabilidad de acceder a visitas de cuidado prenatal. Inclusive la probabilidad de tener una inmunización completa se incrementa en 6 puntos porcentuales de 1995 a 2005.

Este resultado confirma que los hallazgos obtenidos mediante el PSM son importantes en lo relacionado con cobertura de inmunización, una variable proxy23 para el resultado de una incidencia reducida de vacunas de enfermedades prevenibles. Este resultado es más sorprendente dado que la cobertura en inmunización es gratis para todas las personas in-dependientemente del estado de afiliación.

Esto indica que existen unos resultados positivos asociados a la afiliación que van más allá de hacer los servicios accesibles financieramente. Todas las variables de acceso eran estadísti-camente significativas en los niveles rurales pero no tan significativas en los niveles urbanos.

23 Una variable Proxy se utiliza en la estimación comportamientos de variables no observadas y que pueden ser relacionadas en forma teórica.

Page 30: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

30

imPlicacioneS de Política

Antes de la realización de este estudio se había documentado ampliamente el aumento de cobertura del aseguramiento en salud en el SGSSS, pero sin embargo no eran claros los efec-tos del aseguramiento en salud sobre variables como el acceso y utilización de servicios de salud, y esta evaluación permite comprobar que la afiliación al SGSSS es determinantes para reducir las barreras financieras y aumentar el acceso y utilización de los servicios de salud.

En este sentido, el estudio muestra las bondades de la introducción del aseguramiento en salud en el país, ganancias sobre hace énfasis aunque reconociendo que el sistema actual no es perfecto, razón por la cual llama la atención de los tomadores de decisiones en el sentido de implementar políticas que permitan mejorar el SGSSS pero que reconozcan, protejan y construyan sobre las bondades, ganancias y aspectos positivos del aseguramiento en salud.

De esta manera, el estudio en principio sugiere continuar la expansión del aseguramiento en salud en el país, especialmente para las poblaciones pobres y rurales quienes más beneficio podrían obtener del aseguramiento, pero reconociendo que los aspectos financieros no son las únicas barreras de acceso a los servicios de salud por lo cual una política de expansión del aseguramiento en salud necesariamente debería ir acompañada de políticas tendientes a mejorar otros elementos determinantes del rendimiento del sistema tales como la oferta e infraestructura, la calidad de los servicios, acceso a servicios de promoción y prevención, entre otros.

Ficha técnica de la evaluación

Título de la evaluación De pocos a muchos, diez años de la expansión del asegura-miento en salud en Colombia

Programa evaluado N. A.

Cobertura del programa Nacional

Presupuesto del programa N. A.

Entidad que contrató la evaluación Banco Interamericano de Desarrollo

Evaluador

Ursula Giedion•Beatriz Yadira Díaz,•Eduardo Andrés Alfonso•William D. Savedoff•

Costo de la evaluación N. D.

metodologías utilizadas

Evaluación de ImpactoComparación de medias no condicionales.•Pareo por Similitud (PSM).•Pareo por Diferencias en Diferencias (MDD).•

Recolección de la información

Encuesta de Demografía y Salud (EDS) para 1995, 2000 y •2005.Datos del censo de 1993.•Registros administrativos municipales.•

Periodo evaluado 1993-2003

duración N. D.

N. A.: No AplicaN. D.: No Disponible

Page 31: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

31

Bibliografía

Center for Health Policy, Universidad de Standford http://healthpolicy.stanford.edu, recupe-rado el 26 de marzo de 2010).

Fondo de Solidaridad y Garantías (FOSYGA).www.fosyga.gov.co. (recuperado el 26 de mar-zo de 2010).

“From Few to Many, Ten Years of Health Insurance”. Inter American Developing Bank and the Brooking Institution. 2009.

Ley 100 de 1993. Colombia.

Ministerio de la Protección Social. www.minprotección.gov.co, recuperado el 26 marzo de 2010).

Ministerio de la Protección Social. “Evaluación del plan obligatorio de salud de los regímenes contributivo y subsidiado en el sistema general de seguridad social en salud colombiano y lineamientos para su reforma. Dirección General de Gestión de la Demanda en Salud”www.minprotección.gov.co recuperado el 26 de marzo de 2010).

Panopoulou G. Universidad de Sussex, Departamento de Economía, Affiliation and the De-mand for Health Care by the poor in Colombia. 2001.

Resolución 3133 del 14 de septiembre de 2005. Colombia.

Page 32: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

32

dEsaRROLLaR EL PLan dE anÁLisis Y La ELaBORaCiÓn dE infORmEs dEL anÁLisis dE siTUaCiÓn dE saLUd dE COLOmBia 2002-2007

antecedenteS

Fuente: Ministerio de Protección Social.

Para el año 2002, la situación de salud en Colombia reflejaba varias problemáticas como consecuencia de la evolución y transición demográfica de una sociedad en proceso de mo-dernización con tasas de mortalidad, natalidad y crecimiento decrecientes, así como por las características propias de la transición epidemiológica con una progresiva reducción de las enfermedades transmisibles asociadas a un incremento en las enfermedades crónicas no transmisibles (MPS, 2007). Además, en la época se encontraron relaciones directas entre el estado de la salud y la situación socioeconómica, la distribución espacial, los procesos de ur-banización y los hábitos de consumo y comportamiento de la población. Preocupaban tam-bién los deterioros de la salud por motivos de la violencia que afecta el territorio nacional.

La evolución de algunos indicadores ha llevado a tomar medidas que contrarresten el avan-ce de estos problemas, logrando que la atención institucional del parto pase de una cober-tura de 80,6% en 1990 a 86,4% en 2000 y 90,7% en 2005 (ENDS); la cobertura de atención prenatal adecuada pasó de 82,0% en 1990, a 82,6% en 1995, 90,8% en el 2000, a 93,5 en el 2005; asimismo, para el 2005 se estimó que la mortalidad materna alcanzaba 68 casos por cien mil nacidos vivos.

Page 33: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

33

Enfermedades transmisibles como el dengue, la malaria, la tuberculosis, las enfermedades de transmisión sexual VIH-SIDA, se han convertido en los principales problemas de salud pública y cada vez comprometen más recursos. De la misma forma, la persistencia de enfer-medades crónicas no transmisibles, en especial las relacionadas con el sistema circulatorio, presentan un mayor peso en las estadísticas de morbilidad de la población colombiana.

Las bases para el desarrollo de este estudio se inician en 1994, cuando se realizaron esti-maciones de la carga de enfermedad con bases en un estudio mexicano del mismo año. En el ámbito nacional se publicó en 1999 un documento con los resultados de un estudio de carga de enfermedad que tomaba como año de referencia 1995.

deScriPción del ProGrama

En coherencia con el Plan Nacional de Desarrollo 2006-2010, dentro de la estrategia de la inserción de las familias en el Sistema de Protección Social, el Decreto 3039 de 2007 adopta el Plan de Salud Pública 2007-2010, en el cual se dan los lineamientos de política en relación a las prioridades, objetivos, estrategias y metas que están bajo la responsabi-lidad del Gobierno central, entes territoriales y los actores del Sistema de Seguridad Social en Salud.

El Plan Nacional de Salud se propone mejorar el estado de salud de la población colom-biana, evitar la progresión y los desenlaces adversos de la enfermedad, enfrentar los retos del envejecimiento poblacional y la transición demográfica y disminuir las inequidades de la población colombiana en la materia (MPS, 2007). Las prioridades que a través de las estrategias y acciones se hagan en términos de la política nacional de salud deben tener en cuenta la salud infantil, la salud sexual y reproductiva, la salud oral, la salud mental y las lesiones violentas evitables, las enfermedades transmisibles, las enfermedades crónicas no transmisibles, la nutrición, la seguridad en el trabajo, las enfermedades de origen laboral y la seguridad sanitaria.

El Ministerio de la Protección Social es la entidad responsable del Plan Nacional de Salud Pública, en lo concerniente a gestión y coordinación de las entidades involucradas en la eje-cución. En el orden territorial, los departamentos, distritos y municipios son los encargados de que las políticas enmarcadas en el plan sean realizadas.

En referencia a los recursos financieros del programa, del presupuesto general de la na-ción y las fuentes adicionales de financiación registradas se obtuvieron recursos durante las vigencias 2007 y 2008 por cerca de 309.352,98 millones de pesos, mientras para el 2009 el presupuesto de protección de la salud pública en el ámbito nacional24 alcanzó los 189.532,45 millones

deScriPción de la evaluación

Este estudio fue realizado por el Centro de Proyectos para el Desarrollo (CENDEX), desde el 14 de diciembre de 2007 hasta el 14 de junio de 2008, lapso durante el cual se presentaron tres documentos técnicos: “Carga de Enfermedad Colombia 2005: Resultados Alcanzados”, “Desigualdades en Salud Entre Departamentos”, y “Análisis de la mortalidad 1985-2005”.

24 Nombre del proyecto que encierra el Plan Nacional de Salud pública 2007-2010.

Page 34: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

34

La metodología aplicada proviene de un estudio realizado por CENDEX en México en el año 2002 para el Instituto Mexicano de Seguros Sociales (IMSS).

En el primer informe, para el levantamiento de la información se tomaron los datos de población del Censo Nacional de Población 2005 y se utilizó el registro de defunciones por edad, género y causa básica de muerte para el país. Además, los registros de de-claración obligatoria de enfermedad, el Sistema de Vigilancia y Control en Salud Pública (Sivigila) y los registros individuales de prestaciones de servicios (RIPS) para los datos de morbilidad.

Para ampliar la información que se presenta en la tabla, los años de vida ajustados por discapacidad (Avisa) estiman la carga de la enfermedad, de acuerdo a las distintas causas o problemas de salud consideradas, en años vividos con discapacidad más los perdidos por muerte prematura. Un Avisa correspondería a un año de vida sana perdido y la medición de la carga de enfermedad por este indicador significaría la brecha existente entre la situación actual de salud de una población y la ideal en la que cada miembro de esa población po-dría alcanzar la vejez libre de enfermedad y discapacidad. De igual forma, para la construc-ción de la esperanza de vida saludable (Evisa) se integran, por edad y sexo, las prevalencias de condiciones de salud discapacitados que se incorporan en la construcción de una tabla de vida para modificar una de las funciones de la misma, generando estimaciones de los años que se espera vivir, en condiciones que tienen en cuenta el nivel de discapacidad de la población de interés (Carga de Enfermedad, 9).

Cuadro 7 Metodología de evaluación

indicador Herramienta

AVISA totales por 1000 279,58

AVD por 1000 207,34

APMP por 1000 72,24

APMP / AVD 0,35

Masculino/Femenino 1,24

Esperanza de vida total al nacer (años) 73,3

Esperanza de vida con discapacidad al nacer (años) 18,0 (25%)

Esperanza de vida saludable al nacer EVISA (años) 55,3

Fuente de esperanzas de vida de referencia para elcálculo de APMP Murray y López (1996)

Ponderación de edad Exponencial

Tasa de descuento 3%

Fuente de pesos de discapacidad Murray y López (1996) y ajustes locales

Fuente: Carga de Enfermedad Colombia (2005, 52)

Page 35: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

35

Para el segundo informe, los indicadores de salud empleados se tomaron de la Encuesta de Salud 2007 en especial la submuestra para exámenes clínicos para personas entre los 18 y 69 años de los hogares seleccionados25. Por departamento, se estimó el porcentaje de población con hiperglicemia en ayunas, el porcentaje de la población con hiperglice-mia que había sido diagnosticada como diabética, el porcentaje de la población con cifras tensionales compatibles con hipertensión arterial, el porcentaje de la población con cifras tensionales elevadas que había sido diagnosticada como hipertensa, el porcentaje de la po-blación con obesidad, el porcentaje de la población con niveles de colesterol total elevado y el porcentaje de la población con niveles de colesterol HDL bajos. Además, para encontrar las diferencias entre los departamentos con respecto a los indicadores de salud estimados, se escogió a la cobertura de afiliación al Sistema General de Seguridad Social y al nivel socioeconómico departamental medido mediante el PIB per cápita departamental como variables de contexto.

El tercer documento técnico realiza un análisis de la mortalidad a partir de registros de per-sonas fallecidas tomados de las bases del DANE para los periodos 1985, 1990, 1995, 2000 y 2005 A los datos iniciales, se les han excluido los registros sin sexo definido, se corrigió el registro de defunciones por mala calidad con aplicación de un algoritmo de reclasificación de causas. Por otro lado se efectuó una descripción de los archivos recibidos y el número total de registros.

PrinciPaleS concluSioneS

Las conclusiones se presentan en el orden de los tres estudios señalados anteriormente y se acompañan de los principales resultados obtenidos en el análisis de la situación de salud para el periodo 2002-2007.

Carga de Enfermedad Colombia 2005

El informe en términos de los años de vida saludable perdidos por mortalidad prematura APMM y perdidos por vivir con discapacidad AVD, encontró que la carga de enfermedad según Avisas en el caso de enfermedades crónicas, no transmisible (grupo II) representaron el 76% (81% de las mujeres y el 72% en los hombres) de las causas de enfermedad, seguido por las condiciones transmisibles (grupo I), maternas, perinatales y de la nutrición, con un peso del 15% en la carga global (14% en hombres y 16% en mujeres); las lesiones (grupo III), es el responsable del 9% de la carga de enfermedad, correspondiendo al 14% en hombres y sólo al 3% en mujeres. Los AVISAS de discapacidad son responsables mayoritariamente de la carga de enfermedad atribuible a los grupos I y II. Por otro lado, son los AVISAS de mortalidad prácticamente los únicos responsables de la carga de enfermedad concentrada en el grupo III (CENDEX, 2008).

La magnitud más alta de pérdida de años saludables en las mujeres entre 0 a 4 años son consecuencia de problemas o condiciones aparecidas en el ámbito perinatal en esencia relacionadas con la asfixia y trauma al nacer, seguido del bajo peso al nacer. En el grupo

25 Seleccionadas en los hogares visitados durante la realización de la Encuesta Nacional de Salud (ENS) 2007.

Page 36: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

36

de 5 a 14 años las caries dentales y el asma son las principales causas de pérdida de vida saludable, y en grupos de mujeres entre los 15 a 29 años de edad, la depresión mayor uni-polar y la cardiopatía hipertensiva (la cual va a ser el principal problema en mujeres entre los 30 y 59 años). En mujeres de 70 o más años, la cardiopatía isquémica es la principal causa de enfermedad.

Por el lado de los hombres entre los 0 a 4 años la asfixia y el trauma al nacer son las causas de pérdida de vida saludable; en aquellos entre los 5 a 14 años, la depresión mayor unipo-lar, y para los grupos entre los 15-29, 45-59 y 60-69 años, la cardiopatía hipertensiva es la principal causa de enfermedad. Al igual que las mujeres, los hombres entre los 70 o más años la cardiopatía isquémica es la principal enfermedad.

Cuadro 8Diez primeras causas según AVISAS (por 1000 personas) en ambos sexos de todas

las edades

Orden Causa aVisas Totales

1 Cardiopatía hipertensiva 53.521

2 Depresión mayor unipolar 47.304

3 Caries dental 26.277

4 Asfixia y trauma al nacer 15.506

5 Agresiones 14.795

6 Bajo peso al nacer 11.218

7 Enfermedad pulmonar obstructiva crónica 9.812

8 Asma 9.223

9 Glaucoma 7.001

10 Cardiopatía isquémica 6.008

Fuente: Carga de Enfermedad Colombia 2005.

Los resultados encontrados en relación a la esperanza de vida es que el promedio de años que esperan vivir las mujeres es de 76,1, y los hombres, 70,6; de estas cifras, 18,2 años y 17,8 años, respectivamente, se constituyen en años de vida con discapacidad. El gráfico ilustra la distribución de las esperanzas de vida total, con discapacidad y sin discapacidad, por sexo y total respectivamente. Es posible observar cómo la diferencia entre las esperanzas de vida sin y con discapacidad se va acortando con la edad hasta igualarse al final de la vida.

Page 37: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

37

Gráfico 3 Esperanzas de vida ajustadas por discapacidad (en años) en ambos sexos

por Edades

Ex con Disc Ex sin Disc (Evisas) Ex Total

0

20

40

60

80

100

0 1 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80

Espe

ranz

asde

vida

(en

años

)

Fuente: Carga de Enfermedad Colombia 2005.

Desigualdades en salud entre departamentos Colombia 2007

El estudio en los departamentos, en referencia al porcentaje de población con colesterol HDL por debajo de 40 mg/dl, muestra que los departamentos con índices más altos son Atlántico (73,7%), Cesar (71,2%), Putumayo (71,1%) y Casanare (70,1%), y Nariño es el departa-mento con el índice más bajo, con el 43,4%. En términos del porcentaje de población con hipercolesterolemia (colesterol total igual o mayor a 240 mg/dl), Bogotá y Cundinamarca presentan el mayor porcentaje de personas que padece este desequilibrio. Amazonas (con 6,2%) y Norte de Santander (con 4,7%) son los departamentos que presentan mayores por-centajes de población con hiperglucemia medida (glicemia en ayunas mayor a 125 mg/dl), y, en particular, es más notorio en la población masculina que en la femenina.

Gráfico 4 Principales resultados por departamentos

Fuente: Elaboración DEPP con datos de la evaluación.

01020304050607080

Atlántico Cesar Putumayo Bogotá Boyacá Nariño

Porc

enta

je

73,7 71,2 71,1

48,8 46,5 43,4

11,4 11,110

1,7 1,7 1,4

0

2

4

6

8

10

12

Cun/marca Bogotá Risaralda Chocó Vichada Vaupés

Porc

enta

je

Población con colesterol HDL Población con hipercolesterolemia

Page 38: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

38

Por otro lado, los departamentos con mayores porcentajes de población con hipertensión arterial medida (tensión sistólica mayor o igual a 140 mm de Hg y/o tensión diastólica igual o mayor a 90 mm de Hg.) son Norte de Santander (31,1%), Chocó (31,0%) y Nariño (30,7%) y, al igual que en el caso anterior, la población masculina se encuentra dentro de los mayores índices. Mientras que Guainía y Vaupés son los departamentos con los índices más bajos de hipertensión.

El estudio encuentra que los departamentos con menor índice26 de obesidad son Boyacá, Cesar y Quindío (en este orden). En términos de proporciones de desigualdad, el 60% de obesos hombres se concentra en el 40% de la población; entre las mujeres, el 51% está en esa misma proporción de población.

A partir de las curvas de Lorenz y el coeficiente de Gini se identifica el grado de desigualdad en las proporciones de población con hipercolesterolemia entre departamentos. Entre el 35% y el 40% de las personas con el colesterol total elevado se concentran en el 20% de la población (CENDEX, 2008). En cuanto a la distribución entre departamentos de la propor-ción de población con hiperglicemia en ayunas medida según sexo, se identifica que el 72% de los hombres con hiperglicemia en ayunas se concentra en el 40% de la población del país, mientras que, entre las mujeres, el porcentaje baja al 60% para la misma proporción de población. Aproximadamente más del 50% de hipertensos se concentra en el 40% de la población, aún sin presentar muchos cambios en su distribución por sexos.

Al observar la distribución del porcentaje de los problemas de salud y la desigualdad entre departamentos, ordenados según el PIB per cápita, se obtienen comportamientos parecidos a los análisis realizados cuando se ordenan por porcentaje de afiliación.

“En resumen, los mayores porcentajes de población con colesterol total elevado, con hiper-glicemia, con obesidad y con hipertensión, se concentran en los departamentos de menor población. Con gran desigualdad entre sexo se distribuyen los porcentajes de hiperglice-mia y obesidad, los hombres con distribución más desigual. Por otro lado, la proporción de diabéticos conocidos entre los hiperglicémicos se incrementa al aumentar la población departamental y los hipercolesterolémicos aumentan al ser más ricos los departamentos. Para el porcentaje de colesterol HDL bajo no se registraron desigualdades apreciables y la cobertura de afiliación a la SGSSS anuló prácticamente la desigualdad registrada cuando no se consideró esta variable de contexto” (Desigualdades en Salud, 2007: 45).

Análisis de la mortalidad 1985-2005

Se obtiene que la mortalidad proporcional en las mujeres es causada principalmente por enfermedades no transmisibles, pasando de 71,3% en 1985 a cerca de 80% en 2005, con una leve disminución de las causas de muerte con respecto a las originadas por condiciones transmisibles, maternas, perinatales y de la nutrición (22,2% en 1985 a 13,5% en 2005). En el caso de los hombres, aunque también ha habido un incremento de las causas atribuibles a enfermedades no transmisibles (del 53,5% al 60, 4% entre 1985 a 2005), éste ha sido de menor magnitud (casi del 3%), a expensas, como en el caso de las mujeres, de la disminu-ción del peso atribuible al grupo de las condiciones transmisibles maternas, pues el porcen-taje de causas atribuibles a lesiones se ha mantenido con valores cercanos al 30%.

26 Índice de masa corporal igual o mayor a 30 kg/m2.

Page 39: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

39

Gráfico 5 Principales causas de mortalidad

Fuente: Elaboración DEPP. Con base en los datos de la evaluación.

1985

Tasa

x10

0.00

0ha

bitantes

1990 1995 2000 2005

250

200

150

100

50

0

Infecciones de vías respiratorias inferiores

166,6174,5

197,8

236,8

98,2

Asfixia y trauma al nacer Enfermedades diarreicas

Mortalidad entre 0 a 4 años

1985

Tasa

x10

0.00

0ha

bitantes

1990 1995 2000 2005

Accidentes de tránsito

Ahogamiento y sumersión accidentales

Agresiones

9,4

7,5

8,9

5,54,3

9,4

8

6

4

2

0

Mortalidad entre 5 a 14 años

1985

Tasa

x10

0.00

0ha

bitantes

1990 1995 2000 2005

Accidentes de tránsito

Lesiones autoinflingidas intencionalmente

Agresiones

84,4

145,4127,3

138

94,8

160140120100

80604020

0

Mortalidad entre 15 a 20 años

Page 40: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

40

En relación a los principales problemas que ocasionaron la muerte tanto en hombres como en mujeres, el estudio señala que para edades entre los 0 a 4 años de edad, las enfer-medades diarreicas fueron la principal causa de deceso en 1985. En 2005 pasan a ser la tercera causa, siendo ahora la asfixia y el trauma al nacer el principal factor de muerte. Para la población entre los 5 a 14 años, los accidentes de tránsito son la primera razón de pérdida de vida, pero con una tendencia a la baja entre 1985 a 2005. En el caso de la población entre los 15 a 44 años, las agresiones durante el periodo de análisis se consti-tuyen en la primera causa de fallecimiento, representando para 2005 cerca del 94,8% de la muestra total.

Gráfico 6 Principales causas de mortalidad

1985

Tasax100.000habitantes

1990 1995 2000 2005

Cardiopatía isquémica

Enfermedad cerebrovascular Agresiones

142,9 143,7 149,3

88,269,9

160140120100

80604020

0

Mortalidad entre 45 a 59 años

1985

Tasa

x10

0.00

0ha

bitantes

1990 1995 2000 2005

Cardiopatía isquémica

Enfermedad cerebrovascular Diabetes mellitus

558,5 568,4 577,3

373,4

281

600

500

400

300

200

100

0

Mortalidad entre 60 a 69 años

Page 41: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

41

Fuente: Elaboración DEPP. Con base en los datos de la evaluación.

Para la población entre 45 y 69 años, las enfermedades no transmisibles, especialmente los problemas relacionados con el corazón, representan la principal razón de las muertes. Esto se repite entre la población con 70 o más años, pero con tendencias más acentuadas y más representativas.

Ficha técnica de la evaluación

Título de la evaluación Desarrollar el plan de análisis y la elaboración de informes del Análisis de Situación de Salud de Colombia 2002-2007

Programa evaluado Plan Nacional de Salud Pública

Cobertura del programa Territorio nacional

Presupuesto del programa2009: 15 mil millones de pesos*Recursos apropiados del proyecto protección de la Salud Publi-ca en el Ámbito Nacional

Entidad que contrató la evaluación Colciencias

Evaluador Centro de Proyectos para el Desarrollo (Cendex)

Costo de la evaluación 223 millones de pesos

metodologías utilizadas

Indicadores de salud•Indicadores de cobertura •Medidas de desigualdad•Ajustes a indicadores de mortalidad•Cálculo de AVISA y EVISA•

Recolección de la información Información secundaria estadísticas vitales.

duración Diciembre de 2007-14 de junio de 2008

1985

Tasa

x10

0.00

0ha

bitantes

1990 1995 2000 2005

Cardiopatía isquémica

Enfermedad cerebrovascular

Enfermedad pulmonarobstructiva crónica

2.337 2.4382.606

1.5661.231

3.000

2.500

2.000

1.500

1.000

500

0

Mortalidad entre 70 a más años

Page 42: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

42

Bibliografía

Centro de Proyectos para el Desarrollo (Cendex). “Carga de Enfermedad Colombia 2005: Resultados alcanzados”. Bogotá, octubre de 2008.

Centro de Proyectos para el Desarrollo (Cendex). “Desigualdades en salud entre departa-mentos Colombia 2007”. Bogotá, octubre de 2008.

Centro de Proyectos para el Desarrollo (Cendex). “Análisis de la mortalidad 1985-2005”. Bogotá, octubre de 2008.

Ministerio de la Protección Social. Decreto Número 3039. Bogotá, agosto de 2007.

Profamilia. “Encuesta de salud 2005” (en www.profamilia.org.co/encuestas/.../02presentacion.htm, recuperado en marzo de 2010).

Rodríguez, J. “Desigualdades socioeconómicas entre departamentos y su asociación con indicadores de mortalidad. Colombia, año 2000”. en Rev Panam Salud Pública (2/3): 111-24, 2007.

Rodríguez, J. y Gallardo, H. “Carga global de enfermedad. Colombia 1985-1995”. Minis-terio de Salud-República de Colombia, Imprenta Nacional, 2000.

Sistema de Gestión y Seguimiento a las metas del Gobierno (SIGOB). Salud pública (en https://www.sigob.gov.co/met/meta.presupuesto.aspx?m=641, recuperado en marzo de 2010).

Page 43: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

43

EVaLUaCiÓn dE mEdiO TÉRminO dEL PROGRama dE REORGaniZaCiÓn, REdisEÑO Y mOdERniZaCiÓn dE Las REdEs dE PREsTaCiÓn dE sERViCiOs dE

saLUd

antecedenteS

En 1993, el panorama de los hospitales públicos era dificil, altos costos de operación, gestión deficiente, sobredimensionamiento de las plantas de personal y un elevado pasivo prestacional. Estos factores hicieron que los recursos destinados al sector salud estuvieran financiando hospitales ineficientes, generándose incentivos a la demanda por servicios de más alto costo. Al introducir la Ley 100 de 1993, se esperaban cambios en términos de co-bertura, eficacia en la utilización de los recursos y una mejora en la calidad de la atención, pero el resultado no fue el deseado y no se generaron los efectos esperados, ya que no se tuvieron en cuenta las diferencias en capacidad técnica y financiera de los municipios. Como consecuencia se presentó un desorden en la oferta pública hospitalaria, se creó infraestruc-tura física innecesaria y se contrató recurso humano no indispensable (Documento Conpes 3415 de 2006).

Gráfico 7Hospitales con déficit para el año 2004

Número de hospitales

AntioquiaAtlánticoBogotáBolivarBoyacáCesar

Córdoba

HuilaMagdalenaSantander

Tolima

Cundinamarca

4035302520151050

1510

7

385

123

1119

11

9

6

Fuente: Línea Base, Cendex.

En el contexto del ajuste fiscal y el impulso de los programas de modernización de las instituciones públicas y el entorno de competencia para las IPS, desde 1999 se ha venido impulsando el proyecto de mejoramiento, fortalecimiento y ajuste de la gestión de las insti-tuciones públicas de la red hospitalaria. El Documento Conpes 3204 de 200227 autorizó la contratación de empréstitos externos hasta por USD$90 millones para financiar el proyecto. Por esta razón, el Gobierno colombiano y el Banco Interamericano de Desarrollo (BID) sus-cribieron en el 2004 un contrato de préstamo 1525/OC-CO, complementado con el crédito

27 La política de prestación de servicios de salud se enfocó en estrategias, mecanismos y recursos para sanear el déficit financiero de las instituciones prestadoras de servicios públicos (IPS) y continuar la organización y modernización de laS redes públicas.

Page 44: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

44

1742/OC-CO de 2006 por USD$50 millones, autorizado por el Documento Conpes 3415 para la financiación de las vigencias fiscales 2006-2007 en la ejecución del programa para la reorganización, rediseño y modernización de redes de prestación de servicios de salud (DNP, 2009).

deScriPción del ProGrama

El Ministerio de Protección Social (MPS) define los objetivos del programa “mejoramiento de la calidad, la eficiencia y la sostenibilidad financiera de las redes públicas de prestadores de servicios de salud, en el marco de la política de prestación de servicios que busca el mejo-ramiento de la oportunidad en el acceso y utilización de los servicios de salud por parte de la población” (MPS, 2008: 17).

El programa se desarrolla en varios componentes:

Cuadro 9 Componentes del programa

Reorganización operativa de las redes de iPs Públicas

La adecuación del portafolio de servicios de las IPS de acuerdo con el diseño de la red.

El ajuste de la planta de personal.

El pago de compensaciones, liquidaciones y deuda laboral.

El pago de pasivos prioritarios.

Rediseño y modernización de las redes

Formulación de las propuestas de reorganización de las redes de servicios y sus IPS, por parte de las entidades territoriales.

Ajuste institucional de las IPS, al mejoramiento de la eficiencia, calidad y oportunidad en la prestación de servicios y a la imple-mentación de la política de prestación de servicios de salud.

Suscripción de convenios de desempeño y contratos de emprésti-to entre la Nación, las entidades territoriales e IPS.

implementación de proyectos priorita-rios de la Política nacional de Presta-

ción de servicios de salud.

Implementación del Sistema obligatorio de Garantía de Cali-dad.

Modificación del marco regulatorio para la prestación pública de servicios de salud.

Proyectos de evaluación de tecnología biomédica.

La implementación de la política farmacéutica nacional.

Estandarización de procesos de gestión y operación de las re-des.

Auditorías y evaluaciones sobre temas prioritarios de la política de prestación de servicios de salud.

seguimiento y evaluación

Monitoreo, seguimiento y evaluación de la gestión de las institu-ciones prestadoras y entidades territoriales.Impacto del proyecto a nivel territorial y nacionalEjecución del plan de implementación de la política de prestación de servicios

Fuente: Elaboración DEPP basado en la definición de los componentes del programa conforme al Documento Conpes 3415 de 2006.

Page 45: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

45

La organización y ejecución del programa corresponde a la Dirección General de Calidad de Servicios del Ministerio de la Protección Social (MPS), con una coordinación técnica y una coordinación administrativa y financiera.

Gráfico 8Estructura del programa

Direcciónadministrativay financiera

Grupo estratégico

Procesosadministrativos

Procesosfinancieros

Seguimiento yevaluaciónpolítica

Seguimiento yevaluación del

programa

AsistenciatécnicaDTS-IPS

Reorganizaciónoperativ

IPS

Grupo operativo

MINISTERIO DE LAPROTECCIÓN SOCIAL

Viceministerio deSalud y Bienestar

Dirección General deCalidad de Servicio

Unidad coordinadoradel programa

Auditoría

ProcesosJurídicos

Dirección técnica

Fuente: CENDEX (2007).

Igualmente, el programa tiene tres etapas. La primera es la formulación y viabilización de las propuestas de rediseño, en la cual se definen las metas, mecanismos y los costos para el diseño de la red en un departamento. Luego se pasa a una etapa de reorganización ins-titucional, en la cual las propuestas se suscriben en los convenios de desempeño y contratos de empréstitos internos suscritos entre la Nación y la entidad territorial. La tercera etapa es la modernización, en la cual se incluye el mejoramiento de procesos de gestión, el soste-nimiento de los logros alcanzados y el aumento en la eficiencia y calidad de prestación de servicios.

Page 46: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

46

Gráfico 9Etapas del programa

Diseño de herramientase instrumentos de

diagnósticosDiagnóstico

Planes de mejoramiento

Retroalimentación

CapacitaciónAcompañamiento

Estandarización de procesosSeguimiento y evaluación

Fuente: CENDEX (2007).

Cuadro 10 Apropiación presupuestal del programa

(Miles de pesos)

Entidad fuenteVigencia

2004 2005 2006 2007

MPS

Crédito BID 7.538.000 0 18.035.803 1.500.000

Aporte nacional 71.294.000 35.000.000 51.466.197 34.710.600

Total MPS 78.832.000 35.000.000 69.502.000 36.210.600

MHCP

Crédito BID 52.517.000 119.000.000 76.508.000 0

Aporte Nacional 68.651.000 46.000.000 0 70.063.000

Total MHCP 121.168.000 165.000.000 76.508.000 70.063.000

Total vigencia nación 200.000.000 200.000.000 146.000.000 106.273.600

Cofinanciación territorial 85.946.712 37.745.171 48.773.977 2.607.600

Total 285.946.712 237.745.171 194.773.977 108.881.200

Fuente: CENDEX (2007).

En desarrollo del programa, desde el año 2002 al 2008 se suscribieron convenios de des-empeño con 25 entidades territoriales que involucran acciones de reorganización institucio-nal a 201 hospitales públicos (MPS, 2009).

deScriPción de la evaluación

Durante marzo y diciembre del 2006, el Centro de Proyectos para el Desarrollo (Cendex) realizó una evaluación de medio término28, en la cual se tomó el año 2004 como línea base,

28 La evaluación presentó un informe de análisis nacional, uno de análisis regional y un informe de tratamiento multivariado análisis factorial.

Page 47: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

47

para posteriormente realizar una comparación de la situación financiera, de producción de servicios y de calidad, entre los hospitales intervenidos y los que no pertenecieron al con-venio. La información recolectada se obtuvo en función del Decreto 219329 de 2004 y del Registro Especial de Prestadores del Sistema de Habilitación de Instituciones Prestadoras de Servicios de Salud a diciembre de 2006, para lo cual se definieron tres unidades de obser-vación: en la primera el análisis se enfocó en el programa y su organización, en la segunda, en las entidades territoriales agrupadas por región y, en la última, se observaron las redes y subredes departamentales.

La muestra de la evaluación contó con la inclusión de un grupo nuevo de hospitales que firma-ron convenios entre los años 2004 y 2006, más los analizados en la encuesta de línea base. Se tomaron 68 instituciones con convenio y 231 instituciones sin convenio. En total, el análisis se realizó en 341 hospitales públicos, 251 instituciones pertenecen al nivel I, 79 al nivel II y 11 al nivel III (CENDEX, 2007).

Gráfico 10Cobertura de la Evaluación

29 Establece las condiciones y procedimientos para disponer de información periódica y sistemática que permita realizar el seguimiento y evaluación de la gestión de las instituciones públicas prestadoras de servicios de salud y evaluación del estado de implementación y desarrollo de la política de prestación de servicios de salud.

Muestra de la evaluación

Los departamentos estudiados fueron:

Región Centroriental:

Región Noroccidental:

Región Nororiental:

Región Norte:

Cundinamarca, Bogotá, Guaviare, Huila,Meta, Vichada y Vaupés.

Antioquia, Caldas, Risaralda, San Andrés,Tolima, Chocó y Quindío.

Boyacá, Casanare, Cesar, Norte de Santandery Santander.

Atlántico, Bolívar, La Guajira, Magdalena,Sucre y Córdoba.

Page 48: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

48

En la evaluación de medio término la unidad de análisis y observación fue la Institución Prestadora de Servicio (IPS). Se analizaron variables de carácter contable, presupuestal, financiero, de capacidad instalada, recurso humano, calidad y producción de servicios, así como los instrumentos y procedimientos para su presentación (Decreto, 2004). Para resumir el gran volumen de variables, se utilizó la técnica estadística de análisis factorial30, en la cual, para la selección de indicadores por hospital, se tomaron en cuenta la proporción de servicios ambulatorios ofrecidos, la proporción de servicios hospitalarios producidos, la pro-porción de servicios de promoción y prevención producidos, el giro consultorio de consulta externa, el giro consultorio de urgencias, el giro de mesa de partos, el giro de quirófano, el giro unidad odontológica, el giro de camas hospitalarias, los días de estancia promedio de los pacientes, la mortalidad intrahospitalaria, la infección intrahospitalaria, la cartera total, la cartera mayor a 360 días, el excedente operacional ajustado, las ventas de servicios de salud, la venta de servicios de salud recaudado, el total de egresos, los sueldos y los salarios, la razón corriente, y el endeudamiento total.

De esta información, el 34% de los hospitales de nivel I contó con el 90% de las variables con información, y el 64% de las entidades del nivel II y III presentó el 80 % de las variables con información.

PrinciPaleS concluSioneS de la evaluación31

Los resultados de la evaluación de medio término en las áreas de producción, calidad y finanzas, para la mayoría de los indicadores que se estudiaron, mostraron diferencias esta-dísticamente significativas entre los grupos con convenio y sin éste. Solo en el indicador de resultado operacional es evidente que la diferencia entre hospitales con convenio o sin éste es más alta y probablemente con mayor responsabilidad en la diferencia estadísticamente obtenida en los niveles II y III.

Indicadores de producción

En la medición de la producción se encontraron diferencias estadísticamente significativas por niveles de atención, en especial para los indicadores proporción de servicios ambulato-rios y hospitalarios con incremento al pasar de hospitales de nivel I a nivel III y con decre-mentos significativos para el indicador proporción de servicios de promoción y prevención producidos. Los niveles de producción de servicios resultaron muy similares entre grupos con convenio y sin éste. En términos de la eficiencia en función de la capacidad instalada, la evaluación identificó diferencias estadísticamente significativas entre los niveles de atención, es decir, en general al pasar de una entidad de nivel I a una de nivel II o III, se incrementa la eficiencia hospitalaria.

Indicadores de calidad

En el indicador de oportunidad en la consulta de medicina general, no se encontraron evidencias significativas entre niveles de atención, al igual que no se presentaron diferen-

30 Consiste en resumir la información contenida en una matriz de datos con V variables. Para ello se identifican un reducido número de factores F, siendo el número de factores menor que el número de variables. Los fac-tores representan a las variables originales, con una pérdida mínima de información.

31 Los efectos de la operación del programa se han mencionado con base en la evaluación de medio término del Cendex.

Page 49: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Salud

49

cias importantes entre los grupos de entidades con y sin convenio. Para los indicadores de mortalidad e infección hospitalaria, la calidad disminuye considerablemente al pasar del nivel I de atención a los niveles II y III. Por otro lado, hay un incremento de la calidad para los indicadores consulta ginecobstétrica, oportunidad en la cirugía electiva ginecobstétrica y proporción de cirugías canceladas.

Indicadores financieros

Se encontró, en relación del gasto en recurso humano, un incremento significativo al pasar del nivel I de atención al II, en especial para el caso del gasto de personal comprometido. Contrario a los resultados para los porcentajes de sueldos y salarios sobre el total del gasto del periodo y del gasto de personal sobre el total comprometido, en donde se obtiene un decrecimiento al pasar del nivel I al II o III, se detectó una significativa diferencia entre grupo con convenio y sin convenio.

En cuanto a la actividad, se identificó un incremento significativo en los niveles de atención analizados para el indicador de “rotación por cuentas por pagar” (contrario a los indica-dores de endeudamiento en los cuales no se encontraron diferencias importantes), pero queda claro que siempre el monto medio de endeudamiento fue menor en el grupo con convenio. Así mismo, los indicadores de la relación gasto-producción incrementan signifi-cativamente sus valores cuando se pasa del nivel I a los niveles II y III de atención.

Para los indicadores de liquidez, la evaluación de medio término no encontró diferencia importante entre grupos con convenio y sin éste, ni entre niveles de atención. En cuanto a resultado, los indicadores de resultado operacional y del ejercicio mostraron valores supe-riores en el grupo con convenio, correspondiente a los niveles II y III.

Finalmente en el análisis por regiones, en cuanto a las variables de producción, eficiencia, y calidad, se encontraron diferencias en la capacidad instalada, en la proporción de servicios ambulatorios, lo que muestra que la composición de consultas no es igual en el territorio nacional.

recomendacioneS de la evaluación

De la evaluación de medio término se obtuvieron cambios significativos en la reorganiza-ción, rediseño y modernización de las redes de hospitales públicos por regiones, por nivel de entidad y por convenio, en comparación con los indicadores de la línea base de 2004. Sin duda se debían implementar las siguientes recomendaciones para mejorar:

Necesidad de complementar las acciones de reorganización operativa de las redes.•

Fortalecer los procesos de modernización de la gestión de las direcciones territoriales •de salud y las IPS.

Iniciar acciones que involucren la estrategia del eje de calidad de la política de presta-•ción de servicios.

Debido a la existencia de características regionales un poco divergentes, se recomien-•da que en las futuras evaluaciones se tenga en consideración el nivel de análisis re-gional.

Page 50: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

Evaluaciones en equidad: cobertura social

50

Ficha técnica de la evaluación

Título de la evaluaciónEvaluación de medio término del Programa de Reorganización, Rediseño y Modernización de las Redes de Prestación de Servi-cios de Salud

Programa evaluado Programa de Reestructuración Hospitalaria

Cobertura del programa Territorio nacional

Presupuesto del programa N. D.

Entidad que contrató la evaluación Ministerio de Protección Social

Evaluador Centro de Proyectos para el Desarrollo (Cendex)

Costo de la evaluación 349 millones de pesos

metodologías utilizadas Análisis factorial.Indicadores de evaluación de gestión hospitalaria.

Recolección de la informaciónEncuestas•Registro Especial de Prestadores del Sistema de Habilitación de •Instituciones Prestadoras de Servicios de Salud (IPS)

duración Marzo-diciembre de 2006

Bibliografía

Centro de Proyectos para el Desarrollo (Cendex). “Evaluación de Medio Término del Progra-ma de Reorganización, Rediseño y Modernización de las Redes de Prestación de Servicios de Salud. Informe Final”. Bogotá, septiembre de 2006.

Centro de Proyectos para el Desarrollo (Cendex). “Línea Base del Programa de Reorganiza-ción, Rediseño y Modernización de las Redes de Prestación de Servicios de Salud. Informe Final”. Bogotá, diciembre de 2007

Departamento Nacional de Planeación. “¿En qué invierte el Gobierno colombiano? Los grandes proyectos del Estado comunitario en 2008”. Bogotá, 2009.

Departamento Nacional de Planeación y Consejo Nacional de Política Económica y Social. “Concepto favorable a la nación para contratar empréstitos externos con la Banca multila-teral hasta por USD$50 millones, con el fin de financiar parcialmente el programa de reor-ganización, rediseño y modernización de redes de prestación de servicios de salud para las vigencias 2006 y 2007” (Documento Conpes 3415). Bogotá, marzo de 2006.

Departamento Nacional de Planeación y Consejo Nacional de Política Económica y Social. “Política de prestación de servicios para el Sistema de Seguridad Social en Salud y Asigna-ción de Recursos del Presupuesto general de la Nación para la modernización de los Hospi-tales Públicos” (Documento Conpes 3204). Bogotá, noviembre de 2002.

Ministerio de la Protección Social. “Informe de rendición de cuentas año 2008” (en www.minproteccionsocial.gov.co, recuperado en marzo de 2010).

Presidencia de la República. Decreto 2193 de 2004. Bogotá.

N. D.: No Disponible

Page 51: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,
Page 52: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

52

1.

15 años del sistema de seguimiento y evaluación en colombia - sinergia: una mirada desde las evaluaciones de política pública más relevantes.

1.

Page 53: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

1. 1.

aLimEnTaCiÓn

Page 54: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

54

Evaluaciones en equidad: cobertura social

54

EVaLUaCiÓn EJECUTiVa aL PROGRama REd dE sEGURidad aLimEnTaRia REsa

antecedenteS

De acuerdo a los resultados de la Encuesta Nacional de la Situación Nutricional (ENSIN), el 36% de los hogares colombianos tienen limitaciones para acceder a una dieta rica en proteínas. Esto implica que los problemas nutricionales más críticos del país se presentan en el sector rural colombiano, y afectan en mayor proporción a las poblaciones en condiciones de pobreza32.

Respondiendo a esta situación, el Gobierno nacional puso en mar-cha la Red de Seguridad Alimentaria (ReSA), un programa integral para generar soluciones ma-sivas a la problemática de desnutrición y seguri-dad alimentaria.

El programa, creado en el año 2003, busca fo-mentar el autoconsumo, en aras de un cambio de actitud en las comunida-des. Un año después y procurando aumentar la focalización y cobertura,

se crea el Programa ReSA Urbano, con el fin de “ampliar la base de participación a la po-blación asentada en las áreas subnormales de los centros urbanos, grandes receptores de población desplazada”. El proyecto ha llegado a considerarse como una estrategia para el impulso de proyectos que responden tanto a la disponibilidad física de alimentos como a la complementación nutricional y a la promoción de estilos de vida saludable.

Adicionalmente, el programa ha buscado contrarrestar los efectos generados por el despla-zamiento en el sector rural colombiano, de tal manera que a través del mejoramiento de las condiciones de vida se prevengan futuros desplazamientos, se estimule el retorno, se afiance el arraigo y se fomenten mejores hábitos alimentarios; en particular, restablecer el senti-miento de apropiación a la tierra por medio del rescate de tradiciones y saberes, fortalecer los renglones principales de la economía rural y permitir mejores condiciones de vida.

En el año 2008, se crearon Maíz, Fríjol y Culinaria Nativa (CUNA), dos nuevas líneas de intervención del programa, las cuales hacen énfasis en incentivar y fomentar la siembra de cultivos tradicionales y el uso de productos locales autóctonos.

32 Departamento Nacional de Planeación. “¿En qué invierte el Gobierno colombiano? Los grandes proyectos del Estado comunitario en 2008”. Bogotá, 2009.

Fuente: Acción Social-ReSA

Page 55: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

55

Alimentación

55

deScriPción del ProGrama

El programa ReSA fue creado por la Resolución 3300 del 3 de diciembre de 2003, y está a cargo de la Agencia Presidencial para la Acción Social y la Cooperación Internacional (Acción Social). El principal objetivo del programa es el de “Impulsar proyectos de genera-ción de alimentos para el autoconsumo, con el propósito de estimular la permanencia en el campo de la población en riesgo de desplazamiento y/o permitir el retorno de la población desplazada a sus tierras, al igual que mejorar la alimentación de la población radicada en asentamientos subnormales de los centros urbanos, grandes receptores de población des-plazada y en general todas las actividades y programas que propendan por el mejoramiento de la calidad de vida de la población más vulnerable”33.

Para lograr dicho objetivo, sus líneas de intervención se fundamentan en la necesidad de cambiar la actitud de los beneficiarios en dos sentidos: producir alimentos para el consumo familiar mejorando el ingreso por la vía de la no compra y fomentar hábitos alimentarios saludables y utilización de alimentos y productos locales.

Gráfico 11 Componentes que integran ReSA

Fuente: Elaboración DEPP.

A continuación se establece una breve descripción de sus líneas de acción:

ReSA Rural• . Busca contribuir al mejoramiento de las condiciones de vida de la pobla-ción rural colombiana, mediante un aumento en los niveles alimentarios y nutricionales de los distintos miembros de los hogares de los pequeños productores rurales. Con ello se consigue, además de alcanzar un mayor bienestar individual y grupal y un aumento de las capacidades y oportunidades de los individuos, reducir tanto el riesgo

33 (ReSA – Guía de Proyectos, 2008: pág. 4.).

RED DE SEGURIDAD ALIMENTARIAReSa

ReSa RURAL

ReSa URBANO

MAÍZ Y FRIJO

ReSa ESPECIAL

CUNA

Líneas de acción

Page 56: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

56

Evaluaciones en equidad: cobertura social

56

alimentario y nutricional al que están expuestos los habitantes de las zonas rurales, en especial los pertenecientes a los sectores pobres, como el riesgo de desplazamiento por tales motivos. Todo ello mediante una estrategia de escalonamiento de cultivos para tener una producción permanente y cosechar con mayor frecuencia. La finca simul-táneamente debe producir para vender y cultivar alimentos para el consumo familiar (entrega de insumos para la producción y asistencia técnica).

ReSA Maíz y Fríjol• . Tiene un fundamento teórico similar. Adicionalmente se funda-menta en la premisa que este tipo de cultivos tradicionales son muy importantes en la economía campesina y son la base de la alimentación de las comunidades rurales en el país. El maíz y el fríjol son cultivos transitorios, lo cual permite a la población dispo-ner en tiempos cortos de estos alimentos.

ReSA Urbano• . Tiene como objetivo generar alimentos para el autoconsumo de la población radicada en asentamientos subnormales de los centros urbanos, ya que son grandes receptores de población desplazada.

ReSA Especial• . Se enfoca en la atención a población afectada por desastres naturales y/o calamidades de orden físico o social y se fundamenta en las mismas premisas que los anteriores componentes, pero hace énfasis en este tipo de población (y de acuerdo al caso se establecen una serie de requerimientos y condicionantes especiales).

ReSA CUNA - Culinaria Nativa• . Se fundamenta en la necesidad de fomentar hábitos alimentarios saludables, partiendo de considerar que las percepciones y conocimientos culturalmente construidos influyen en el consumo de alimentos. A partir de lo anterior, se utiliza la educación alimentaria para mejorar la compresión sobre el papel que cumplen los alimentos en la nutrición adecuada y en el proceso vital humano, con el fin de que las personas tengan la posibilidad de tomar decisiones acertadas y aprovechar los recursos existentes de una manera más eficiente.

El programa ReSA desde sus inicios ha logrado beneficiar a más de 3.900.000 personas. A continuación se presenta un cuadro de la cobertura en términos de familias para los últimos años:

Cuadro 11 Cobertura programa RESA 2007-2009-Contratos Firmados-Resultado34

año familias vinculadas a proyectos de seguridad alimentaria - Contratos firmados.

2007 134.404

2008 155.698

2009 100.759

Fuente: SIGOB.

Las familias objeto del programa se caracterizan por ser familias campesinas pequeñas productoras agropecuarias, habitantes del sector rural, o en las cabeceras municipales, en

34 No se incluyen las familias beneficiadas con la Red Juntos.

Page 57: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

57

Alimentación

57

el ámbito nacional, de escasos recursos económicos, con un bajo nivel de escolaridad y un alto índice de necesidades básicas insatisfechas.

En términos de recursos, el programa, para el año en que se realizó la evaluación (2008), contaba con aportes del presupuesto general de la nación, que representan el 91,8%, y recursos de otras instituciones públicas, que representan en 8,2% (entre estas, el Programa Mundial de Alimentos). Para la financiación de los proyectos, el programa trabaja el esque-ma de cofinanciación, donde se buscan complementar los recursos de Acción Social con aportes locales (alcaldía y/o gobernación) y de los operadores.

El presupuesto del programa se ha duplicado pasando de 15.000 millones de pesos en el año 2005 a 29.570 millones en el año 2008. La ejecución presupuestal más alta (98%) se alcanzó en el año 2005 y la más baja en el año 2008 (90%). A continuación se presenta el cuadro del presupuesto para los últimos años:

Cuadro 12 Presupuesto por apropiación y compromisos del programa

(Pesos corrientes)

años apropiación Compromiso

2007 $21.000 millones $18.572 millones

2008 $29.507 millones $28.761 millones

2009 $12.000 millones $11.993 millones

Fuente: Elaboración DEPP con base en SIGOB y SIIF.

deScriPción de la evaluación

La evaluación desarrollada al programa ReSA incorpora una metodología de evaluación ejecutiva en aras de establecer un diagnóstico de la gestión del programa enfocándose en su diseño e implementación.

Este tipo de evaluación permite también ordenar y relacionar la estructura operativa con los insumos, los productos y los resultados, concentrándose en los aspectos operativos e iden-tificando los cuellos de botella.

Para desarrollar la evaluación, se llevó a cabo todo un proceso de revisión documental que se apoyó metodológicamente en un proceso de revisión no documental y de trabajo de campo.

Para el primer caso, se realizó una revisión rigurosa de los documentos del programa de-sarrollados por la coordinación del programa, los asesores del programa, el personal de apoyo de Acción Social, los operadores del programa y la Subdirección de Desarrollo Rural del DNP. Para el segundo caso, se realizaron a nivel territorial una serie de encuestas y en-trevistas a los operadores de proyecto Coordinadores de Unidades Territoriales y a Gestores Evaluadores en Medellín, Tunja, Riohacha, Valledupar, Cartagena, Popayán y Bogotá.

La evaluación da valor agregado al identificar los cuellos de botella de la operación y gene-rar una serie de recomendaciones; permite llevar a cabo una descripción detallada del pro-grama, a partir de la organización y reconstrucción sistemática de la información disponible.

Page 58: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

58

Evaluaciones en equidad: cobertura social

58

Este proceso tiene por objeto hacer evidentes las características del programa que existen en la realidad pero no han sido sistematizadas ni evidenciadas de manera formal.

PrinciPaleS concluSioneS

La evaluación se desarrolla con base a cinco aspectos referentes a la estructura operativa del programa:

Diseño

La evaluación establece que una de las principales fortalezas de ReSA para este ámbito es la contribución y el avance logrado en torno a uno de los temas más relevantes actualmente en el mundo: la seguridad alimentaria y el reconocimiento al derecho a la alimentación como derecho humano fundamental.

En materia de debilidades, para este aspecto, la evaluación afirma que se observa impreci-sión y vacíos en la identificación, diagnóstico y documentación del problema principal que el Programa ReSA pretende solucionar y por el cual ha sido creado. Dicho problema es el bajo autoconsumo de alimentos. El diagnóstico de contexto del problema también es insuficien-te; por lo tanto, se manifiesta una falta de coherencia interna en los diferentes aspectos de diseño del programa, estos son, los objetivos, las actividades que desarrolla efectivamente y los resultados que se reportan en el SIGOB.

Estructura organizacional

En este aspecto, se afirma que el programa cuenta con reconocimiento y aval político. Se observa voluntad política para seguir desarrollando el programa y darle sostenibilidad.

De igual forma a nivel nacional el programa tiene descritas todas las actividades que hacen parte de procesos establecidos. Los asesores nacionales y regionales tienen responsabili-dades asignadas para llevar a cabo dichas actividades y compromiso institucional tanto con Acción Social como con el Programa. El programa ha logrado también establecer una coordinación efectiva con programas de seguridad alimentaria y nutricional en algunos departamentos, y con programas de seguridad alimentaria que llevan a cabo los gremios, algunas fundaciones y ONG.

Manejo operativo

Las fortalezas en el manejo operativo se derivan del hecho que la planeación de las activida-des y los cronogramas están acordes a las necesidades de cada una de ellas. Si bien el nivel nacional no tiene metas de gestión, los proyectos sí las contemplan en su planeación. Así mismo, los procesos de entrega de los componentes son eficientes. Se cumplen los tiempos de entrega programados en los planes operativos y se verifica por medio del seguimiento físico y financiero en la Unidad Territorial de Acción de Social.

Sin embargo, existen vacíos en el diseño de los criterios de selección y priorización de los beneficiarios. Esto se hace evidente en aspectos como el hecho que la selección de los mu-nicipios obedece fundamentalmente a la existencia de operadores dispuestos a cofinanciar los proyectos. Lo anterior no siempre coincide con los municipios con mayor proporción de población en extrema pobreza.

Page 59: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

59

Alimentación

59

Insumos

En materia de recursos, el balance es positivo: en el transcurso de 5 años, 2005 a 2009, el programa ha ejecutado el 97% de los recursos asignados. Los recursos financieros son suficientes para atender los compromisos establecidos para el cumplimiento del plan de acción y están acordes a la capacidad institucional para responder a las metas de cobertura fijadas.

De igual forma, la estrategia de cofinanciación que implementa ReSA permite aunar esfuer-zos financieros para aumentar el número de familias beneficiarias. Sin embargo se convierte en barrera para los municipios que, necesitando el programa, no cuentan con los recursos para hacer cofinanciación.

Los insumos en cuanto a recurso humano, por el contrario, presentan algunas deficiencias, esto en términos de disponibilidad de talento humano para asegurar las actividades y segui-miento a los proyectos.

Productos

Los resultados arrojados por 2 estudios nacionales y 1 en el departamento de Caldas re-portan que los beneficiarios efectivamente implementan el cultivo de alimentos, la cría de especies menores y consumen dichos alimentos. Lo anterior implica la aplicación de los conocimientos adquiridos en las sesiones de motivación y difusión y el uso de los insumos agropecuarios. El problema radica en que la población efectivamente atendida por el pro-grama no coincide completamente con el objetivo general.

Una dificultad puntual en este aspecto es que existen problemas para reportar resultados en torno a la calidad y oportunidad en la entrega de los componentes; esto se evidencia en que no hay estándares de calidad para el desarrollo de los componentes. La evaluación está basada en el criterio del Gestor Evaluador en aquellos proyectos que cuentan con este recurso humano.

Actividades de direccionamiento y control

Los objetivos estratégicos de Acción Social son asumidos por ReSA y están acordes con los objetivos de la nación. El Coordinador Nacional del Programa y los responsables de seguimiento, contratación y evaluación están involucrados en el desarrollo del proceso de direccionamiento estratégico.

Los problemas en este aspecto tienen que ver con las dificultades que se presentan para el seguimiento y monitoreo, ya que ReSA no cuenta con un sistema de información propio y exclusivo para el programa; a la fecha de la evaluación no se habían definido indicadores, medios de verificación y líneas de base para el monitoreo y evaluación de fines y propósitos y hacía falta llevar a cabo un control de calidad de los datos que se ingresan al “Sistema nacional de caracterización de beneficiarios”.

recomendacioneS de la evaluación

Dado que las conclusiones y la estructura de la evaluación se construyen con base a los aspectos de la estructura operativa, las recomendaciones se desarrollan de acuerdo a este orden lógico:

Page 60: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

60

Evaluaciones en equidad: cobertura social

60

Recomendaciones para el diseño

Se propone delimitar el problema, enfocándolo en la inseguridad alimentaria rural, •las dificultades de acceso a los alimentos y el bajo consumo de estos en las familias en condiciones de pobreza en el área rural en Colombia35.

Delimitar el alcance de ReSA como un complemento a las acciones tendientes al res-•tablecimiento de la población en condición de desplazamiento cuando ha logrado retornar.

Es necesario documentar conceptual y metodológicamente el tema de agricultura ur-•bana y el estado actual del autoconsumo de alimentos en las ciudades.

Diagnosticar el contexto del problema analizando los indicadores básicos de la dispo-•nibilidad y acceso a los alimentos, introducir el análisis de determinantes sociales, ana-lizar las causas profundas de la inseguridad alimentaria rural e identificar los territorios de mayor vulnerabilidad.

Se recomienda ajustar el indicador en el SIGOB en términos de la población que atien-•de efectivamente el programa ReSA.

Construir el modelo teórico definiendo claramente de qué manera los componentes •contribuyen a la solución del problema identificado; señalar los beneficios que el pro-grama quiere generar a través de los componentes, y determinar de qué manera influ-ye en los factores determinantes del problema.

Se recomienda incorporar Culinaria Nativa (CUNA) como un componente permanente •en ReSA Rural, incorporando las metodologías de la recuperación de las identidades culturales alimentarias.

Recomendaciones para el manejo operativo

Se recomienda definir claramente, en la Guía de Proyectos ReSA, los criterios y proce-•dimientos para la selección y priorización de las familias más vulnerables.

Diseñar parámetros para definir “pequeño productor”, teniendo en cuenta las diferen-•tes categorías que se dan de acuerdo a las regiones del país.

Diseñar criterios dirigidos a priorizar los municipios con mayor porcentaje de pobreza •rural y revisar el requisito de cofinanciación 50-50.

Complementar el equipo técnico existente en el nivel nacional, con el objetivo exclusivo •de mejorar de manera continua los componentes desde el punto de vista técnico-científico.

35 Con respecto a esta recomendación, la Dirección del Desarrollo Rural en el momento de la evaluación sugirió replantearla, pues es necesario que se analice si ReSA está en capacidad de dar cuenta de todos los aspectos que incluye la seguridad alimentaria rural (tales como disponibilidad, acceso, consumo, aprovechamiento o utilización biológica, calidad e inocuidad de los alimentos) o se debería centrar en algunos de estos aspectos. Es importante reiterar que el autoconsumo se encontraría como uno de los componentes relativos al acceso.

Page 61: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

61

Alimentación

61

Recomendaciones en torno a los insumos

En el nivel nacional, incluir profesionales de las áreas de ciencias humanas y de nutri-•ción para complementar el equipo interdisciplinario.

Sería conveniente aumentar el número de asesores, con el fin de mejorar el seguimien-•to a los proyectos.

Recomendación sobre los productos

Aclarar la clasificación “prevención” en el reporte de resultados del Sistema Nacional •de Caracterización de Beneficiarios, con el fin de mejorar la comprensión de este re-porte, y el análisis de cobertura referida a la población objetivo.

Recomendaciones para las actividades de direccionamiento, evaluación y control

Implementar un sistema de información para el programa con el fin de monitorear el •logro de los fines y propósitos, las metas de cobertura y entrega de los componentes, generando información de calidad, periódica y oportuna que permita la toma de deci-siones informadas y el mejoramiento continuo.

Establecer mecanismos de control de la calidad de la información que se genera desde •los operadores y alimenta la base de datos denominada “Sistema nacional de carac-terización de beneficiarios”.

imPlicacioneS de Política

La evaluación al programa ReSA permitió identificar algunas dificultades en la operación del programa, tomar acciones correctivas y adoptar algunas recomendaciones. Algunas de estas son:

Se ha delimitado el problema, enfocándolo en la inseguridad alimentaria rural, las •dificultades de acceso a los alimentos y el bajo consumo de estos en las familias en condiciones de pobreza en el área rural en Colombia.

Se definieron zonas de intervención de acuerdo con la Directiva Presidencial del Plan •Nacional de Consolidación, zonas de emergencia y priorización señaladas por la Di-rección General en los que no se exige cofinanciación.

En materia de estructura organizacional, se contrataron 5 profesionales para fortalecer •el equipo en 2010.

El sistema de seguimiento y evaluación está en la última etapa de diseño. Se inicia •piloto de implementación para los proyectos desarrollados en el 2010.

El objetivo general y los específicos en la ficha BPIN 2010 se mejoran para la ficha •BPIN de 2011.

Page 62: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

62

Evaluaciones en equidad: cobertura social

62

Ficha técnica de la evaluación

Título de la evaluación Evaluación ejecutiva al Programa Red de Seguridad Alimentaria (ReSA)

Programa evaluado Red de Seguridad Alimentaria (ReSA)

Cobertura del programa Cobertura nacional

Presupuesto del programa 2009: 12.000 millones de pesos

Entidad que contrató la evaluación Departamento Nacional de Planeación

Evaluador Catalina Borda VillegasNohora Milena Martínez López

Costo de la evaluación 43millones de pesos

metodología utilizada Evaluación Ejecutiva

Recolección de la información

Revisión documental y no documental del programa. Realización de encuestas y entrevistas a los operadores de proyecto Coordi-nadores de Unidades Territoriales y a Gestores Evaluadores en los municipios de Medellín, Tunja, Riohacha, Valledupar, Cartagena, Popayán y Bogotá.

duración Octubre de 2008-diciembre de 2008.

Bibliografía

Acción Social. Red de Seguridad Alimentaria (ReSA) en http://www.accionsocial.gov.co/contenido/contenido.aspx?catID=202&conID=162

Departamento Nacional de Planeación. “Informe Final Evaluación Ejecutiva RESA”.

Page 63: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

63

Alimentación

63

EVaLUaCiÓn dE imPaCTO dEL PROGRama dE dEsaYUnOs infanTiLEs COn amOR (dia) dEL insTiTUTO COLOmBianO dE BiEnEsTaR famiLiaR

antecedenteS

La Seguridad Alimentaria y Nutricional (SAN) se refiere a “la disponibilidad suficiente y esta-ble de alimentos, el acceso y el consumo oportuno y permanente de los mismos en cantidad, calidad e inocuidad por parte de todas las personas, bajo condiciones que permitan su ade-cuada utilización biológica, para llevar una vida saludable y activa”36; esta resulta básica para la garantía del derecho a la alimentación y se refleja en aspectos como el estado de salud y nutricional de la población.

La desnutrición es considerada como un indicador de pobreza y exclusión social, y constituye un obstáculo para el desarrollo económico y social del país; de ahí que la reducción del hambre y la desnutrición sean parte de la primera meta de los Objetivos de Desarrollo del Milenio (ODM).

De acuerdo con la Encuesta Nacional de la Situación Nutricio-nal en Colombia (ENSIN) 2005, en los menores de cinco años la desnutrición crónica fue del 12%, la desnutrición global del 7,0 % y la desnutrición aguda del 1,2%. Se observaron dife-rencias en las prevalencias según las zonas y las regiones del país, siendo la zona rural y la región Atlántica las de mayor pre-valencia en retraso en el crecimiento y en desnutrición global. Los departamentos de La Guajira, Boyacá y Nariño presentaron prevalencias de desnutrición crónica superiores al valor del pro-medio nacional37.

La prevalencia de anemia en niños y niñas de 1 a 4 años fue del 33,2% y el grupo de en-tre los 12 y 23 meses alcanzó el 53,2 % de la población. Los resultados demostraron que el área rural presentó el mayor porcentaje de población afectada con un 39,1% versus un 30,8% en población urbana; la región Atlántica mostró la mayor prevalencia: 45,1%38.

La alimentación adecuada durante los primeros años de vida incide directamente en el es-tado de salud así como en la habilidad de los niños para aprender, comunicar, pensar ana-líticamente, socializar efectivamente y adaptarse a nuevos ambientes y personas. También contribuye en la prevención de enfermedades infantiles que pueden dejar secuelas, entre ellas un retraso en el aprendizaje. Más de la mitad de la mortalidad infantil en países de bajos ingresos puede atribuirse a la desnutrición.

Los programas de complementación alimentaria dirigidos a niños en los primeros años de vida conllevan mejoras cuantificables en la adolescencia y en la edad adulta, es decir, cuan-to más pronto se inicien los programas, mejores son los resultados39.

36 Documento Conpes 113 de 2008.37 Encuesta Nacional de la Situación Nutricional (ENSIN) 2005. ICBF.38 Ibídem.39 Manual Operativo Desayunos Infantiles 2005. ICBF.

Fuente: Archivos ICBF .

Page 64: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

64

Evaluaciones en equidad: cobertura social

64

deScriPción del ProGrama

Desayunos Infantiles con Amor (DIA) del ICBF es un programa que beneficia a un millón trescientos veinte dos mil ochocientos diez y siete (1.322.817) niños pertenecientes a familias clasificadas en Sisbén niveles 1 y 2, que se encuentran entre 6 y 71 meses de edad, incluidos algunos niños de poblaciones indígenas, desplazados y afrodescendientes. Su objetivo es mejorar el consumo y aprovechamiento biológico de alimentos de sus beneficiarios, me-diante el suministro de un complemento alimentario y la realización de acciones formativas, de promoción, prevención y atención en salud en los municipios seleccionados.

Dependiendo del rango de edad en el que se encuentren los niños, el programa ofrece dos tipos de desayunos: el Desayuno Tipo I, que consta de un paquete (900 gramos) de bienes-tarina por niño al mes, entregado a las familias con niños entre 6 y 11 meses; y el Desayuno Tipo II, en el cual los niños y niñas reciben un paquete (900 gramos) de bienestarina al mes por niño, una caja de 200 ml de leche ultrapasteurizada enriquecida con hierro y zinc ami-noquelados y ácido fólico y un sólido de base cereal de 30 g, cuyo proceso de cocción sea horneado, igualmente enriquecido con hierro aminoquelado y ácido fólico, para los niños entre 12 y 71 meses de edad. Estos alimentos los recibe periódicamente la persona respon-sable de la alimentación de los niños y niñas, para que le sean suministrados diariamente.

El aporte diario de los alimentos que conforman el Desayuno Tipo II equivale a 372 Kcal/día, 10,2 mg/día de hierro, 5,5 mg/día de zinc y 108 µg/día de ácido fólico, equivalentes a 27,1 %, 113,3%, 114,6% y 112,5% de los requerimientos diarios de calorías y micronutrien-tes, para los niños entre los 1 y 5 años. Los niños y niñas beneficiarios del programa reciben los desayunos 180 días hábiles al año, de lunes a viernes, sin incluir los festivos.

deScriPción de la evaluación

La investigación realizada por el grupo de nutrición del Instituto Nacional de Salud (INS) buscó evaluar el efecto de la intervención del programa de Desayunos Infantiles con Amor (DIA) del ICBF sobre los niños y niñas beneficiarios, a través del método de evaluación de impacto. Adicionalmente se estudiaron algunos aspectos del funcionamiento del programa en variables relacionadas con la distribución y el consumo de los desayunos, y la participa-ción de las familias de los niños y niñas beneficiarios en las organizaciones comunitarias.

La metodología se basó en un muestreo probabilístico, estratificado y bietapico de elemen-tos, utilizando un método cuasiexperimental y dos momentos de evaluación: una línea de base (LB) realizada entre octubre y diciembre de 2004, que contó con un total de 4,173 en-cuestas, y un primer seguimiento (PS) llevado a cabo entre octubre y diciembre de 2005, en el cual se realizaron 4.373 encuestas. Las estimaciones de impacto fueron obtenidas a través de la comparación entre una cohorte de tratamiento y una de control, una muestra tomada en 124 puntos de entrega del programa, de 70 municipios ubicados en 20 departamentos del país (1.217 niños intervenidos40 y 916 grupo control, con información tanto en LB como en PS), a través de un proceso de selección no aleatorio, dado que se controlaron las va-

40 Para el PS de la cohorte intervenida, los niños allí incluidos llevaban entre 14 y 17 meses de exposición.

Page 65: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

65

Alimentación

65

riables observables para garantizar la similitud entre los grupos de estudio en términos de estas características. Finalmente, se hizo necesario incorporar 717 niños intervenidos y 517 no intervenidos al grupo del primer seguimiento, a fin de considerar las pérdidas de muestra dada la movilidad de los niños a otros programas y el desplazamiento.

En cuanto a los métodos de estimación utilizados, se refiere el modelo de diferencias en diferencias, con datos de los grupos tratamiento y control de corte transversal, tipo panel. Se realizó un análisis de intensidad para cuantificar el efecto del tiempo de exposición, a través del método de regresión múltiple controlada por variables no observables y la técnica propensity Scores Matching para validar la robustez de los resultados.

PrinciPaleS concluSioneS

Los resultados más relevantes se refieren a cambios en el bienestar nutricional, el estado del nutriente hierro, el consumo de alimentos y el grado de infestación parasitaria, así como en algunos aspectos de funcionamiento del programa. Los indicadores de interés son el peso para la talla, talla para la edad, niveles de hemoglobina y niveles de ferritina, desnutrición aguda, desnutrición crónica, prevalencia de anemia y déficit de hierro.

El programa de desayunos infantiles del ICBF alcanza resultados incipientes durante 12 meses de exposición a sus beneficiarios en los aspectos relacionados con el bienestar nu-tricional y el estado del nutriente hierro; se resalta el hecho de que los resultados son más evidentes en la mejoría de los niños que tienen desnutrición aguda, anemia o déficit de hie-rro. También se detectaron cambios tanto positivos (cambio en consumo de algunas carnes), como negativos (disminución de leche consumida en el hogar, aumento en las comidas de paquete) en los hábitos alimentarios (Ver cuadro 13).

recomendacioneS de la evaluación

La evaluación propone algunas medidas frente a los lineamientos del programa, a fin de mejorar los resultados y focalizar mejor los impactos41:

Revisar los lineamientos del programa, teniendo en cuenta tanto los resultados de la inter-ventoría como los de la evaluación, para buscar estrategias que permitan el cumplimiento de lo establecido en los mismos o su ajuste según se considere pertinente.

Teniendo en cuenta que la evaluación evidenció el incumplimiento de algunos aspectos cla-ves de los lineamientos del programa, para tener resultados definitivos de la evaluación se sugiere realizar una investigación complementaria, que permita evaluar la evolución duran-te un año del efecto de la operación controlada del programa de desayunos infantiles del ICBF (garantizando el cumplimiento de los lineamientos), en un grupo focalizado de niños y niñas beneficiarios del programa.

41 Cita literal del informe ejecutivo de la evaluación.

Page 66: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

66

Evaluaciones en equidad: cobertura social

66

Cuadro 13. Bienestar Nutricional

indicadora Resulatdos

desnutrición aguda(peso para la talla)

Aunque la reducción fue pequeñab y sería arriesgado aseverar que aumentaría al ampliar el intervalo de evaluación, el estudio muestra que el enflaquecimiento tiende a disminuir a mayor tiempo de intervención del programa.El cambio promedio de Z score de peso para la talla atribuido al programa fue de 0,01 unidades.

Retraso en crecimiento(talla para la edad)

No se encontró ningún cambio en este indicador que fuera atribuible a la inter-vención del programa.

niveles de hemoglobina(corregidos por la altura)

Aunque no son estadísticamente significativosc, se detectaron ligeros cambios en los promedios de hemoglobina en ambos grupos de estudio.En cuanto a la prevalencia de anemia, la cohorte intervenida pasó de 23,5% a 17,4%, siendo estadísticamente significativa.

niveles de ferritina(corregida por PCR)d

Se muestra un impacto positivo del programa en esta variable, puesto que en el grupo tratamiento el promedio de ferritina aumentó al pasar de 26,5 µg/L en la LB, a 27,8 µg/L en PS.En cuanto al indicador de prevalencia de deficiencia de hierro, también disminu-yó al pasar de 11,7% a 10,6%.

Consumo de alimentos(% de familias que ofre-cieron el alimento en los días de la semana antes

de la encuesta)

Respecto al fortalecimiento de hábitos de alimentación saludables, se detectó que 4 de cada 5 niños intervenidos consumen Bienestarina, 30 puntos porcentuales por encima de lo presenciado en el grupo control.En cuanto a los alimentos en los cuales se hace énfasis en el programa, se ob-servó que el porcentaje de niños a quienes se les ofrecen verduras disminuyó, así como la oferta de leguminosase. El consumo de frutas permaneció estable.

infestación parasitaria(% de niños que presen-

tan la condición)

La infestación parasitaria aumentó considerablemente tanto en el grupo control como tratamientof. La infestación más frecuente por un patógeno fue la infesta-ción por Blastocistis hominis, seguida por la giardiasis, la áscaris lumbricoides; estas últimas, aunque prevalecientes, disminuyeron ligeramente.

aspectos de funciona-miento del programa

En este tópico se analizaron variables relacionadas con la distribución y el con-sumo del complemento, así como la participación de las familias de los niños beneficiarios en las organizaciones comunitarias.Las frecuencias de reparto acordadas por beneficiarios fueron de 25% diaria, 22% semanal y 31% mensual, según manifestaron el 90% de los inscritos.Un aspecto muy sobresaliente es que sólo el 10% de los beneficiarios consume sus raciones en el punto de entrega, así como el hecho de que 21% de los niños beneficiarios no consumieron el desayuno por más de un mes seguido en el úl-timo año por razones que atañen a la familia y no al funcionamiento del punto de entrega.Respecto a la participación comunitaria, es particularmente baja, y la mayor pro-porción de esta se encuentra en los grupos de apoyo al programa, que apenas llega a un 2,52%. Frente a la vinculación a otras organizaciones, sólo sobresale la participación en las juntas de acción comunal con un 12,53%.

a Es necesario mencionar que los primeros cuatro indicadores, además de los efectos en el cuadro menciona-dos, se vieron afectados por la edad: los niños de los grupos de menor edad fueron los más afectados (mayor enflaquecimiento, anemia y déficit de hierro).

b La desnutrición aguda pasó de 2,40% a 0,93% en el grupo tratamiento, mientras que en el grupo control se pasó de 1,13% a 1,76%.

c El valor del estimador de diferencias en diferencias (DD) fue de 0,01 g/dl.d Se excluyeron del análisis los niños con PCR > 1,2 mg/dl.e La oferta de verduras pasó de 84% a 78% en el grupo tratamiento, y la de leguminosas pasó de 91,22% a

85,92%.f Pasó de 60% de niños sin infestación parasitaria (patógena o no) a 42,8% en la cohorte intervenida y a sólo

37% en la cohorte de control.

Page 67: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

67

Alimentación

67

Ficha técnica de la evaluación

Título de la evaluación Evaluación de Impacto del Programa de Desayunos Infantiles del Ins-tituto Colombiano de Bienestar Familiar

Programa evaluado Desayunos Infantiles con Amor (DIA) del ICBF

Cobertura del programa1.322.817 niños pertenecientes a familias clasificadas en el nivel 1 y 2 del Sisbén, que tienen entre 6 y 71 meses de edad, incluidos algunos niños de poblaciones indígenas, desplazados y afrodescendientes.

Presupuesto del programa 2009: 137.000 millones de pesos

Entidad que contrató la evaluación Instituto Colombiano de Bienestar Familiar (ICBF)

Evaluador Grupo de Nutrición del Instituto Nacional de Salud (INS).

Costo de la evaluación 180,85 millones de pesos

metodologías utilizadas Método cuasiexperimental, utilizando modelo de diferencias en dife-rencias, regresión lineal múltiple y análisis de frecuencia.

Recolección de información

Línea de base (LB) con un total de 4.173 encuestas y un primer segui-miento (PS) en el cual se realizaron 4.373 encuestas.La muestra fue tomada en 124 puntos de entrega del programa, de 70 municipios ubicados en 20 departamentos del país.

duración de la evaluación Octubre de 2004-junio de 2006

Bibliografía

Departamento Nacional de Planeación. “Política Nacional de Seguridad Alimentaria y Nutri-cional” (Documento Conpes.113). Bogotá, marzo de 2008.

Instituto Colombiano de Bienestar Familiar. “Encuesta Nacional de la Situación Nutricional en Colombia (ENSIN) 2005”. 2005.

Instituto Nacional de Salud. “Evaluación de impacto del Programa de Desayunos Infantiles del Instituto Colombiano de Bienestar Familiar (Grupo de Nutrición, Informe ejecutivo)”. 2006.

Page 68: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

68

1.

15 años del sistema de seguimiento y evaluación en colombia - sinergia: una mirada desde las evaluaciones de política pública más relevantes.

1.

Page 69: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

1. 1.

EdUCaCiÓn BÁsiCa

Page 70: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

7070

Evaluaciones en equidad: cobertura social

EVaLUaCiÓn dE La POLÍTiCa dE GRaTUidad EdUCaTiVa dE La CiUdad dE BOGOTÁ

La educación es un derecho de la persona y un servicio público que tiene una función social: con ella se busca el acceso al conocimiento, a la cien-cia, a la técnica, y a los demás bienes y valores de la cultura (Constitución política de Colombia de 1991, Art. 67)

antecedenteS

Para 1987 se constituyó el plan para la universalización de la educación básica primaria que promovió la cobertura de la población principalmente rural, con la estrategia “Escuela Nueva”; en 1992 se implementó el programa de ampliación de la cobertura y mejoramiento de la educación secundaria que estaba focalizado principalmente a niños y jóvenes de estra-tos socioeconómicos bajos que mostraran buen rendimiento académico. Ambas estrategias fueron cofinanciadas por el Banco Mundial y recursos del presupuesto Nacional (Ramírez y Téllez, 2006).

Pese a los avances obtenidos en materia educativa, a comienzos del siglo XXI aún se mos-traban diferencias al acceso educativo por nivel de ingresos, tasa bruta de cobertura por debajo de la meta, y diferenciales de cobertura por regiones. Pero el gran obstáculo de la política educativa giró hacia la falta de equidad del sistema, en el cual las poblaciones más pobres que vivían en zonas rurales y en urbano-marginales no ingresaban al sistema o gran parte de ellos abandonaban sus estudios por motivos económicos.

Gráfico 12 Tasa de deserción según sector

43,5

32,5

21,5

10,5

0

2004 2005 2006 2007

Oficial No oficial

Porc

enta

je

Fuente: SED, 2009.

La Encuesta de Calidad de Vida de 2003 realizada en el Distrito Capital encontró que una de las principales razones por la cuales se presentaba un mayor reporte de inasistencia escolar era debido a razones económicas de los hogares: aproximadamente el 54% de la población entre los grupos de edad de los 12 a 17 años argüía motivos económicos para no tomar las clases en los planteles educativos. Así, en el informe de rendición de cuentas

Page 71: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

7171

Educación básica

de la Secretaría de Educación del distrito para el año 2009, el panorama en el distrito no había cambiado, ya que la tasa de deserción42 presentó una leve tendencia a incrementarse en especial para el caso de instituciones educativas oficiales, al pasar del 3,2% en el 2004 a 3,6% en el 2007 y en especial, por nivel educativo, la deserción se concentraba con mayor persistencia en la educación secundaria (4,7%) y media (3,9%); es decir, niños, niñas y jóve-nes estaban abandonando sus labores académicas por distintos motivos.

Gráfico 13 Razones de inasistencia según grupos de edad

Fuente: ECV, 2003.

deScriPción del ProGrama

A nivel nacional, la política de gratuidad educativa es una estrategia del sector educativo que tiene como objetivo lograr el acceso y la permanencia escolar a través de la transfe-rencia de recursos financieros a las instituciones educativas estatales, otorgados por cada estudiante atendido en los niveles de preescolar, básica y media, sin que se les haga cobros por derechos académicos (como la matrícula y la pensión) o servicios complementarios (entre los que están los certificados y constancias de estudio, carné estudiantil, agenda y manual de convivencia). El programa ha asignado recursos a través del sistema general de participaciones, para compensar el dinero que las instituciones educativas oficiales dejaron de percibir por la gratuidad educativa en el pago de derechos académicos y servicios com-plementarios, declarada por las entidades territoriales certificadas (CVN, 2010).

En el distrito, la política de gratuidad43 comenzó en el año 2005 bajo la responsabilidad de la Secretaria de Educación del Distrito, focalizada inicialmente para estratos 1 y 2 y luego

42 Razón entre número de estudiantes que abandonan los colegios sobre el total de estudiantes matriculados. Para el Ministerio de Educación Nacional es proporción de alumnos matriculados que durante el año lectivo por diferentes motivos abandonan sus estudios sin haber culminado el grado.

43 La gratuidad es total cuando cubre todos los costos relacionados con matrícula, pensión y suministro de bie-nes y servicios como boletines, manuales de convivencia, carné estudiantil, agenda, manual de convivencia, material didáctico, mantenimiento de mobiliario y equipos y salidas pedagógicas.

Otra

0 20 40 60Porcentaje de personas

Fuerza mayor

Incentivo

Oferta

Económicas

De 12 a 17 años De 7 a 11 años De 5 a 6 años

53,551,430,6

Page 72: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

7272

Evaluaciones en equidad: cobertura social

para estudiantes de los niveles educativos preescolar, primaria y secundaria por medio del Sisbén44. El gobierno local transfiere fondos a los colegios públicos; así, los costos los asume directamente el distrito transfiriendo en promedio un millón 300 mil pesos por cada alum-no desde el preescolar hasta la secundaria. Lo que realmente pagan las familias, una sola vez al año, son los servicios complementarios (carnés, boletines, agenda, material y salidas pedagógicas), lo que representa apenas una fracción mínima del costo de la educación, y se constituye en un pago casi simbólico (Fedesarrollo, 2006). La evolución del programa comenzó eliminando los derechos académicos para educación media en el estrato 1 para el 2005 y Sisbén 1 en el 2006, para luego beneficiar al estrato 2 y Sisbén 2 con el no pago de estos cobros. Así mismo, se eliminaron los cobros por servicios complementarios para los niños en educación preescolar y para la educación primaria y secundaria; estos cobros se eliminaron especialmente para estrato 1 y Sisbén 1.

Cuadro 14 Rubros y periodicidad de pagos

Grandes rubros Periodicidad Ítems

Derechos académicos Anual o mensualMatrícula

Pensión

Servicios complementarios Anual, mensual o cuando ocurra el evento

Boletín de rendimiento escolar

Manual de convivencia

Carnét

Material didáctico

Mantenimiento de mobiliario y equipo

Salidas pedagógicas

Cobros periódicos Mensual Servicio de transporte

Servicio de alimentación

Otros cobros Cuando ocurra el evento

Certificados o constancias

Reposición de carnét

Reposición agenda

Reposición manual de convivencia

Derechos de grado

Fuente: Fedesarrollo (2007).

44 Para educación básica (grados 1-9), los de nivel 1 de Sisbén reciben una reducción del 100% en servicios complementarios, mientras que los de Sisbén 2 en adelante no reciben reducciones. Para grados 10 y 11, los de Sisbén 1 reciben la eliminación de cobros de servicios académicos y complementarios, mientras que los de Sisbén 2 reciben aproximadamente una reducción del 50%

Page 73: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

7373

Educación básica

Gráfico 14 Estudiantes beneficiados con gratuidad total

0100.000200.000300.000400.000500.000600.000700.000800.000

2005 2006 2007 2008 2009

187.321

304.085

647.873 643.640737.916

Fuente: SED (2009).

La articulación de esta política educativa con los programas de Gobierno se reflejó en la adopción de la gratuidad en el Plan Sectorial de Educación 2004-2008 con una inversión cercana a los 60.000 millones de pesos, promoviendo la cobertura universal en el sistema educativo sin que la situación socioeconómica del estudiante fuera un factor que coaccio-nara su participación dentro del sistema. Para el 2009 se llegó a 737.916 beneficiarios de la política de gratuidad, de un universo de 1.020.464 estudiantes registrados en el sistema educativo oficial.

deScriPción de la evaluación

La evaluación de impacto de la política de gratuidad educativa fue finalizada a principios del 2007, con la participación de Felipe Barrera, Leigh Linden y Miguel Urquiola como consulto-res y financiada por un convenio entre Fedesarrollo y la Secretaria de Educación Distrital. El propósito del estudio fue medir los resultados del programa, y, en especial, mostrar el efecto sobre la tasa de matrícula escolar en los niveles de educación básica y media (la variable de impacto es matrícula a colegios públicos).

La metodología implementada fue de regresión discontinua45, la cual toma dos grupos de estudio, uno de control (individuos que no se benefician del programa) por encima de los 22 puntos en Sisbén y otro de tratamiento (individuos beneficiarios) por debajo de los 22 puntos; es decir, los hogares cercanos al punto de quiebre que determina el tratamiento son comparables. Se utiliza una variable que toma un valor de 1 si un individuo accede a gratui-dad, y toma un valor cero si no. La variable discriminante es el puntaje del Sisbén.

45 Esta metodología se basa en que hogares cercanos al punto de quiebre que determina la entrada al progra-ma son similares; por ejemplo, hogares con puntajes entre 10,7 y 11,5 son muy similares. Uno se beneficia de la política de gratuidad y el otro no. Además, se caracteriza porque los estimadores son están sesgados y permiten una mayor efectividad que estimaciones de diferencias en diferencias. En contraste es menos infor-mativo para los hogares con puntajes lejanos a los de referencia.

Page 74: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

7474

Evaluaciones en equidad: cobertura social

La información se obtuvo a partir de las Encuesta Sisbén46 tomadas entre 2004 y 2005; y los datos administrativos de matrícula recolectados por la Secretaría de Educación Distrital (SED), actualizados a octubre de 2006.

PrinciPaleS concluSioneS de la evaluación

Las conclusiones recogen los principales resultados obtenidos en la evaluación, especial-mente sobre los efectos de matrícula en los planteles educativos para la educación básica y media, así como el impacto por género y sus efectos en la reducción de los costos educati-vos. En este contexto, se presentaron impactos significativos en matrícula para la educación básica para estudiantes en Sisbén 1 y para educación media para estudiantes en Sisbén 2. En este caso se incrementó la probabilidad de matrícula básica en aproximadamente un 3 por ciento para los niños de Ssibén 1 y un incremento de cerca del 6 por ciento para los niños del Sisbén 2.

Para los individuos en extra-edad47, el impacto fue más significativo y la probabilidad de matrícula en educación básica y media aumentó más de 4 por ciento y 7 por ciento respecti-vamente. Así, el programa induce a una mayor asistencia de estudiantes tanto en educación básica como media.

En términos de género, la respuesta en matrícula de la población masculina fue aproxima-damente del 4,3 por ciento en educación básica, sin efectos en la población femenina para este nivel de educación. En contraste, la respuesta del género femenino fue de 7,6 por ciento en educación media, sin respuesta alguna para los hombres en este nivel educativo.

Se pensó que el aumento de estudiantes matriculados correspondía al paso de estudiantes de colegios privados a colegios públicos, para recibir los beneficios de la política de gra-tuidad. Pero el estudio no encontró evidencia de esto, por lo que se induce una mayor asis-tencia de estudiantes en educación básica y media, para instituciones tanto públicas como privadas.

Aún con los efectos de reducción de los costos de educación para grupos de educación bási-ca y media a través de la ejecución de la política de gratuidad, todavía persisten diferencias en costos educativos, generados por diferencias en cobros por parte de los colegios (como es el caso de los costos de transporte y uniformes) o diferencias en cobros entre colegios públicos y privados (Fedesarrollo, 2007: 15).

El programa en Bogotá es novedoso al focalizar por medio de un instrumento como el Sisbén; en este sentido, los problemas de exclusión son bajos y en algunos casos no se detectan.

recomendacioneS de la evaluación

Los resultados que arroja la evaluación sugieren la necesidad de hacer estudios posterio-res sobre la razón costo-beneficio del programa, debido a que con la información que se

46 Los datos levantados son a nivel individual, donde se involucra información demográfica como el género, la edad, el logro educativo de cada individuo; así mismo se conoce información sobre si las personas asisten o no a un centro educativo, su participación laboral e ingresos.

47 Niños, niñas y jóvenes que asisten al nivel educativo, por fuera del ciclo que les corresponde según su edad.

Page 75: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

7575

Educación básica

obtuvo no se puede determinar si un programa de transferencias condicionadas genera un mayor impacto a un menor costo.

Por los datos y diseño de la evaluación es crítico investigar cómo varía la respuesta de matrícula a diferentes montos del programa, por lo cual sería útil contar con información administrativa y de encuesta que permita estimar qué compensación reciben los hogares y qué descuentos experimentan efectivamente.

imPlicacioneS de Política

A raíz de las recomendaciones y del balance positivo en términos generales de la política de gratuidad, el Distrito para el periodo 2008-2011 adopta “Educación de calidad para una Bogotá Positiva”. Una de las apuestas de la administración distrital es la “Gratuidad educativa, ganancia para todos”, con la que se pretende avanzar en la gratuidad para los estudiantes del sector educativo oficial desde el grado prejardín hasta el grado 11. Para esto la meta propuesta al 2012 es que 1.086.000 estudiantes de los colegios oficiales, incluidos 183.514 matriculados en colegios en concesión y convenio, accedan y permanezcan en el sistema educativo sin costo alguno (Plan Sectorial 2008-2012).

Ficha técnica de la evaluación

Título de la evaluación Evaluación de la Política de Gratuidad Educativa de la Ciudad de Bogotá

Programa evaluado Cobertura en educación preescolar, básica y media

Cobertura del programa Territorio nacional

Presupuesto del programa 2009: 528 mil millones de pesos

Entidad que contrató la evaluación Secretaría de Educación Distrital

Evaluador Fedesarrollo

Costo de la evaluación N.D.

metodología utilizada Regresión de discontinuidad

Recolección de la informaciónLos datos proviene de dos fuentes:Encuesta SISBEN actualizada al 2005.•Encuesta de matrícula actualizada a octubre de 2006.•

duración N.D.

N. D.: No Disponible

Page 76: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

7676

Evaluaciones en equidad: cobertura social

Bibliografía

Fundación para la Educación Superior y el Desarrollo (Fedesarrollo). “Evaluación de la polí-tica de Gratuidad Educativa de la Ciudad de Bogotá”. 2007.

Fundación para la Educación Superior y el Desarrollo (Fedesarrollo). “Análisis de las políticas de educación, salud y vivienda del nuevo Plan de Desarrollo de Bogotá”. 2006.

Secretaría de Educación del Distrito Capital. “Informe de Rendición de cuentas2009-Sector educación”. 2009.

Secretaría de Educación del Distrito Capital. “Estadísticas Sector Educativo de Bogotá”. 2008.

Secretaría de Educación del Distrito Capital. “Plan Sectorial de Educación 2008-2012, Edu-cación de calidad para una Bogotá positiva”. 2008.

Ministerio de Educación Nacional y Centro Virtual de Noticias (http://www.mineducacion.gov.co/cvn/1665/article-219563.html, recuperado en marzo de 2010).

Ministerio de Educación Nacional. “Programa Educación para Todos: Evaluación del año 2000” (en http://www.unesco.org/education/wef/countryreports/colombia/contents.html#co, recuperado en 2000).

Ramírez, M. y Téllez, J. “La educación primaria y secundaria en Colombia en el siglo XX” (en http://www.banrep.gov.co/docum/ftp/borra379.pdf, recuperado en 2006).

Page 77: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

7777

Educación básica

EVaLUaCiÓn dE LOs mOdELOs imPLEmEnTadOs POR EL PROGRama naCiO-naL dE aLfaBETiZaCiÓn Y EdUCaCiÓn BÁsiCa dE JÓVEnEs Y adULTOs dEL

minisTERiO dE EdUCaCiÓn naCiOnaL

antecedenteS

Con el ánimo de colaborar para que se presente un mejor desarrollo de los conocimientos, destrezas y habilidades necesarias en el mundo laboral y de recuperar los saberes, las prác-ticas y las experiencias de los adultos para que estas sean utilizadas representativamente dentro del proceso de formación integral, se lleva a cabo el convenio administrativo 384 de 2007 entre el Ministerio de Educación Nacional (MEN) y la Universidad Nacional de Colombia.

El convenio busca evaluar la conveniencia de los modelos de alfabetización indicados por el ministerio (ABC, Geempa, Cafam, Transformemos, A Crecer), considerando elementos claves como la fundamentación teórica y la didáctica del modelo, además de la capacidad operativa del MEN.

Cuadro 15 La tasa de alfabetización en Colombia se ha comportado en los últimos años

de la siguiente manera:

año Tasa de alfabetización (%)

2000 91,3

2001 91,3

2002 91,3

2003 92,5

2004 92,5

2005 92,5

2006 92,5

2007 92,8

2008 92,8

2009 90,4

Fuente: Tomado en INDEXMUNDI. Acceso en http: //www.indexmundi.com/g/g.aspx?c=co&v=39&l=es.

deScriPción del ProGrama

El objetivo del Programa Nacional de Alfabetización de Jóvenes y Adultos es apoyar a las entidades territoriales certificadas en el proceso de formación del joven y el adulto iletrado en competencias básicas del lenguaje, matemáticas, ciencias sociales y naturales, y com-petencias ciudadanas, integrando de manera flexible las áreas del conocimiento y la for-mación establecidas en el Ciclo Lectivo Especial Integrado, CLEI 1 de educación de adultos, correspondientes al grado tercero de educación básica primaria.

La estrategia definida por la Revolución Educativa es contratar a los operadores de progra-mas de alfabetización para aplicar modelos pedagógicos diseñados especialmente para

Page 78: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

7878

Evaluaciones en equidad: cobertura social

alfabetizar y brindar educación básica a jóvenes y adultos, además que cuenten con cober-tura nacional, con capacidad pedagógica, administrativa y operativa para implementar el Programa Nacional de Alfabetización.

Los modelos seleccionados por el MEN hacen parte del portafolio de los programas que han venido adquiriendo el reconocimiento de este mismo ministerio para población vulnerable, teniendo como ventajas lograr una mayor motivación para el acceso, la permanencia y la culminación del proceso y disminuyendo los riesgos de la deserción.

La estrategia definida por la Revolución Educativa es contratar a los operadores de progra-mas de alfabetización para aplicar modelos pedagógicos diseñados especialmente para alfabetizar y brindar educación básica a jóvenes y adultos, que cuenten con cobertura na-cional, materiales educativos propios, estructura pedagógica, administrativa y operativa de-mostradas, para implementar Programas de Alfabetización y Educación Básica para adultos que conducen y permiten la escolarización de los jóvenes y adultos.

El Programa de Alfabetización y Educación Básica y Media de Jóvenes y Adultos busca vin-cular a jóvenes y adultos iletrados mayores de 15 años a los diferentes ciclos y niveles de la educación básica, como requisito para promover el mejoramiento de las condiciones de vida de la población más necesitada48.

De igual forma, los modelos educativos del programa de alfabetización y educación básica de jóvenes y adultos han permitido a los operadores del Ministerio de Educación Nacional (Visión Social, Fundación Carvajal, Fundación Transformemos, CAFAM, Corporación Com-prende y FUCAI) tomar decisiones que repercutan en la reducción de los índices de analfa-betismo en el país.

De los componentes que configuran los cinco (5) modelos existentes, se buscan evaluar tres (3):

Los materiales de cada uno de los modelos utilizados para alcanzar los estándares •establecidos por el Ministerio de Educación Nacional para el primer ciclo (hasta tercer grado de la educación básica) en cada una de las áreas: Lenguaje, Matemáticas, Cien-cias Naturales, Sociales y Competencias Ciudadanas.

Los modelos en función de su conveniencia y ajuste a las características de la población •a la que se dirigen.

La capacidad institucional de los seis (6) operadores (Visión Social, Fundación Carvajal, •Fundación Transformemos, Cafam, Corporación Comprende y FUCAI) para aumentar la cobertura de sus programas.

Algunas de las características que diferencian a estos modelos son49:

48 Recientemente, los logros de esta iniciativa fueron reconocidos por el Centro Internacional de Formación de Autoridades y Líderes de Atlanta (CIFAL), al entregar el Premio América 2009 en la categoría de Premio al Liderazgo en Educación a la ministra de Educación colombiana, Cecilia María Vélez White, el pasado 31 de agosto. Los Premios América 2009 son otorgados a funcionarios de gobiernos nacionales y locales que han implementado, de forma exitosa, programas y mejores prácticas que conlleven al cumplimiento de los Objetivos de Desarrollo del Milenio de las Naciones Unidas.

49 Universidad Nacional de Colombia. “Informe final: Evaluación de los modelos implementados por el progra-ma nacional de alfabetización y educación básica de jóvenes y adultos del Ministerio de Educación Nacio-nal”. Bogotá, 2008.

Page 79: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

7979

Educación básica

Sólo A Crecer y Transformemos ofrecen de forma evidente los grados 1, 2 y 3, con •material para el perfeccionamiento de las cuatro (4) áreas académicas primordiales (lenguaje escrito, matemáticas, ciencias naturales y sociales); Cafam, Geempa y ABC, son bosquejos de alfabetización primordial muy corta, enfocados principalmente en las áreas básicas de lectura, escritura y matemáticas elementales.

Cafam no se conforma con la oferta de alfabetización elemental, pues esta se con-•vierte en la introducción a un desarrollo curricular más amplio que brinda, dentro del mismo proyecto, una formación para los adultos buscando que estos completen estudios primarios, secundarios y profesionales. Crecer brinda posibilidades de con-tinuar con los grados 4 y 5, y Transformemos plantea la posibilidad de continuar la educación básica, aunque en las experiencias visitadas sólo se conocen materiales para los grados 1, 2 y 3.

Los modelos han sido creados concretamente para la formación de jóvenes y adultos, •exceptuando a Geempa, cuyos materiales fueron esbozados para población infantil.

Transformemos y A Crecer brindan la posibilidad de adaptar sus diseños a contextos •regionales específicos; Cafam, Geempa y ABC, por el contrario, cuentan con diseños estandarizados para todo el país. Sin embargo, solamente el modelo de Cafam cuenta con cobertura nacional.

El presupuesto anual del programa de alfabetización y educación básica de jóvenes y adul-tos es el siguiente:

Cuadro 16 Recursos de inversión para el programa de alfabetización y educación básica de

jóvenes y adultos (presupuesto Asignado 2007- 2010)(millones de pesos corrientes)

año Presupuesto

2007 17.000

2008 29.100

2009 30.000

2010 14.431

Fuente: SUIFP-DNP.

Finalmente, cabe resaltar que una de las principales fortalezas del programa alfabetizador desarrollado en Colombia radica en que este no sólo se fija como meta brindar soluciones para la situación actual, sino que también busca dejar capacidad instalada para cubrir las necesidades futuras, aspecto que se logra mediante la formación de docentes y la adecua-ción de instituciones educativas dedicadas a la alfabetización.

Otra de las características de este programa es que, a través de él, el Ministerio de Edu-cación entrega los recursos económicos a las secretarías de educación por cada alumno atendido en los ciclos del 2 al 6 (de cuarto de primaria a grado 11), lo que permite que quienes deseen continuar su formación en los diferentes niveles educativos puedan hacerlo de manera gratuita. Paralelamente, el ministerio prioriza los recursos para el ciclo 1 (de

Page 80: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

8080

Evaluaciones en equidad: cobertura social

primero a tercero de primaria), teniendo en cuenta a las entidades territoriales con mayores tasas de analfabetismo.

La idea del siguiente cuadro es dar elementos para afirmar en el comunicado que una de las fortalezas del programa es promover y lograr que las personas que se alfabetizan puedan continuar sus estudios en el ciclo 2 de educación de adultos, correspondiente a los grados 4 y 5 de primaria.

Cuadro 17 Evolución de la matrícula total por grado

2003 2004 2005 2006 2007 2008 2009

C1 32.035 37.276 92.746 151.244 197.070 264.111 200.189

C2 22.759 29.502 44.280 79.795 96.833 129.841 207.986

C3 68.222 103.393 126.832 157.672 168.227 175.384 0

C4 67.791 109.876 124.185 149.703 152.570 152.276 0

C5 60.611 94.733 105.687 119.481 127.422 112.121 0

C6 17.920 40.677 42.579 52.174 59.103 53.384 0

Total 269.338 415.457 536.309 710.069 801.225 887.117

Fuente: Ministerio de Educación Nacional.

deScriPción de la evaluación

La evaluación de los modelos implementados por el programa nacional de alfabetización y educación básica de jóvenes y adultos del Ministerio de educación Nacional fue llevada a cabo por la Universidad Nacional de Colombia en los años 2007 y 2008 con tres propósitos fundamentales50:

Impulsar el desarrollo ambiental, social y comunitario, fortaleciendo el ejercicio de una •ciudadanía moderna, democrática y tolerante, de la equidad de género, los derechos humanos y el respeto a las características de las poblaciones especiales.

Colaborar en el perfeccionamiento de conocimientos, destrezas y habilidades relacio-•nadas con las necesidades del mercado laboral.

Recobrar los saberes, prácticas y experiencias de los adultos para que sean asumidas •significativamente dentro del proceso de formación integral.

Para lograr unos buenos resultados, se decidió dividir el estudio en tres (3) tipos de evalua-ción. En primer lugar, se llevó a cabo una evaluación de la eficacia de los modelos para el logro de los estándares contemplados por el Ministerio de Educación Nacional, para lo que se realizó un intenso trabajo de campo. Luego, se evaluó la pertinencia y adecuación de los programas a las características de la población desde un punto de vista cultural, con base en los objetivos generales para el desarrollo de capacidades ciudadanas instauradas por el Ministerio y, por último, se evaluó la capacidad institucional de los operadores.

50 Ibídem.

Page 81: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

8181

Educación básica

Los tres (3) elementos de la evaluación (estándares, cultura e institucional) fueron llevados a cabo de manera simultánea y necesitaron de tres (3) actividades primordiales:

Reuniones y entrevistas con los operadores en su sede central.•

Exploración de los materiales de cada modelo y de los manuscritos institucionales de •los operadores.

Trabajo de campo.•

Gráfico 15 Levantamiento y utilización de la información

Información utilizada

Reuniones y entrevistascon los operadores

Trabajo de campo

Exploraciones de los materialesde los modelos y de los

manuscritos institucionales delos operadores

Análisis de los datos

Conclusiones yrecomendaciones

Fuente: Universidad Nacional de Colombia. “Informe Final: Evaluación de los modelos implementados por el programa nacional de alfabetización y educación básica de jóvenes y adultos del Ministerio de Educación Na-cional”. Bogotá, 2008.

Después de recogidos los datos, por medio de las actividades mencionadas, se realizó un análisis de estos y posteriormente se formularon recomendaciones y conclusiones a cada uno de los modelos, así como al Ministerio de Educación Nacional.

Los tres (3) componentes fueron evaluados en nueve (9) regiones en las que se han imple-mentado o se están implementando alguno de los modelos. Para cada uno de los compo-nentes, se visitaron las siguientes regiones:

Componente estándares: Arauca, Huila, Chocó y Valle del Cauca.•

Componente cultura: Magdalena, Norte de Santander, Santander, Chocó y Valle del •Cauca.

Componente institucional: La Guajira, Norte de Santander, Santander, Risaralda y Valle •del Cauca.

Page 82: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

8282

Evaluaciones en equidad: cobertura social

PrinciPaleS concluSioneS

Para cada uno de los componentes (estándares, cultura e institucional), las conclusiones son las siguientes:

Componente estándares:•

Algunos de los estándares acordados para los menores (grados 1, 2 y 3 de prima- »ria) suelen ser inapropiados para evaluar a jóvenes y adultos que se encuentran en proceso de alfabetización y/o re-alfabetización.

Los jóvenes y adultos, aunque especialmente estos últimos, poseen conocimientos »que han desarrollado a través de su experiencia de vida relacionados con temas como la ubicación espacial y las matemáticas. Es por ello que la alfabetización elemental de los adultos y los menores debe diferenciarse más. El nivel esperado del desarrollo del conocimiento académico entre adultos y niños debe ser, por esto mismo, diferente.

Todos los programas de alfabetización deberían ser cambiados poco a poco por »los de educación continua con el fin de lograr una educación básica primaria completa.

Son escasos los estudios sobre las condiciones afectivas y el desarrollo académico »de los jóvenes y adultos que sean alumnos potenciales de estos programas.

Componente cultural:•

Los cinco (5) modelos cuentan con un reconocimiento admisible de la variedad »étnica y racial existente en el país.

Los modelos generan a la sociedad una buena utilización de lo aprendido desde »las dimensiones individual y colectiva.

Existen más aciertos que problemas en la adecuación de los modelos ante las ca- »pacidades de los estudiantes.

Existen síntomas de una buena promoción de los componentes mínimos de una »cultura deseable en términos de desarrollo humano.

Con la excepción de A Crecer, los otros modelos presentan una ausencia o debi- »lidad en las consideraciones y prescripciones para el desarrollo del sentido crítico de los estudiantes.

Ningún modelo contiene lineamientos y habilidades concisas para que se presente »una participación de los estudiantes en los procesos de autoevaluación y rediseño del modelo pedagógico en sí.

Componente institucional:•

Es necesario que se lleven a cabo acciones por parte de los operadores para que »el prestigio de estos mismos se construya a partir del intercambio de conocimien-tos y de la retroalimentación con la población, líderes comunitarios e instituciones públicas y privadas.

Deben llevarse a cabo procesos administrativos y pedagógicos, una gestión estraté- »gica del proceso educativo, seguimiento y evaluación, y una gestión interinstitucio-nal por parte del operador, con seguimiento por parte del ministerio, acompaña-

Page 83: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

8383

Educación básica

miento de la Secretaría de Educación respectiva y de instituciones de carácter social y pedagógico que estén en condiciones de hacer acompañamiento al operador, para que así se obtengan buenos resultados en el proceso de alfabetización.

Con el fin de mejorar los procesos de alfabetización, debe existir una escuela en »el sitio de aprendizaje que colabore brindando un acompañamiento pedagógico a los maestros encargados.

recomendacioneS de la evaluación

Así como en las conclusiones, las recomendaciones se entregaron de acuerdo con el compo-nente que estaba siendo evaluado. Las principales para cada componente fueron:

Componente estándares:•

Se recomienda integrar las áreas de los modelos para así contar con un tratamiento »único de los grados.

Es necesario que los grupos de estudiantes trabajen a la par, para que así no se gene- »ren rezagos y por ende subdivisiones que generen más trabajo y menos eficiencia.

Es fundamental que, después de completar la alfabetización básica, los alumnos »tengan opciones para continuar su aprendizaje. Es por ello que se recomienda que los modelos tengan opciones para cumplir con esta demanda.

Los modelos deben fomentar el entusiasmo y la mística de los docentes, transfor- »madores y/o facilitadores para con los estudiantes, ya que esto genera un vínculo más fuerte con los representantes de los operadores y, por ende, menos problemas administrativos.

Componente cultural:•

Es conveniente que el Ministerio de Educación Nacional defina lineamientos para »escoger de una manera más indicada los maestros y maestras del programa, te-niendo en cuenta que, como se vio en el análisis, este es uno de los factores prin-cipales que influyen en la satisfacción, motivación y permanencia en el programa de los estudiantes.

Se debe continuar con la innovación de los procesos de alfabetización electrónica »desde los colegios, para que así estos puedan irse introduciendo en el programa gracias al carácter institucional de la política del MEN.

Fortalecer los procesos de capacitación y seguimiento pedagógico tanto para los »maestros como para los estudiantes, ya que, según los análisis realizados, estos son poco intensivos y muy diferentes a los realizados en la educación formal desarro-llada en los colegios.

El Ministerio debería fomentar una mayor cooperación entre los diferentes modelos »para que así estos puedan fortalecerse con las experiencias vívidas por los otros.

Los modelos deben enfocarse en mejorar la dimensión de reconocimiento de la »variedad cultural de la población.

Implementar lineamientos y prácticas claras que permitan la participación de los »estudiantes en los procesos de autoevaluación y rediseño del modelo pedagógico.

Page 84: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

8484

Evaluaciones en equidad: cobertura social

Componente institucional:•

Es necesario que los operadores tengan un centro de operaciones, desde el que »puedan direccionar su trabajo, monitorear procesos e identificar los problemas que existen en el terreno para solucionarlos de una manera adecuada.

Se recomienda contar con organigramas específicos que informen acerca de las »relaciones laborales, de investigación, comunicación, seguimiento, formación, ges-tión, etc., que se materializan en el marco contractual con el MEN.

El tiempo de ejecución de los ciclos de formación (actualmente está entre 3 y 6 »meses) debería ser ampliado, con el fin de lograr las metas propuestas en los con-tratos y dar una respuesta adecuada a las demandas que existen en los procesos de educación de adultos.

imPlicacioneS de Política

La evaluación realizada busca mejorar el proceso que llevan a cabo los modelos certifi-cados por el Ministerio de Educación Nacional (ABC, Geempa, Cafam, Transformemos, A Crecer) en el programa nacional de alfabetización y educación básica de jóvenes y adultos. Esta evaluación sirvió para que el programa pudiera ser mejorado y se consolidaran unos presupuestos asignados para tal fin, lo que al final contribuyó para que los índices de anal-fabetismo en el país en los últimos años se redujeran51.

Ficha técnica de la evaluación

Título de la evaluaciónEvaluación de los modelos implementados por el Programa Nacional de Alfabetización y Educación Básica de Jóvenes y Adultos del Ministerio de Educación Nacional.

Programa evaluado Programa Nacional de Alfabetización y Educación Básica de Jóvenes y Adultos.

Cobertura del programa Nacional

Presupuesto del programa N.D.

Entidad que contrató la evaluación Ministerio de Educación Nacional

Evaluador Universidad Nacional de Colombia

Costo de la evaluación 300 millones de pesos

metodologías utilizadas

Reuniones y entrevistas con los operadores en su sede central.•Exploración de los materiales de cada modelo y de los manus-•critos institucionales de los operadores.Trabajo de campo.•

Recolección de la información9 regiones (Barranquilla, Barrancabermeja, Cali, Neiva, Arau-ca, Quibdó, Norte de Santander, Santa Marta, Pereira y Rio-hacha).

duración 2007 y 2008.

51 Ministerio de Educación Nacional. “Colombia aprende: La red del conocimiento” (en http://www.colombia-aprende.edu.co/html/home/1592/article-87743.html, recuperado el 25 de marzo de 2010).

N. D.: No Disponible

Page 85: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

8585

Educación básica

Bibliografía

Indexmundi (en http: //www.indexmundi.com/g/g.aspx?c=co&v=39&l=es , recuperado el 29 de marzo de 2010).

Ministerio de Educación Nacional. “Colombia aprende: La red del conocimiento” (en http://www.colombiaaprende.edu.co/html/home/1592/article-87743.html, recuperado el 25 de marzo de 2010).

Universidad Nacional de Colombia. “Informe Final: Evaluación de los modelos implementa-dos por el programa nacional de alfabetización y educación básica de jóvenes y adultos del Ministerio de Educación Nacional”. Bogotá, 2008.

Page 86: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

8686

Evaluaciones en equidad: cobertura social

HaCia Una mEJOR EdUCaCiÓn RURaL: imPaCTO dE Un PROGRama dE in-TERVEnCiÓn a Las EsCUELas En COLOmBia

antecedenteS

Durante el período comprendido entre 1985 y 2003, el crecimiento de la población co-lombiana se estimó en once millones de habitantes en zonas urbanas y un millón en zonas rurales. Según un estudio de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (Unesco), este acelerado proceso de urbanización del país a través de la migración de la población campesina hacia las ciudades se debe, entre otros factores, al ajuste que enfrentó el sector agropecuario en el contexto de la globalización, al aumento de la pobreza rural y a la intensificación del conflicto armado en estas regiones.

Una consecuencia directa de las anteriores circunstancias fue el crecimiento sostenido de la pobreza rural a lo largo de los noventa, que pasó del 68% a comienzos de la década, a cerca del 83% a finales, con un incremento de 10 puntos porcentuales en relación con su contraparte urbana52. Estas diferencias sectoriales se evidencian al observar algunos indica-dores de desarrollo humano presentados en el Informe Nacional de Desarrollo Humano del Programa de las Naciones Unidas para el Desarrollo (PNUD) (2003: 40), según los cuales: “Los habitantes de las zonas rurales viven, en promedio, alrededor de dos años menos que los de la zona urbana [...] En cuanto al ingreso per cápita, el de la zona urbana es más de dos veces superior”. A su vez, la falta de acceso a servicios adecuados de educación, salud y nutrición, consecuencia del estado de pobreza en el que se encuentra la población rural, no les otorga las condiciones necesarias para salir de ella.

La educación en Colombia ha sido consagrada como un derecho constitucional que debe garantizar el Estado. La Ley 115 de 1994 define la educación como “un proceso de forma-ción permanente, personal, cultural y social que se fundamenta en una concepción integral de la persona humana, de su dignidad, de sus derechos y de sus deberes”.

En cuanto a la educación para la población rural, el estudio de la Unesco corrobora el au-mento de las tasas de alfabetismo, escolaridad promedio y asistencia escolar durante los noventa y parte de lo corrido el siglo XXI. En materia de calidad, las escuelas y estudiantes rurales han mostrado avances importantes, los cuales se deben principalmente a la expan-sión y consolidación de modelos educativos concebidos para estas zonas, como es el caso de Escuela Nueva y el Sistema de Aprendizaje Tutorial (SAT), entre otros53. No obstante, la magnitud de la brecha educativa del sector rural con su contraparte urbana es aún bastante alta, con lo cual los avances mostrados no han sido suficientes para asegurar el mandato constitucional de ofrecer educación a toda la población colombiana.

52 FAO & Unesco (2004: 167).53 Ibídem, p. 168.

Page 87: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

8787

Educación básica

Entre otros datos preocupantes, Organización de las Naciones Unidas para la Agricultura y la Alimentación, FAO & UNESCO (2004) calculan que la quinta parte de la población rural del país mayor de 15 años no sabía leer ni escribir a comienzos de los noventa, y que al terminar la década fue de 17,5%, es decir se redujo en menos de 3 puntos porcentuales la tasa de analfabetismo rural en este período. Por otra parte, la escolaridad promedio de la población rural mayor de 15 años aumentó en menos de un año durante este período, al ubicarse en 4,4 años, sin alcanzar a cubrir el ciclo completo de primaria. En las zonas urbanas, por su parte, la escolaridad de la población aumentó el doble, mientras que el balance de los noventa indica que la brecha en la escolaridad urbana y rural aumentó de tres a cuatro años.

deScriPción del ProGrama

Los programas educativos alrededor del mundo se clasifican en dos categorías: programas de subsidios a la demanda y programas de subsidios a la oferta. Los primeros están basados en la entrega de cierta suma de dinero a los hogares a condición de que los niños y jóvenes asistan a las escuelas. Por otro lado, los programas de subsidios a la oferta buscan mejorar las características de los colegios a través de mayor gasto en insumos como material educa-tivo, capacitación docente o mejoramiento de la infraestructura.

El Proyecto de Educación Rural (PER) iniciado en 2000 con el apoyo del Banco Mundial es un programa de subsidios a la oferta que constituye una de las estrategias del Gobierno para mejorar el acceso a la educación básica y media con calidad en las áreas rurales del país. Específicamente, fue planteado para diseñar y ejecutar proyectos educativos en instituciones rurales a fin de alcanzar cuatro objetivos principales54: i) aumentar la cobertura y calidad educativa en el sector rural para la población entre los 5 y 17 años (desde preescolar hasta básica y secundaria); ii) fortalecer la capacidad de gestión de los municipios e instituciones educativas en la identificación de necesidades, manejo de información, planeación y eva-luación a través de la descentralización de los procesos administrativos de la educación y la incorporación del sector privado a las distintas instancias bajo un esquema de alianzas estratégicas; iii) mejorar las condiciones de convivencia en el sector, especialmente en la institución educativa y; iv) diseñar mecanismos que permitieran una mejor comprensión de la situación de la educación media técnica rural.

De acuerdo con las necesidades de cada municipio, las Unidades Operativas Municipales (UOM) podían escoger entre nueve grupos de modelos educativos flexibles distintos para la formulación de sus proyectos. Los objetivos y principales características de cada uno de ellos se presentan a continuación.

54 El Documento Conpes 3056 del 10 de noviembre de 1999 resalta las características básicas del funciona-miento, focalización y objetivos del programa. Además, autorizó el primer préstamo de USD$20 millones con el Banco Mundial para dar origen al proyecto.

Page 88: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

8888

Evaluaciones en equidad: cobertura social

Cuadro 18 Modelos educativos impulsados por el PER

modelo Población objetivo material educativo

Aceleración de Aprendi-zaje (Brasil)

Niños de básica primaria en ex-traedad

Módulos educativos, capacitación al docente, biblioteca.

Escuela Nueva Educación básica primaria con multigrados

Módulos educativos, bibliotecas básicas, ca-pacitación docente.

Posprimaria Básica secundaria articulada al entorno rural y flexible

Módulos educativos, casetes, laboratorios, bi-bliotecas específicas, capacitación docente.

Telesecundaria (México) Básica secundaria articulada que permita aumentar la cobertura

Módulos educativos, TV y VHS, videos, biblio-tecas específicas, capacitación docente.

Servicio de Educación Rural (SER)

Personas mayores a 13 años sin ninguna educación Módulos educativos, capacitación al docente.

Preescolar (escolarizado o no escolarizado) Niños menores de seis años Módulos educativos, capacitación al docente

Sistema de Aprendizaje Tutorial (SAT)

Jóvenes y adultos trabajadores que buscan terminar educación básica y media

Módulos educativos, capacitación de tutores.

Programa de Educación Continuada – CAFAM

Personas mayores a 13 años sin ninguna educación

Módulos educativos, pruebas que permiten determinar nivel de escolaridad, juegos, eva-luaciones, capacitación.

EtnoeducaciónEstudiantes de grupos étnicos que permitan interculturalidad en la educación.

Módulos educativos, capacitación de tutores.

Fuente: CEDE (2007, p. 7).

El proyecto tendría una duración de diez años y se programó para ser implementado en tres etapas, la primera de tres años, y las restantes de tres años y medio cada una. La primera etapa, “de implementación y aprendizaje” (2000-2003), la segunda etapa, de “expansión y sostenibilidad”, y la tercera y última etapa, de “expansión y consolidación”. El costo total del programa asciende a US$120 millones, de los cuales el 50% es aportado por el Banco Mundial y el monto restante es financiado por el Gobierno nacional (37%) y las regiones beneficiadas (13%). Los recursos se repartieron entre los cuatro objetivos de manera tal que el aumento de cobertura con calidad absorbe la mayor parte (62,5%), mientras que a los restantes tres objetivos se les asigna respectivamente el 16,3%, el 11,3% y el 10% de aquellos. Con el objetivo de asegurar un manejo transparente y eficiente de los recursos, se nombró al Instituto Interamericano de Cooperación para la Agricultura (IICA) como agente cooperante55.

La cifra de inversión total del PER en los componentes de matrícula, eficiencia y calidad a marzo de 2006 fue de $101.100 millones de pesos y el número de alumnos atendidos en las sedes focalizadas asciende a 459.666.

deScriPción de la evaluación

Utilizando información censal de las sedes educativas rurales de Colombia, el Centro de Estudios de Desarrollo Económico de la Universidad de los Andes (CEDE), mediante contrato

55 CEDE (2007, p. 3).

Page 89: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

8989

Educación básica

de consultoría establecido con el Ministerio de Educación, evaluó el impacto que tuvo el PER en las tasas de eficiencia (cobertura, reprobación, aprobación y deserción) y calidad de la educación en las sedes intervenidas.

La evaluación, en vez de recurrir a muestras de grupos de control y tratamiento para deter-minar el impacto del programa, utilizó información censal de las escuelas públicas rurales. La disponibilidad de medidas de eficiencia y calidad educativa, complementada con infor-mación acerca de las características socioeconómicas de los estudiantes y de los municipios donde ellos residen, permitió la construcción de un panel balanceado de más de 21 mil sedes educativas rurales (21.207) entre los años 2000 y 2005 que constituyen el 68% de todas las escuelas rurales del país. Adicionalmente, contaron con los resultados de una en-cuesta realizada a una muestra aleatoria de sedes educativas intervenidas por el PER que permitió identificar los canales a través de los cuales el programa ha logrado mejorar su funcionamiento.

Debido a que la implementac ión del PER en Colombia no se hizo de manera aleatoria entre las escuelas rurales del país, se utilizan tres metodologías de estimación distintas que buscan controlar los sesgos causados por la autoselección de las escuelas rurales entre el progra-ma: diferencias en diferencias (DID), DID bajo un soporte común y DID condicionadas.

La primera fuente de sesgo de los estimadores de DID surge cuando los controles utilizados para inferir el resultado contrafactual tienen características muy diferentes a las característi-cas del grupo de tratamiento. Con el objetivo de controlar por esta primera fuente de sesgo, se restringen las observaciones del grupo de control de tal forma que estas tengan carac-terísticas lo más parecidas a las del grupo de tratamiento como sea posible. La segunda estrategia empírica utilizada estimó los propensity scores56 utilizando un modelo probit de participación en el PER como función del tamaño de cada sede en el año 2000 y las carac-terísticas municipales de ese mismo año. Por su parte, el estimador de diferencias en diferen-cias condicionadas (conditional difference-in-difference estimator) reúne las características de métodos no paramétricos de los estimadores de pares de probabilidad tradicionales y además permite que la autoselección esté basada en características no observables como en el método de DID, por lo que se constituye en otro método adecuado para corregir los sesgos de selección antes mencionados.

PrinciPaleS concluSioneS

La evaluación concluyó que el Programa de Educación Rural ha sido un proyecto educati-vo de subsidios a la oferta exitoso. A través de la implementación de modelos educativos flexibles, el PER logró aumentar las tasas de aprobación, disminuir las tasas de deserción y reprobación de las escuelas tratadas57 e influir de manera positiva en la calidad educativa impartida, esta última medida a través de exámenes de lenguaje estandarizados (pruebas

56 Este método compara las variables de resultado de sedes intervenidas con instituciones no participantes en el programa, pero que presentan características similares, tanto la escuela como el estado socioeconómico de las familias a ella vinculadas. Estas características se convierten en variables observadas que reducen el sesgo de selección con emparejamiento.

57 Las tasa de matrícula en las escuelas intervenidas por el PER pasa de 11,72% en el 2001 a 29,56% en el 2004; la tasa de aprobación subió 5 puntos porcentuales (de 1,12% en 2001 a 6,16% en 2004), mientras que las tasas de reprobación y deserción presentaron reducciones de alrededor de 2 y 3 puntos respectiva-mente (la reprobación pasó de -0,42% a -2,23%, y la deserción cambió de -0,70% a -3,93%).

Page 90: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

9090

Evaluaciones en equidad: cobertura social

SABER de 2002 y 2005) aplicados a los estudiantes de quinto grado. Aseguran que detrás del éxito del programa se encuentra el hecho que, desde su diseño, ha tenido en cuenta las características y situación específica de los estudiantes rurales, implementando modelos acordes con las necesidades de cada comunidad.

Los resultados mostraron que las sedes educativas pertenecientes a municipios con un mayor gasto en educación por alumno, una mayor proporción de población urbana y un mayor índice de NBI se caracterizaron por tener mejores resultados tanto en el nivel de matrícula como en cambios en las tasas de eficiencia estudiadas. Por el contrario, las sedes educativas rurales que se encontraban en municipios más violentos o con mayor desigualdad medida a través de un índice de Gini de tenencia de tierra se caracterizaron por tener peores resul-tados. En lo referente a la calidad de la educación, se menciona un aumento del puntaje promedio en el área de lenguaje de sedes PER en 0,16 puntos por encima de las sedes no tratadas por el programa.

Para determinar los posibles canales de transmisión a través de los cuales se alcanzaron los resultados positivos encontrados, se utilizaron los resultados de una encuesta realizada por el CEDE a mas de 700 rectores y 1.000 docentes en diferentes sedes educativas perte-necientes y no pertenecientes al programa. Según lo que se pudo observar en el análisis de la información de la encuesta, el éxito del programa depende de una combinación de tres factores importantes:

Aquellas sedes educativas que reportaron haber recibido una 1. mejor capacitación y ma-terial educativo para la implementación de los modelos tienen una mayor probabilidad de ser una sede exitosa dentro del conjunto de sedes PER58.

Una 2. buena gestión dentro de la institución, mas no del municipio como tal, tiene efec-tos positivos en la probabilidad de éxito de la sede. Por el contrario, la infraestructura de la sede o la presencia de proyectos pedagógicos productivos no influyen en la pro-babilidad o no de éxito de la sede educativa.

Aquellas sedes cuyos 3. alumnos pertenecen a hogares más educados y con mayores ingresos son en promedio más exitosas que las sedes cuyos alumnos no poseen estas características.

El evaluador resalta que la organización del proyecto permite su replicabilidad y expansión a un bajo costo, puesto que al direccionarse al fortalecimiento y mejoramiento de la oferta, el material educativo y el entrenamiento de los docentes pueden ser utilizados por nuevas generaciones de estudiantes a un bajo costo de reposición.

Adicionalmente, se realizó un análisis costo-beneficio de la inversión realizada por el pro-grama, calculando un estimativo de su Tasa Interna de Retorno (TIR) y del Valor Presente Neto (VNP). La inversión inicial hecha por el programa se calculó del costo por alumno atendido a marzo de 2006, tiene en cuenta la inversión total del PER en los componentes de matrícula, eficiencia y calidad, suponiendo que para mantener durante varios años al alum-no en el sistema se hace necesario invertir de nuevo la misma cantidad; el costo por alumno atendido fue de $438.954 (US$231). Los beneficios del programa se calcularon mediante al aumento proyectado del salario de las personas durante su vida laboral, dada una des-viación estándar de las pruebas de conocimiento y el aumento de 0,43 años de escolaridad;

58 Todas estas variables fueron elaboradas por el evaluador como índices de cero a uno dependiendo de las respuestas dadas por rectores y docentes en la encuesta. Adicionalmente, en la estimación econométrica se incluyeron las características socioeconómicas de los estudiantes pertenecientes a cada una de las sedes.

Page 91: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

9191

Educación básica

por lo que el aumento en el ingreso laboral anual del individuo representativo en el sector rural colombiano se estimó en $92.655 (US$49).

Utilizando una tasa de interés del 6%, las cifras anteriores arrojaron un Valor Presente Neto (VPN) de $888,158 (US$467) con una Tasa Interna de Retorno (TIR) de 19,25%. Estas ci-fras reflejan la alta rentabilidad del programa. Incluso bajo el escenario menos optimista, utilizando los coeficientes obtenidos cuando el grupo de control está compuesto únicamen-te ubicadas en municipios PER, el programa continúa teniendo una rentabilidad positiva. Específicamente, con una disminución en la tasa de deserción de 1,9%, que implicaría un aumento en la escolaridad promedio de 0,21 años, y ningún efecto en la calidad de la edu-cación, el PER tendría un Valor Presente Neto Positivo ($205,496) y una TIR del 9,32%.

Ficha técnica de la evaluación

Título de la evaluación Hacia una mejor educación rural: impacto de un programa de inter-vención a las escuelas en Colombia

Programa evaluado Proyecto de Educación Rural (PER I)

Cobertura del programa A finales de 2005.27 municipios y 6.536 sedes rurales•14.732 experiencias educativas que cobijan a 435.000 alumnos.•

Presupuesto del programa 120 millones de dólares

Entidades que contrataron la eva-luación

Ministerio de Educación Nacional Instituto Interamericano de Cooperación para la Agricultura (IICA)

Evaluador CEDE-Universidad de los Andes

Costo de la evaluación 387,7 millones de pesos.

metodologías utilizadas Evaluación de impactos: estimadores propensity scores, diferencias en diferencias (DID), DID bajo un soporte común y DID condicionadas.

Recolección de información

Muestra: Panel balanceado de 21.207 sedes educativas rurales, 6.624 de ellas •intervenidas.Más de 390.267 alumnos beneficiarios.•Pruebas SABER: 4.437sedes para el 2002 (1.178 de ellas intervenidas) •y 6.408 sedes para el 2005 (1.531 de ellas intervenidas).

duración de la evaluación N.D.

Bibliografía

FAO y Unesco. “Educación Para la Población Rural en Brasil, Chile, Colombia, Hondu-ras, México, Paraguay y Perú”. Unesco Publicaciones, 2004 (en: http://unesdoc.unesco.org/images/0013/001360/136025m.pdf).

Ministerio de Educación Nacional. “El Proyecto de Educación Rural–PER” en Altablero, No. 45, abril-junio de 2008 (en http://www.mineducacion.gov.co/1621/article-168262.html, recuperado el 31 de marzo de 2010).

Rodríguez, Catherine; Sanchez, Fabio, y Armenta, Armando. “Hacia una mejor educación rural: impacto de un programa de intervención a las escuelas en Colombia”. Universidad de los Andes, Documento CEDE 2007-13. Edición electrónica, julio de 2007. Bogotá, 2007.

Page 92: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

92

1.

15 años del sistema de seguimiento y evaluación en colombia - sinergia: una mirada desde las evaluaciones de política pública más relevantes.

1.

Page 93: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

1. 1.

CULTURa

Page 94: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

9494

Evaluaciones en equidad: cobertura social

EVaLUaCiÓn CUaLiTaTiVa dE REsULTadOs dEL PROYECTO “EdUCaCiÓn mU-siCaL PaRa niÑOs, niÑas, adOLEsCEnTEs Y JÓVEnEs: dÉJaTE TOCaR POR La

mÚsiCa”

antecedenteS

La Fundación Nacional de Orquestas Sinfónicas Juveniles e Infantiles Batuta, creada en 1991, tiene como objeto la formación musical de niños y jóvenes y la integración con enti-dades de carácter académico, social y cultural, para la conformación del Sistema Nacional de Orquestas Sinfónicas Juveniles e Infantiles de Colombia.

Para el año 2010, la Fundación Batuta está presente en los 32 departamentos de Colombia, a través de 284 centros orquestales en 108 municipios, con una cobertura superior a 42.000 estudiantes en todos sus programas, de los cuales 29.640 se vinculan a través de Acción Social, en los componentes de iniciación musical preorquestal, formación musical sinfónica y sensibilización musical para niños y jóvenes con discapacidad. Adicionalmente se vinculan a Batuta 12.300 niños y jóvenes por otros convenios con entidades como Ecopetrol, Ministerio de Cultura, gobernaciones, alcaldías locales y municipales; de este total, aproximadamente 3.000 son estudiantes de instrumentos sinfónicos de cuerda, viento y percusión.

A la cabeza del Sistema se encuentra la Fundación Nacional Batuta y actualmente hay cor-poraciones departamentales integradas (Corporación Batuta Amazonas, Corporación Batu-ta Meta, Fundación Batuta Caldas, Corporación Batuta Huila, Corporación Batuta Risaralda) y un asociado (el Taller de Formación Musical de Bucaramanga). Todos comparten la misión y filosofía institucional y están articulados a través del quehacer musical desde el Proyecto Educativo Batuta.

Batuta es una fundación sin ánimo de lucro, de carácter mixto, que opera mediante la celebración de convenios y contratos con entidades públicas y privadas y recibe algunas donaciones. El programa se enmarca en el Documento Conpes 3409 de 2006 del “Plan Nacional de Música para la Convivencia” (PNMC), cuyo objetivo principal es “la creación o fortalecimiento de escuelas de música municipales, respondiendo a los intereses y nece-sidades locales, y con ello fomentar la práctica, el conocimiento y el disfrute de la música en todos los municipios del país como factor de construcción de ciudadanía democrática, convivencia y reconocimiento de la diversidad cultural”.

En este sentido, el proyecto “Educación musical para niños, niñas, adolescentes y jóvenes: Déjate tocar por la música” surge 9 años después de la creación de Batuta, mediante un convenio suscrito con la Red de Solidaridad Social, ahora agencia presidencial para la Acción Social y la Cooperación Internacional y la Fundación Nacional Batuta. La firma de este convenio permitió ampliar el campo de acción y la cobertura de Batuta59, mediante la atención psicosocial, a través de la música, a los niños, niñas, adolescentes y jóvenes que hacen parte de la población más vulnerable en Colombia, con especial énfasis en aquellos que se encuentran en situación de desplazamiento forzado. El programa ha logrado ampliar su cobertura año tras año, dando continuidad a los procesos de formación.

59 La estructura administrativa de la Fundación Batuta es de Cuatro Gerencias Regionales (Norte: Atlántico, Bo-lívar, César, Córdoba, La Guajira, Magdalena, San Andrés, Sucre; Sur: Amazonas, Caquetá, Cauca, Huila, Nariño, Putumayo, Valle; Oriente, Arauca, Boyacá, Casanare, Guainía, Guaviare, Meta, Norte de Santander, Santander, Vaupés, Vichada; Centro-occidente: Antioquia, Bogotá, Caldas, Chocó, Cundinamarca, Quindío, Tolima, Risaralda). Cada región tiene una asignación de ciudades y centros.

Page 95: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

9595

Cultura

Fuente: Informe de evaluación Crece.

A continuación se relaciona el presupuesto asignado al programa por año:

Cuadro 19 Presupuesto Proyecto “Educación musical para niños, niñas, adolescentes y

jóvenes: Déjate tocar por la músicaPresupuesto asignado (2007-2009)

Millones de pesos

año Presupuesto

2007 11.750

2008 11.662

2009 13.000

Fuente: Elaboración DEPP con base en SIGOB.

deScriPción del ProGrama

El programa “Educación musical para niños, niñas, adolescentes y jóvenes: Déjate tocar por la música” está concebido como una estrategia pedagógica desde la formación musical, que pretende minimizar el impacto psicosocial causado por el desplazamiento forzado y facilitar un espacio de socialización e integración60. Permite a su vez fortalecer los valores para la convivencia, las habilidades sociales y desarrollar habilidades físicas, motrices, sensoriales, emocionales y de convivencia y mejorar la calidad de vida de niños, niñas, adolescentes y jóvenes de sus familias. De manera general, para Acción Social lo más importante es que a través de este acercamiento a los niños, niñas, adolescentes y jóvenes, se genere un espacio en el que se establezcan lazos, se fomenten valores y se construya tejido social.

60 Agencia presidencial para la Acción Social y la Cooperación Internacional.

Page 96: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

9696

Evaluaciones en equidad: cobertura social

Actualmente el objetivo de este convenio está orientado a “ofrecer educación musical en la etapa inicial de formación preorquestal y en el programa básico de formación orquestal sin-fónica a 29.640 niños, niñas y jóvenes vulnerables con prioridad en población en situación de desplazamiento causado por la violencia, dando continuidad a los procesos iniciados en las fases anteriores y vinculando nuevos niños, niñas y adolescentes donde ello sea necesa-rio para garantizar la buena utilización de los cupos asignados”.

Es de resaltar la inclusión en esta fase del convenio de la actividad sinfónica, que, aunque se limitó a dos municipios del país, abrió una importante posibilidad de desarrollo de la acción conjunta entre ambas entidades hacia el fortalecimiento de la música como estrategia de integración social. Igualmente, como se reseña más adelante, este convenio tuvo la inclusión en 2009 de un componente especial, destinado a atender a los niños, niñas y adolescentes desplazados que sufren de algún tipo de discapacidad, en desarrollo de lo establecido en el Auto 006 de 2009.

El programa de preorquesta está orientado a brindar conocimientos básicos musicales a los niños, jóvenes y adolescentes, teniendo en cuenta el desarrollo motriz, rítmico, auditivo, vocal, instrumental, lectoescritura y teoría musical, mediante la práctica en agrupaciones. La etapa de preorquesta tiene una duración de cinco semestres (denominados niveles) y está dividida en dos rangos: infantil, de 6 a 11 años de edad, y juvenil, de 12 a 18 años. Los lugares establecidos para el funcionamiento del proyecto son denominados “Centros Or-questales”; cada uno de estos cuenta como mínimo con un coordinador musical, un profesor y un asistente administrativo.

La preorquesta capacita a los alumnos para su ingreso al estudio de cualquier instrumento sinfónico y para realizar prácticas orquestales con diferentes niveles de dificultad, según el caso particular del correspondiente plan de estudio. Durante esta etapa los alumnos, ade-más de los conocimientos musicales, adquieren una serie de fortalezas de otros órdenes que le proporcionan a la actividad musical alcances mayores. Por ejemplo: los niños músicos son más atentos, más concentrados, valoran su trabajo y respetan el de los demás ya que el resultado musical de cualquier agrupación es un engranaje en el cual todos son importantes y el buen desempeño de cada integrante es fundamental.

La selección de los beneficiarios del programa se realiza tomando como base el registro de población desplazada por municipios, se definen las ciudades a intervenir y los cupos asignados a cada una de ellas. En concertación con los coordinadores de las unidades territoriales de Acción Social y con apoyo de otras entidades municipales, se identifican los asentamientos de población desplazada, se define la sede del o los Centros Orquestales y se da inicio a la convocatoria para inscripción, con prioridad en población desplazada

El componente “Programa básico de formación orquestal sinfónica en las ciudades de Flo-rencia y Quibdó” tuvo como principales resultados en el 2009 la formación orquestal para los niños y jóvenes vinculados a los centros de Batuta en estas dos ciudades del país. Se priorizaron estos dos municipios por las características especiales de ambos desde el pun-to de vista socioeconómico y en atención a la problemática particular del desplazamiento forzado. Al cierre de 2009, este componente contó con la participación total de 224 niños, niñas y adolescentes.

Respecto al componente “Sensibilización musical para niños, niñas y adolescentes con algún tipo de limitación física, síquica o sensorial (condición de discapacidad) pertenecientes a

Page 97: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

9797

Cultura

familias en situación de desplazamiento”, se creó este componente dirigido a 600 niños, ni-ñas y adolescentes con algún tipo de discapacidad pertenecientes a familias en situación de desplazamiento en ocho ciudades del Colombia, en cumplimiento del Auto 006 de la Corte Constitucional, que establece medidas protectivas para los niños y jóvenes que además de vivir en la condición de discapacidad han sufrido los rigores del desplazamiento.

En este ejercicio se identificaron algunos de los factores que vulneran los derechos de los niños, niñas y adolescentes con discapacidad: las escasas oportunidades de acceso al sis-tema educativo, a los servicios de salud, recreación, deporte, y otros servicios destinados a la niñez y la adolescencia; la población con discapacidad constantemente es invisibilizada y excluida no sólo de los diferentes ámbitos cotidianos, sino también de las dinámicas so-ciales que permiten la construcción de identidad, de sentido de pertenencia y de desarrollo integral; discriminación y exclusión por barreras actitudinales y de accesibilidad al entorno social y físico; y la falta de espacios para el uso adecuado del tiempo libre, el sano esparci-miento y la participación en contextos diferentes a los familiares.

Derivado del proceso de caracterización de los niños y niñas con discapacidad, las estadís-ticas indicaron que el 9% de los niños, niñas y adolescentes beneficiarios del proyecto no participan en ninguna actividad cívica, social o recreativa, sólo el 12% realiza actividades espirituales y en igual porcentaje realiza actividades recreativas. El 64% de niños, niñas y jóvenes realiza dos o más actividades de la vida comunitaria, social y cívica. Con relación al tipo de discapacidad, el 39,2% es cognitivo, el 14,5% sensorial, el 14,1% mental o psíquico, el 13,1% es físico o motor, y el 19,3% de estudiantes presentan multicausalidad en el tipo de su discapacidad.

A través del convenio entre Acción Social y Batuta se están generando espacios de inclusión social desde el ámbito cultural. Es posible afirmar que la música ha tocado la vida de los estudiantes, lo cual se refleja en la felicidad sentida y expresada por ellos durante las clases, al compartir abiertamente con sus compañeros sin observar las diferencias y centrando la atención en sus posibilidades. Se han ampliado las redes de amigos y de afecto para las familias, además de haber evidenciado avances en su activación motora, sensorial, emo-cional y cognitiva.

Desde el punto de vista de la cobertura de este componente, el programa fue totalmente exitoso durante 2009, gracias a la gestión del grupo de profesionales vinculados al proyecto (psicólogos, trabajadores sociales, médicos fisiatras, músico terapeutas y educadores mu-sicales) y a la gestión de los gerentes regionales. Al cierre de 2009, este componente contó con la participación total de 750 niños, niñas y adolescentes.

deScriPción de la evaluación

El principal objetivo que se estableció para desarrollar la evaluación del programa fue el de “Identificar los posibles efectos emocionales sobre los niños, niñas, adolescentes y jóvenes que se han involucrado en el proyecto, así como los procesos de socialización generados a nivel individual, familiar, escolar y comunitario”61.

61 Departamento Nacional de Planeación. Términos de referencia de la evaluación cualitativa de resultados del proyecto “educación musical para niños y jóvenes: déjate tocar por la música”.

Page 98: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

9898

Evaluaciones en equidad: cobertura social

Esto implica entender cómo se siente el niño en el espacio vital que le proporciona Batuta y cómo alrededor de la formación musical se generan otros intereses, nuevos lazos (rela-ciones) y se construye tejido social62. Todo esto partiendo de la premisa que el programa permitía a los niños y jóvenes fortalecer valores y establecer lazos y verificar que la atención se venía prestando con calidad y oportunidad.

En esta dirección lo que se pretendía con la evaluación desarrollada por el Crece (Centro de Estudios Regionales, Cafeteros y Empresariales) en el año 2007, era identificar los avances logrados en los aspectos psicosociales a partir de la educación musical en la etapa inicial de formación. Todo esto a través de la revisión de los resultados obtenidos hasta ese momento, ya que sólo a través de los resultados es posible medir la reflexión crítica y propositiva sobre la experiencia lograda con la ejecución del proyecto y a la identificación de estrategias de ajuste, orientación y proyección de acciones futuras, a nivel local, regional y nacional.

Para ello, se definió una metodología de evaluación de resultados, de tipo cualitativa, con la cual se buscó comprender los significados que los participantes y actores relacionados con el proyecto atribuyen al mismo y, especialmente, las percepciones sobre los resultados de esta experiencia en el desarrollo psicosocial de los alumnos vinculados. De manera comple-mentaria, se realizó una aproximación cuantitativa a los resultados, con el fin de facilitar la identificación de tendencias en cuanto a los principales resultados del proyecto.

Con el propósito de facilitar la comprensión y abordaje de los ejes de evaluación, se dise-ñaron una serie de categorías referidas a tres componentes: (i) caracterización de comuni-dades, Centros Orquestales y entrevistados; (ii) percepciones de los distintos actores frente a los resultados del proyecto en el desarrollo psicosocial de los niños, niñas, adolescentes y jóvenes, considerando la dimensión personal (referida al concepto de sí mismo y al desarro-llo de capacidades personales) e interpersonal63 (orientada a las interacciones propiamente dichas); y (iii) percepciones de los distintos actores frente al funcionamiento del proyecto.

La evaluación se llevó a cabo en ocho Centros Orquestales de igual número de ciudades del país (Soledad, Magangué, Mocoa, Buenaventura, Barrancabermeja, Inírida, Turbo y Bogo-tá), caracterizadas por tener alta recepción de población en situación de desplazamiento. La evaluación se basó principalmente en información primaria recopilada a partir de entrevistas, grupos focales y observación de aula. Adicionalmente, se usaron algunas fuentes secundarias que resultaron relevantes para dar respuesta a los objetivos del estudio. En total, se contó con la participación de 812 personas, entre niños, niñas y adolescentes (vinculados actualmente al proyecto, egresados y retirados), padres de familia, líderes comunitarios, integrantes de los Comités de Veeduría, coordinadores, profesores y asistentes administrativos de los Centros Orquestales, profesores de instituciones educativas y representantes de instituciones locales.

PrinciPaleS concluSioneS

Una de las principales conclusiones que arrojó la evaluación es que la población objeto de análisis encuentra en el programa, en distinto grado y con distintos énfasis, una oportunidad para fortalecer el desarrollo psicosocial de los niños, niñas y los adolescentes. En particu-lar, las categorías de “valores para convivir” (74%) y “felicidad sentida” (72%) son las más

62 Tomado del documento “El dibujo como herramienta para evaluar la satisfacción del cliente en el proyecto Batuta”, Silva, P. M., Subdirección de Atención a Población Desplazada, Acción Social, 2006.

63 Aunque interdependientes, ambas dimensiones son tratadas separadamente con fines analíticos.

Page 99: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

9999

Cultura

frecuentemente mencionadas por los niños entrevistados. Por su parte para los padres los aspectos más frecuentemente planteados tienen que ver con el “uso del tiempo libre” (42%), el “sentido de responsabilidad” (37%) y la “ampliación de redes sociales” (37%).

Esto significa que, de manera general, el programa ha incentivado cambios no sólo en los niños beneficiados, sino también en sus familias e incluso en la comunidad. Así, los cambios en las familias se perciben en el apoyo en la formación musical, la integración alrededor de conciertos, los cambios en la interacción familiar y la motivación de familiares hacia la formación musical.

Los cambios en las comunidades se evidencian en mejores perspectivas frente a la con-vivencia, fomento de la cultura local, imagen del barrio y sentimientos de inclusión social especialmente para la población en situación de desplazamiento. Finalmente los cambios percibidos en las instituciones educativas tienen que ver con el fortalecimiento de la forma-ción artística, la motivación de los estudiantes hacia la formación artística, la imagen institu-cional, y los cambios positivos en los estudiantes.

Existe, en general, una alta satisfacción frente al proyecto y sus resultados. Se identificó que el programa ostenta fortalezas en aspectos como: capacidad de estructurar un modelo pe-dagógico y administrativo de calidad hace presencia en lugares de difícil acceso; estabilidad en las comunidades; orientación gratuita a una población que carece de oportunidades similares; capacitación permanente; disponibilidad de recursos; gran reconocimiento insti-tucional y conformación de equipos de trabajo competentes y comprometidos, en fin, forta-lezas que redundan en resultados positivos

Sin embargo, también se hallaron debilidades, tales como las restricciones para la vinculación de población no desplazada, la falta de continuidad en la formación musical de niños y jóve-nes, las condiciones de las sedes, los registros sobre deserción, la algunas veces insuficiente participación de las comunidades, la dificultad en la implementación de algunos aspectos del modelo pedagógico, la insuficiente articulación entre Batuta y Acción Social en el nivel local y la ausencia de un sistema articulado de seguimiento, evaluación y sistematización.

recomendacioneS de la evaluación

Las recomendaciones sugeridas por el Crece al programa se estructuraron en torno a cinco aspectos fundamentales:

Gráfico 16 Estructura de recomendaciones al proyecto Batuta

Los objetivos delproyecto y la

poblaciónparticipante

La estructuraorganizacional

La gestiónadministrativa

La gestiónpedagógica

La interaccióncon la

comunidad

AJUSTES BATUTA

Fuente: Elaboración DEPP.

Page 100: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

100100

Evaluaciones en equidad: cobertura social

En cuanto al primer aspecto (los objetivos del proyecto y la población participante), se re-comienda promover entre todos los participantes una mejor comprensión en torno a los objetivos del proyecto con el fin de evitar en las comunidades la generación de expectativas a las que no se puede dar respuesta; hacer seguimiento a las causas de deserción; incre-mentar el uso de estrategias tendientes a asegurar la permanencia de los niños y jóvenes en el proceso; ampliar la cobertura tanto a población no desplazada como a las comunidades o municipios que no pueden acceder al proyecto.

En lo que respecta a la estructura organizacional, se sugiere procurar una mayor articula-ción entre Batuta y Acción Social en el ámbito local, a través de la revisión de los compro-misos de Acción Social en el ámbito local y el ajuste según las necesidades y la disponibili-dad. También se recomienda generar instancias de participación de los estudiantes y crear alianzas mediante el afianzamiento de vínculos con gobiernos municipales y departamen-tales, con otras entidades públicas y privadas, nacionales e internacionales e incluso con colegios.

En gestión administrativa, se establece la necesidad de promover una planeación más inte-grada en materia administrativa, pedagógica y de creación de alianzas; ampliar la difusión nacional y local del proyecto y fortalecer las estrategias de convocatoria (una estrategia en este sentido sería utilizar los conciertos como medio); fortalecer el proceso de inscripción de los estudiantes; mejorar las condiciones de las sedes mediante el establecimiento de criterios mínimos y asegurar su oportuna reparación y/o adecuación; analizar las demandas de la población en recursos (tales como transporte, camisetas e instrumentos musicales); diversi-ficar las estrategias de capacitación y sistematizarlas; evitar que los procesos de formación iniciados tengan que ser interrumpidos por falta de financiación, y, finalmente, diseñar un sistema de seguimiento, evaluación y sistematización que integre los distintos componentes del proyecto y grupos de población.

Por su parte la gestión pedagógica demanda las siguientes mejoras: gestionar recursos tendientes a facilitar la continuidad del proceso de formación musical; analizar posibilida-des de incremento de la intensidad horaria; ampliar posibilidades de participación en los encuentros de preorquestas; precisar los alcances del proyecto en atención psicosocial a la población en situación de desplazamiento, y promover de manera más intencional el traba-jo en equipo y el aprendizaje.

Finalmente, en lo referente a interacción con la comunidad, se determina: analizar conjun-tamente con los padres de familia las mejores estrategias para fomentar su participación en el proyecto; enriquecer los procesos de nombramiento, capacitación y acompañamiento a los Comités de Veeduría; elaborar una caracterización comunitaria básica que facilite la interacción, y articular a los líderes y organizaciones comunitarias en actividades de planea-ción, ejecución y evaluación del proyecto.

imPlicacioneS de Política

La evaluación desarrollada en el año 2007 al programa “Educación musical para niños, niñas y adolescentes: Déjate tocar por la música” por el Crece permitió demostrar los bene-ficios que la educación musical de Batuta ha generado en los participantes: el mejoramiento de autoestima, los niveles de concentración, la capacidad de relacionarse con otras perso-nas, la disminución de los niveles de agresividad, el mejoramiento en el rendimiento escolar,

Page 101: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

101101

Cultura

y la capacidad de trabajo en equipo, además de minimizar los impactos emocionales que deja la vivencia del desplazamiento forzoso64.

Adicionalmente permitió establecer una serie de recomendaciones, las cuales, para el año 2010, habrían sido acogidas en su mayoría por Acción Social y la Fundación Batuta; entre estas se encuentren:

Batuta está realizando un proceso de búsqueda de recursos que le permita no sólo •ampliar la cobertura sino también asegurar la sostenibilidad del proyecto a través de la diversificación de cooperantes. Batuta identifica la alta dependencia de los recursos de Acción Social como una debilidad del proyecto.

Batuta ha logrado la consecución de recursos de Ecopetrol para 6 Centros Orquesta- »les (Cúcuta, Santa Marta, Barrancabermeja, Neiva, Bucaramanga y Buenaventura).

La búsqueda de recursos hace parte de las 11 acciones estratégicas del Plan de »Desarrollo de Batuta (2009-2011).

Batuta está analizando la posibilidad de establecer un sistema de subsidios cruzados •entre los alumnos participantes. Especialmente para favorecer la continuidad de los menores en el proceso.

Batuta pretende construir grandes Centros Orquestales con infraestructura física ade-•cuada para el desarrollo de la actividad musical. El objetivo es llegar a 32 centros en todo el país. El costo de cada sede es en promedio de 400 millones de pesos.

Acción Social plantea la necesidad de construir en el marco del comité técnico del •convenio unos estándares mínimos de infraestructura con los que deban cumplir los Centros Orquestales.

El Convenio y a su vez el Manual Operativo 2009 establecen claramente los objetivos y •los alcances del proyecto Batuta. Adicionalmente, se introducirá un cambio en el siste-ma de capacitaciones que permitirá que los encargados de convocar a los interesados tengan un mayor conocimiento sobre las características del proyecto.

Se evaluará en el comité técnico del convenio la pertinencia de realizar un pago míni-•mo y la presentación de los costos y la entidad que subsidia a cada beneficiario en el formulario de matrícula o inscripción al proyecto.

Batuta se encuentra en proceso de renovación de los afiches, las cartillas y la imagen •del convenio, utilizados en las convocatorias

Acción Social facilitará que otras instancias que trabajan con población desplazada •conozcan la experiencia de Batuta y que estas generen la promoción del programa, por ejemplo en los comités interinstitucionales y en las mesas sectoriales.

En el primer semestre de 2009 se realizó la publicación del programa de Preorquesta. •Niveles 1 al 5 que ya no incluye este aspecto en valores como un tema aparte, sino que lo involucra en la dinámica de las clases y en el transcurso de los montajes. Además es considerado un eje transversal de la formulación del proyecto educativo Batuta.

64 Agencia presidencial para la Acción Social y la cooperación internacional.

Page 102: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

102102

Evaluaciones en equidad: cobertura social

Para el segundo semestre de 2009, está programado un ciclo de talleres de formación •para docentes, con énfasis en la técnica vocal (metodología Kodally), que fue definida por todos como una de las principales prioridades del trabajo con los niños y jóvenes. Estos temas también están ligados al desarrollo del sistema de información, en tanto no existe un consolidado de las capacitaciones recibidas por los profesores, ni un re-gistro actualizado de sus opiniones sobre los temas que deben seguir en la agenda, es decir el diagnóstico de las necesidades y la diversificación de estrategias que les permitan avanzar en el fortalecimiento de sus competencias y por esta vía mejorar las de sus estudiantes.

La ubicación de las gerencias regionales de forma descentralizada es un proceso que •ya está en desarrollo. La Gerencia Sur ya fue trasladada de Bogotá a Cali.

Ficha técnica de la evaluación

Título de la evaluación Evaluación cualitativa de resultados del proyecto “Educación musical para niños y jóvenes: Déjate tocar por la música”

Programa evaluado “Educación musical para niños y jóvenes: Déjate tocar por la música”

Entidad que contrató la evaluación Departamento Nacional de Planeación

Evaluador Crece

Costo del programa 2009: 13.000 millones de pesos

Cobertura del programa 32 departamentos, 84 municipios, a través de 193 centros orquestales que benefician a más de 30 mil niños y jóvenes.

Costo de la evaluación $249.917.929

metodología utilizada Evaluación cualitativa de resultados

Tamaño de la muestraOcho Centros Orquestales de igual número de ciudades del país (So-ledad, Magangué, Mocoa, Buenaventura, Barrancabermeja, Inírida, Turbo y Bogotá); 812 personas

duración de la evaluación 8 meses

Bibliografía

Departamento Nacional de Planeación. “Informe final de la evaluación cualitativa de resul-tados del proyecto Educación musical para niños y jóvenes: Déjate tocar por la música.

Departamento Nacional de Planeación. “Términos de referencia de la evaluación cualitativa de resultados del proyecto Educación musical para niños, niñas, adolescentes y jóvenes: Déjate tocar por la música”.

Vega Acevedo, Natalia. “Música que transforma vidas. Formulación del Plan Estratégico de sostenibilidad 2010-2016 para la Fundación Nacional Batuta. 2009” (en http://repository.urosario.edu.co/bitstream/10336/986/1/52705044.pdf, recuperado el 22 de febrero de 2010).

Page 103: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

103103

Cultura

EVaLUaCiÓn Y sEGUimiEnTO dEL PROGRama saLas COnCERTadas dEL mi-nisTERiO dE CULTURa

antecedenteS

El programa de salas concertadas fue creado con el fin de “fortalecer la infraestructura para las artes escénicas del país, entendida ésta como el conjunto de espacios que articulan y propician la innovación, la renovación, la diversidad, cualificación y la apropiación de la producción artística”65. El programa busca mejorar las instalaciones de los teatros ya que estos se han consolidado como foros de cohesión social y proyección turística, así como generadores de empleo para la población necesitada.

El programa recibe un gran soporte legal, puesto que desde la Constitución Política se fomenta el acceso a la cultura de todos los colombianos (Artículo 70), así como la creación de incen-tivos para las personas y entidades que promuevan la cultura (Artículo 71). Adicionalmente, la Ley General de Cultura de 1997 reitera y precisa la facultad del Estado de dar soporte a las prácticas culturales. Esta ley soporta directamente el Programa de Salas Concertadas en su artículo 1, numeral 13, el cual específica que “forma parte de una política integrada que tiene en cuenta tanto al creador como al gestor y al receptor en igualdad de condiciones y concede tratamiento especial a grupos poblacionales vulnerables específicos”66.

En este mismo sentido, el Programa Nacional de Salas Concertadas se inscribe y desarro-lla las políticas consignadas en el Plan Decenal de Cultura 2001-2010, en sus campos de creación y memoria, diálogo cultural y participación y en el Plan Nacional para las Artes 2006-2010, el cual se estableció “con el fin de valorizar (reconocer y empoderar) las prác-ticas artísticas como factor de desarrollo sostenible, de renovación de la diversidad cultu-ral y principio de la ciudadanía democrática, mediante la generación y fortalecimiento de procesos que construyen sector y dinamizan el entramado de actividades y relaciones que circunscriben el campo artístico”. También y a partir del 2007 se ha fundamentado en la Ley 1170 (Ley del Teatro Colombiano), en el sentido de poner especial énfasis en las salas para las artes escénicas de menos de setecientas butacas.

La evaluación es realizada con el fin de propiciar la construcción de una ciudadanía demo-crática cultural que tenga una presencia efectiva en el escenario de lo público y desde allí forje las bases para una convivencia plural.

deScriPción del ProGrama

El programa de Salas Concertadas fue creado en 1993 por parte del Ministerio de Cultura con el fin de beneficiar a toda la población, sobre todo en los grandes centros urbanos. Bus-ca mejorar las instalaciones existentes para el desarrollo de artes escénicas, principalmente el teatro.

Salas Concertadas hace parte de los proyectos apoyados por el Programa Nacional de Concertación, dirigido a dar apoyo a instituciones privadas sin ánimo de lucro cuyo objetivo

65 Universidad Nacional de Colombia. “Informe Final: Esquema de evaluación y seguimiento del programa Salas Concertadas del Ministerio de Cultura”. Bogotá, 2008.

66 Ibídem.

Page 104: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

104104

Evaluaciones en equidad: cobertura social

primordial sea el de llevar a cabo prácticas artísticas y culturales, a través de la gestión de un sitio para las artes escénicas que funcione de manera continuada en el territorio colom-biano. Además de esto, el programa fue creado con el fin de garantizar el cumplimiento de los artículos constitucionales 70 y 71 previamente mencionados.

El programa de Salas Concertadas se articula con el Plan Nacional de Desarrollo 2003- 2006, que busca entre otros consolidar una “Cultura para construir nación y ciudadanía” e “implementar programas nacionales y regionales que valoren y promuevan los diversos procesos y manifestaciones culturales que identifican al país”67.

Geográficamente, los departamentos que se ven beneficiados por el programa hasta el 2007 son: Córdoba, Antioquia, Sucre, Cesar, Norte de Santander, Santander, Cundina-marca, Meta, Risaralda, Valle del Cauca y Nariño, que se pueden apreciar en el siguiente gráfico.

Gráfico 17 Departamentos beneficiados con el programa.

Fuente: Elaboración DEPP

67 Plan Nacional de Desarrollo 2003-2006. “Hacía un Estado Comunitario”. Bogotá, 2003.

Page 105: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

105105

Cultura

El presupuesto anual del programa de Salas Concertadas es el siguiente:

Cuadro 20 Recursos de inversión para el programa de Salas Concertadas

(Millones de pesos corrientes)

Vigencia 2004 2005 2006 2007

Presupuesto 899.526.066 906.056.270 944.678.407 975.518.570

Fuente: Ministerio de Cultura.

deScriPción de la evaluación

La evaluación del programa Salas Concertadas fue realizada por el Centro de Investigacio-nes para el Desarrollo (CID) de la Universidad Nacional de Colombia, entre 2005 y 2007. Ésta consistía en observar qué tan eficiente era el proceso de ingreso al programa después de que las diferentes salas de teatro existentes en los municipios cumplieran a cabalidad con los requisitos de participación, los cuales eran:

Cumplir con un puntaje mínimo en el índice de logros determinado por el ministerio.•

La sala de teatro obra de remodelación debía tener unas características y una trayec-•toria mínima que incluyeran el aforo de la sala y los logros obtenidos en los últimos años por esta.

Contar con los criterios necesarios para evaluar los proyectos, entre los que se encuen-•tran la programación artística, los programas dirigidos a grupos poblacionales y la viabilidad del proyecto en sí.

La información necesaria para llevar a cabo la evaluación fue conseguida de dos (2) fuentes específicas:

1. Se tomaron los resultados obtenidos en la encuesta realizada en el año 2005 por la Universidad Distrital a las entidades.

2. El CID recopiló información en las carpetas de las salas para las convocatorias de 2004 a 2006.

Después de recolectados los datos, por medio de las actividades mencionadas anteriormen-te, se realizó la exploración de algunas variables e indicadores importantes a tener en cuen-ta y se llevó a cabo un análisis de las salas agrupando la información en cuatro (4) grupos: programación y resultados artísticos; infraestructura, equipos y dotaciones; gestión adminis-trativa y servicios al público, y seguridad. Con estos grupos se realizó un análisis final de los datos y, por último, se redactaron las conclusiones y recomendaciones del estudio.

PrinciPaleS concluSioneS

Las principales conclusiones que arroja el estudio son las siguientes:

1. El programa se encuentra separado de las intervenciones culturales de las instancias territoriales. Esto hace que exista una centralización importante, lo que genera un re-

Page 106: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

106106

Evaluaciones en equidad: cobertura social

parto desigual de los recursos hacia las principales ciudades (Bogotá, Medellín y Cali), haciendo que hasta en estos centros urbanos los entes territoriales se encuentren aisla-dos de los recursos asignados por el Estado.

2. En el tema de reparto de espacios, se concluyó que las buenas disposiciones en las ta-quillas y las cafeterías no siempre garantizan la buena calidad de una sala de teatro. Es por ello que se espera contar con salas más grandes y espaciosas aunque se reduzcan los otros lugares.

3. En relación con la gestión administrativa de las salas, se da prioridad a los porcentajes de ocupación, así como al porcentaje en gastos de personal artístico. Esto con el fin de brindar un mejor servicio y una mayor calidad para el público.

4. El Ministerio de Cultura debe evaluar su estructura organizativa en procesos in house para formular de manera más eficiente el desarrollo de sus planes sectoriales y sus programas articulados en torno a las artes escénicas.

5. Es fundamental que se revise la conveniencia de excluir del programa a las salas de entidades públicas e instituciones educativas como colegios y universidades.

6. Los indicadores que muestran las metas que se están cumpliendo o no en el programa deben ser publicados periódicamente para garantizar una buena utilización de los recursos asignados a Salas Concertadas.

recomendacioneS de la evaluación

Después de llevar a cabo los análisis pertinentes, el grupo evaluador recomienda:

1. Elaborar una propuesta de política integral de artes escénicas en donde se ubique el programa de Salas Concertadas, dándole así mayor peso e importancia.

2. Definir en la práctica un campo de intervención que abarque el programa de las áreas escénicas desde el nivel nacional, desde los departamentos y los municipios, para que de esta manera se estimulen iniciativas complementarias al teatro.

3. Incluir en el programa de Salas Concertadas objetivos que permitan fomentar proyec-tos de formación artística permanentes para que así no sólo se colabore con las insta-laciones sino también con los actores y ayudantes generando empleo para la sociedad en general.

4. Continuar con la búsqueda de mecanismos para aumentar los ingresos percibidos en aras de lograr un mayor desarrollo del mismo. Esto podría hacerse con la colabora-ción del Consejo Nacional de Teatro u otros entes que fomenten las artes escénicas en el país.

5. Se recomienda establecer parámetros de distribución de recursos más formales para que así se descentralice el destino de los mismos hacia los departamentos y regiones que más lo necesiten y se incentive la participación de un mayor número de salas en municipios con un menor desarrollo de las artes escénicas. Para esto es recomendable que se hagan acuerdos con los consejos municipales, distritales y departamentales.

6. Conformar grupos que anualmente, en coordinación con los consejos regionales de cultura, exhiban una muestra de las salas participantes en el programa con informa-

Page 107: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

107107

Cultura

ción y documentación que sea proporcionada al ministerio y que permitan que estas puedan incluirse en las convocatorias de Salas Concertadas.

imPlicacioneS de Política

La evaluación y seguimiento del programa Salas Concertadas del Ministerio de Cultura, buscaba comprender la eficacia que estaba teniendo la asignación de presupuesto para las diferentes salas participantes del programa. Esta comprensión llevaría a buscar métodos que permitieran una mejor asignación de los recursos para lograr descentralizar los repartos y promover las artes escénicas en regiones que no tienen una cultura teatral muy desarro-llada, buscando así generar empleo no sólo para los actores sino para todas las personas involucradas en el montaje, preparación y presentación de una obra de teatro.

El estudio enfatiza en la necesidad de crear una política integral de las artes escénicas en donde el Programa Nacional de Salas Concertadas se inserte, para cubrir las necesidades de la infraestructura teatral. Para esto se pone como ejemplo la política que al respecto ha asumido Argentina (líneas: construcción, compra de salas y espacios teatrales, asistencia técnica, dotación, funcionamiento, remodelación y/o refacción, reformas para cumplimiento de normas y/o mejoras en las medidas de seguridad, etc.); esta política no sólo deberá ser integral en el aspecto artístico propiamente dicho sino que debe relacionar elementos de política regional que permita articular acciones entre el Estado nacional y los entes territo-riales.

Ficha técnica de la evaluación

Título de la evaluación Evaluación y seguimiento del programa Salas Concertadas del Ministerio de Cultura.

Programa evaluado Salas Concertadas

Cobertura del programa Territorio nacional

Presupuesto del programa 2007: 975 mil millones de pesos

Entidad que contrató la evaluación Ministerio de Cultura

Evaluador Centro de Investigaciones para el Desarrollo (CID) de la Uni-versidad Nacional de Colombia

Costo de la evaluación 300 millones de pesos

metodologías utilizadas

Se tomaron los resultados obtenidos en la encuesta realizada en el año 2005 por la Universidad Distrital a las entidades.El CID recopiló información en las carpetas de las salas para las convocatorias de 2004 a 2006.

Recolección de la información11 ciudades (Bogotá D.C., Medellín, Cali, Montería, Bucara-manga, Cúcuta, Pereira, Pasto, Villavicencio, Sincelejo y Valle-dupar).

duración 2005-2007

Bibliografía

Plan Nacional de Desarrollo 2003- 2006. “Hacia un Estado Comunitario”. Bogotá, 2003.

Universidad Nacional de Colombia. “Informe Final: Esquema de evaluación y seguimiento del programa Salas Concertadas del Ministerio de Cultura”. Bogotá, 2008.

Page 108: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

108

1.

15 años del sistema de seguimiento y evaluación en colombia - sinergia: una mirada desde las evaluaciones de política pública más relevantes.

1.

Page 109: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

1. 1.

ViViEnda

Page 110: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

110110

Evaluaciones en equidad: cobertura social

EVaLUaCiÓn dE imPaCTO dEL PROGRama dE ViViEnda dE inTERÉs sOCiaL URBana- inTERmEdia

Fuente: Ministerio de Ambiente, Vivienda y Desarrollo Territorial.

antecedenteS

A partir de los años noventa la Política de Vivienda, sufre una transformación hacia el diseño y la provisión de un Estado facilitador que se convierte en el formulador de la política y en el encargado de asignar los subsidios a la demanda, y el sector privado en el facultado para construir los proyectos de vivienda de interés social.

La Política de Vivienda en Colombia ha evolucionado de manera importante en las últimas décadas, a través de dos ajustes importantes, el primero en 1991, en donde se liquidó al Instituto de Crédito Territorial (ICT)68 y se creó a el Instituto de Vivienda y Reforma Urbana (Inurbe), entidad que se encargaría de ejecutar el programa del Subsidio Familiar de Vi-vienda- SFV, enfocado a atender el déficit habitacional desde la oferta específicamente. El segundo fue en el año 2003, en donde se realizó una reestructuración institucional liqui-dando al Inurbe por motivos de ineficiencia y falta de transparencia, lo cual dio paso a la creación del Viceministerio de Vivienda y Desarrollo Territorial, y el Fondo Nacional de Vi-vienda (FONVIVIENDA), adscrito a ese Viceministerio. Esta última institución se perfila como

68 Su liquidación se da debido a altos grados de ineficiencia administrativa, y morosidad en la cartera hipote-caria.

Page 111: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

111111

Vivienda

la entidad encargada de liderar y ejecutar la política de vivienda, en especial a través del SFV69, que esta vez se enfocaría hacia la demanda.

A pesar de que el país ha invertido recursos importantes en el programa del Subsidio Fa-miliar de Vivienda desde 1991, sólo se ha realizado una primera evaluación de los efectos sociales de estas intervenciones en el programa de vivienda de la Red de Solidaridad Social (Documento Conpes 3178 de 2002), el cual brindó importantes lecciones para la reforma institucional del sector adelantada por el presente Gobierno.

Por lo anterior, es importante definir y cuantificar los efectos del programa en términos de reducción de pobreza, utilizando herramientas que permitan aislarlos de los efectos gene-rales, económicos y sociales, en las intervenciones de vivienda de interés social. De esta manera, fue imperativo invertir recursos en la evaluación de impacto (intermedio) del pro-grama de vivienda de interés social financiada con recursos del crédito BID OC-CO/1483 y, adicionalmente, determinar las bondades y las limitaciones del nuevo esquema institucional y operativo del sector vivienda en Colombia, consecuencia de las reformas implantadas recientemente (DNP, 2007).

deScriPción del ProGrama

El programa de Vivienda de Interés Social Urbana-VISU tiene como objetivo adelantar las reformas necesarias al sistema de Subsidio Familiar de Vivienda, en aras de: i. mejorar la provisión de vivienda social en las áreas urbanas del país mediante la consolidación y finan-ciación del nuevo sistema de gestión de subsidios para vivienda social urbana; ii. ordenar y fortalecer sectores institucionales e intergubernamentales; y iii. apoyar el desarrollo de áreas estratégicas del sector tales como el mercado del microcrédito (MAVDT, 2004). La estrategia fue implementada a partir del año 2004, con un costo estimado de $275 millones, finan-ciada particularmente por un préstamo de Banco Interamericano de Desarrollo (BID), y con recursos provenientes de la Nación, mediante aportes propios, municipales y privados. La ejecución del programa está a cargo FONVIVIENDA.

Gráfico 18 Subsidios asignados para VIS Urbana por Fonvivienda

Fuente: Elaboración DEPP con base en los datos del SIGOB.

69 Subsidio de Vivienda Familiar.

2004 2006 2007 2008 20090

20.00040.00060.00080.000

100.000120.000140.000160.000

2005

36.76346.871 38.538

68.876

135.133

110.518

Page 112: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

112112

Evaluaciones en equidad: cobertura social

La implementación del programa se compone de bolsas de recursos a las que puede acce-der la población vulnerable, dependiendo de las características, la categoría del municipio en donde habita, y las modalidades de solución de vivienda. De manera específica, para poder acceder a los subsidios del programa, los hogares potencialmente elegibles deben reunir las siguientes condiciones:

No ser propietario de vivienda (excepto para mejoramiento de vivienda).•

Ingresos totales mensuales de los hogares no superiores a 4 SMLMV.•

No haber sido beneficiario del Subsidio Familiar de Vivienda del Inurbe, Forec, Focafe, •Fovis, Caja Militar o crédito del ICT.

No estar afiliado a una Caja de Compensación Familiar – CCF.•

Las bolsas de recursos para acceder al beneficio y las modalidades de aplicación del SFV, son las siguientes:

Cuadro 21Modalidades de postulación y asignación de subsidios

Bolsa Ordinaria BO.Las familias se postulan para adquirir un subsidio de vivienda financiado exclusivamente con recursos del FNV, o para adquirir una solución de vi-vienda directamente en el mercado.

Concurso de Esfuerzo Territorial CET.

El subsidio del FNV es complementado por un subsidio adicional aportado por el gobierno local, generalmente en obras de infraestructura y/o terre-nos. Solo pueden participar hogares con ingreso inferior a dos salarios mínimos.

Subsidios especiales.

Modalidad para atender a familias desplazadas por la violencia, víctimas de desastres naturales o actos terroristas. Para el caso de desplazados por la violencia, los beneficiarios deben estar inscritos en el Registro Único de Población Desplazada de Acción Social. Para víctimas de desastres natu-rales y de actos terroristas, se requiere una certificación de la autoridad competente de la región, comprobando el acto. En todos estos casos, el FNV otorga el subsidio normal sin requerimiento de ahorro programado.

modalidades de aplicación

adquisición de Vivienda nueva aVn.

Es el proceso mediante el cual el hogar adquiere en el mercado una vi-vienda dentro de los planes elegibles, de acuerdo con los requisitos y procedimientos establecidos en la normatividad.

Construcción en sitio propio CSP.

Las familias obtienen un subsidio para la construcción de una vivienda en un terreno urbanizado de su propiedad. El dominio del terreno debe estar inscrito oficialmente, a nombre de uno cualquiera de los miembros del hogar postulante.

mejoramiento de Vivienda

La vivienda debe presentar por lo menos: Deficiencias en la estructura principal, carencia o vetustez de acometidas domiciliarias de servicios pú-blicos de acueducto, carencia de baños y cocinas, existencia de pisos en tierra o en materiales apropiados. (Decreto 3702 de 2006).

adquisición de vivienda usada Es la modalidad en la que el beneficiario adquiere una solución de vivien-da que ya ha tenido más de un acto traslaticio de dominio.

Fuente: Elaboración de la DEPP con base en la propuesta de préstamo del BID.

Page 113: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

113113

Vivienda

deScriPción de la evaluación

“El objetivo de la evaluación es captar los impactos preliminares del Programa VISU en la calidad de vida y las condiciones económicas de la población beneficiaria. Asimismo eva-luar el proceso de la focalización del Programa” (VISU, 2007: p. 11).

El propósito fundamental es establecer un análisis sobre qué tan adecuada es la estrategia en la solución del problema habitacional de la población más vulnerable, los avances de las reformas institucionales en el sector y verificar que efectivamente los tipos de soluciones de vivienda responden a las características de la población.

La evaluación de impacto estuvo a cargo del Centro de Estudios Regionales Cafeteros y Em-presariales (CRECE), bajo la coordinación del Departamento Nacional de Planeación (DNP) y el Viceministerio de Vivienda del MAVDT70, entre diciembre de 2004 y febrero de 2007.

Gráfico. 19 Cobertura de la evaluación

Fuente: Elaboración de la DEPP con información de la evaluación.

70 Dentro del comité de selección, estuvo el Director de Evaluación de Políticas Públicas DEPP-DNP, el Director de Desarrollo Urbano y Política Ambiental (DNP), la Coordinadora del Grupo de Contratación DDUPA– DNP, un representante de la Dirección del Sistema Habitacional (MAVDT) y un representante de la Dirección de Desarrollo Territorial (MAVDT).

Cobertura de la evaluación

Page 114: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

114114

Evaluaciones en equidad: cobertura social

La muestra escogida se obtuvo de 2.000 hogares beneficiarios y de 2.000 hogares no be-neficiarios, divididos en 75 municipios de 22 departamentos del país. Específicamente, se tomaron 7 municipios de Antioquia, 1 de Arauca, 3 de Atlántico, Bogotá, 3 de Bolívar, 2 de Boyacá, Manizales, 4 de Cauca, 2 del Cesar, 1 de Córdoba, 6 de Cundinamarca, 3 del Huila, 1 de La Guajira, 2 del Magdalena, 3 del Meta, 3 de Nariño, 4 de Norte de Santan-der, 4 de Quindío, 4 municipios de Risaralda, 5 de Santander, 1 de Sucre, 1 de Tolima y 11 municipios del Valle.

La metodología empleada es cuasi experimental y se basa en la comparación de los hoga-res “beneficiarios” (grupo tratamiento-GT)71 antes del programa con los correspondientes hogares “no beneficiarios” (grupo control-GC)72 (DNP, 2007). Para la construcción de la línea base y la recopilación de la información de seguimiento, se diseñaron formularios que examinaron las características de los hogares y sus viviendas en el momento de la entrega del SFV, lo que genero inconvenientes en las bases de datos suministrada por el MAVDT para beneficiarios y las bases del SISBEN para no beneficiarios.

Se debe aclarar que para el desarrollo de la evaluación solamente se estudiaron las moda-lidades de postulación Bolsa Ordinaria (BO) y Esfuerzo Territorial (ET), debido a que fueron las de mayor movimiento y, por el tipo de solución, se analizó la adquisición de vivienda nueva (AVN) y la construcción en sitio propio (CSP).

Cuadro 22 Instrumentos de recolección de información

instrumentos de recolección de información

Beneficiariosno

beneficiariosfecha deaplicaciónBolsa Ordinaria y

Esfuerzo TerritorialPoblación especial

formulario de línea de base X X Octubre- noviembre de 2005

formulario de seguimiento X X Agosto- septiembrede 2006

formulario único x Septiembrede 2006

Fuente: DNP (2007).

Para estudiar los impactos preliminares, se establecieron las siguientes variables con sus respectivas características de análisis: vivienda (materiales, tamaño relativo, cobertura de servicios públicos y estrato); entorno (infraestructura y equipamiento urbanos; percepción de amenazas naturales); opiniones sobre la vivienda y el entorno (barrio y vecinos), estructura de gastos, acceso a créditos y tenencia de bienes durables. Para esto se aplicaron las técni-cas de diferencia con pareo y diferencias en diferencias con estimadores para dato panel, justificadas con el fin de probar la robustez de los resultados73.

71 Está dado por hogares que en 2004 recibieron asignación de SFV en las modalidades de BO y ET.72 Conformado por hogares no beneficiarios y que no tienen relación con el programa (es decir, no han aspi-

rado a subsidios), pero cuyas condiciones de vida son similares a las de los beneficiarios, razón por la cual serían elegibles.

73 Es posible que los impactos calculados contengan algún grado de sesgo, debido a que la selección de las familias no proviene de un experimento aleatorio.

Page 115: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

115115

Vivienda

PrinciPaleS concluSioneS

Las conclusiones se dividieron en relación a las condiciones de vida de los beneficiarios y de las viviendas, la focalización del programa y las condiciones de elegibilidad de los benefi-ciarios, que se amplían a continuación:

La evaluación encontró impactos y cambios relativos en las condiciones de vida de los be-neficiarios como efecto del aumento de la cobertura y de las estrategias diseñadas para su implementación. Resulta importante resaltar que gran parte de los beneficiarios han podido acceder a una vivienda propia, adquiriéndola o construyéndola en un lote de su propiedad; adicionalmente, los hogares beneficiarios presentan una probabilidad de ubicarse en un mejor estrato como resultado de la intervención, así como la percepción de transparencia. Los resultados muestran que el 51,3% no está ocupando la vivienda que debía construir o adquirir, como consecuencia de retrasos en los proyectos; el 35,8% estaba habitando la vi-vienda, pero tan solo el 1,1% había renunciado al subsidio. Esta renuncia se fundamenta en las demoras en los procesos de construcción y entrega de las viviendas en su mayor parte. Lo que sí queda claro es que el estudio no encontró un dato relevante en relación a que los beneficiarios hayan cambiado o vendido su vivienda.

Características de la vivienda

Se encuentra que la implementación del VISU ha logrado un incremento en la probabilidad que los tipos de solución cuenten con mejores paredes (cerca del 95% están construidas con bloques, ladrillos o piedra) y mejores techos, al igual que se reducen los riesgos asociados a la destrucción de las viviendas, por la falta o insuficiencia de canales para aguas lluvias (en todas las regiones donde es importante el riesgo de inundación), filtraciones del agua a través de las paredes, pisos o ventanas y goteras en los techos.

Servicios públicos

Aunque sea el componente básico al momento de dotar las viviendas, la evaluación encon-tró una mayor probabilidad de que las viviendas cuenten con un adecuado servicio de gas natural, con avances significativos en la prestación de los servicios de acueducto y alcanta-rillado, debido al levantamiento de línea base-LB. La muestra de viviendas contaba con un servicio de acueducto en el 91% y una cobertura de alcantarillado cercano al 72%. No se encontraron impactos en el servicio de aseo.

Entorno

El impacto es positivo en lo que respecta al entorno físico, debido al aumento en la cober-tura del alumbrado público y a que las nuevas viviendas cuentan con andenes, zonas ver-des y servicios de vigilancia. Sin embargo, se presentan efectos negativos en términos del acceso74, ya que la probabilidad de contar con vías pavimentadas es menor; así mismo, se presentan mayores distancias de las viviendas respecto a la iglesia, el banco, la escuela, el centro de salud y la estación de policía más cercana, lo que se ha constituido en una razón fundamental para el arrendamiento de las viviendas adquiridas con el subsidio, al igual que la insatisfacción por el reducido tamaño de la vivienda.

74 Se espera que este sea un impacto transitorio dado que las nuevas viviendas se encuentran en zonas de ex-pansión.

Page 116: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

116116

Evaluaciones en equidad: cobertura social

Hogar

Como efecto del apoyo a la adquisición de vivienda nueva y usada, se espera una reduc-ción de los gastos por concepto de arrendamiento y administración. Por otro lado, se prevé una enajenación del gasto del hogar a rubros como el de combustibles, servicios públicos o artículos para vivienda. La liberación del gasto de arrendamiento no sólo les permite asumir el pago adicional de créditos, bienes y servicios relacionados con la vivienda, sino también aumentar su gasto por conceptos diferentes. Se percibe un mayor grado de satisfacción de los hogares con las viviendas adquiridas con el subsidio.

Focalización del programa

Se comparó los logros en cuanto a la focalización del programa en relación a los resultados obtenidos durante la etapa del Inurbe, y se encontró que la focalización en niveles 1 y 2 pasó del 67% al 83% bajo la ejecución de FONVIVIENDA. Y en relación al ingreso de los hogares de 2 SMLMV, se pasó del 88% a un 97%.

Condiciones de elegibilidad

Con respecto al nivel de ingreso de los hogares focalizados, se ha cumplido con la meta de medio término del programa, en el cual más del 80% de los hogares beneficiarios perciben ingresos por debajo de los 2 SMLMV (el 97% se encuentra en este rango). Además, la eva-luación encuentra, con base en la información suministrada, que una baja cantidad de be-neficiarios tenía el carácter de propietario cuando se presentó al programa. Se cumple con el requisito del tamaño mínimo del hogar, ya que en su mayoría ninguno de los beneficiarios en el momento de la postulación pertenecía a hogares unipersonales.

Gráfico 20Número de viviendas y recursos VISU

(Millones de pesos a precios constantes de 2008)

2003 2006 2007 2009 20100

20052004 2008

Recursos ejecutados Número de viviendas

600.000

480.000

360.000

240.000

120.000

0

250.000

200.000

150.000

100.000

50.000

ViviendasRecu

rsos

Vigencias

Fuente: Elaboración DEPP.

Page 117: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

117117

Vivienda

recomendacioneS de la evaluación

La evaluación de impacto al programa VISU sugirió las siguientes recomendaciones en tér-minos de la ejecución del programa, la verificación y la calidad de la información:

Diseñar mecanismos para acelerar la ejecución del programa• . Se debe procurar adoptar mecanismos que permitan solucionar los inconvenientes presentados en la ejecución del programa, en especial en los proyectos que no han comenzado, están suspendidos o se desarrollan muy lentamente.

Mejorar el proceso de verificación de la información contenida en los formularios de •postulación. La veracidad de la información de los postulantes tanto para la elegibili-dad como para la postulación al programa del SFV, debe ser exhaustiva y no remitirse al cruce de bases de datos, con el fin de evitar que en los formularios de postulación se presenten de manera irregular alguno(s) de los integrantes del hogar o de incluir a integrantes que no van a ocupar la vivienda subsidiada; entre otros.

Mejorar la información sobre las condiciones y exigencias del programa• . Se debe me-jorar la información suministrada por los operadores e intermediarios del programa sobre las condiciones de elegibilidad y las obligaciones de los beneficiarios, y aplicar los mecanismos de sanción existentes para quienes las incumplan.

imPlicacioneS de Política

Tomando como base las recomendaciones presentadas en esta evaluación de impacto, el Plan Nacional de Desarrollo (2006-2010) incorporó:

Separación de las actividades administrativas de FONVIVIENDA y del Ministerio de •Ambiente, Vivienda y Desarrollo Territorial (Artículo 138 de la Ley 1151 de 2007), que a la fecha no ha sido desarrollada jurídicamente, ni implementada por el MAVDT.

Revisión y fortalecimiento del esquema de interventorías a los procesos de construcción •de las viviendas.

Profundización del esquema tercerizado del Subsidio Familiar de Vivienda.•

Después de la divulgación de los resultados de la evaluación intermedia, el Documento Conpes 3488 de octubre de 2007 sometió a consideración el contrato de un empréstito para financiar parcialmente la política de vivienda de interés social y desarrollo territorial durante el periodo 2008-2011 (DNP, 2010).

Otra implicación, como resultado de las recomendaciones de la evaluación, fue la del forta-lecimiento del componente de vivienda en la estrategia Ciudades Amables del Plan Nacional de Desarrollo 2006-2010.

Page 118: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

118118

Evaluaciones en equidad: cobertura social

Ficha técnica de la evaluación

Título de la evaluación Evaluación de impacto del programa de Vivienda de Interés Social Urbana.

Programa evaluado Viviendas de Interés Social (VIS) urbanas y rurales.

Cobertura del programa Territorio nacional.

Presupuesto del programa 2009: $ 195 mil millones de pesos (recursos apropiados).

Entidad que contrató la evaluación Departamento Nacional de Planeación (DNP).

Evaluador Centro de Estudios Regionales Cafeteros y Empresariales (CRECE).

Costo de la evaluación $415 millones de pesos.

metodología(s) utilizada Evaluación de impacto: Análisis cuasi experimental.

Recolección de la información Se aplicaron encuestas y se recogieron datos a través de formularios a 2.000 hogares beneficiarios y de 2.000 hogares no beneficiarios.

duración Diciembre de 2004-febrero de 2007

Bibliografía

Banco Interamericano de Desarrollo. “Programa de Vivienda de Interés Social Urbana. Pro-puesta de préstamo (CO-0241)”. 2003.

Departamento Nacional de Planeación. Reporte de Evaluación. Volumen 1. Bogotá, marzo de 2010.

Departamento Nacional de Planeación y Consejo Nacional de Política Económica y So-cial. “Política de vivienda 2002-2006” (Documento Conpes 3200). Bogotá, septiembre de 2002.

Departamento Nacional de Planeación. “Evaluación de impacto del programa de Vivienda de Interés Social Urbana (2007)” en http://www.dnp.gov.co/PortalWeb/Programas/Siner-gia/EvaluacionesEstrat%C3%A9gicas/EvaluacionesdeImpacto/ProgramaVISU/tabid/840/Default.aspx (recuperado en marzo de 2010).

Departamento Nacional de Planeación. “Plan Nacional de Desarrollo 2006-2010” en Esta-do Comunitario: Desarrollo para todos. Bogotá, DNP, 2007.

Departamento Nacional de Planeación. “¿En qué invierte el Gobierno colombiano? Los grandes proyectos del Estado comunitario en 2008”. Bogotá, 2009.

Ministerio de Ambiente Vivienda y Desarrollo Territorial. “Sub Portal de Vivien-da y Desarrollo Territorial” en http://www.minambiente.gov.co/contenido/contenido.aspx?catID=549&conID=1591 (recuperado en marzo de 2010).

Sistema de gestión y seguimiento a las metas del Gobierno (SIGOB). “Viviendas de In-terés Social (VIS) urbanas y rurales” en https://www.sigob.gov.co/met/meta.presupuesto.aspx?m=40 (recuperado en marzo de 2010).

Page 119: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,
Page 120: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

120

1.

15 años del sistema de seguimiento y evaluación en colombia - sinergia: una mirada desde las evaluaciones de política pública más relevantes.

1.

Page 121: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

1. 1.

EmPLEO

Page 122: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

122122

Evaluaciones en equidad: cobertura social

PROGRama EmPLEO En aCCiÓn: imPaCTOs sOBRE LOs BEnEfiCiaRiOs Y sUs famiLias

antecedenteS

Las familias que como resultado de crisis económicas pierden su empleo o cierran su nego-cio y que por su condición de vulnerabilidad no poseen otras fuentes de ingresos, dependen exclusivamente de su fuerza laboral y no poseen activos que puedan ser liquidados para sopesar el impacto en la caída del ingreso. Esto hace que se vean obligados a disminuir su consumo, desahorrar y vender sus activos. Adicionalmente, dejan de enviar sus niños al colegio o de llevarlos a los controles de salud y disminuyen el consumo de alimentos, en-trando en un proceso de desacumulación de capital no solamente físico y/o monetario, sino también humano.

Durante la segunda mitad de la década de los noventa el aumento de la tasa de desempleo fue abrupto75, no solo debido a la caída en la tasa de ocupación, sino al aumento continuo de la participación laboral. Algunas de las explicaciones dadas por los analistas a este he-cho se encuentran en la mayor incorporación de mujeres y jóvenes a la fuerza de trabajo, debido a la reducción del ingreso de los hogares ocasionado por la crisis, y al aumento del nivel educativo de las mujeres [Sierra (2000), y López (2001)].

Ante este panorama, y dadas las dificultades que experimentó el país para hacerle frente a los efectos de la crisis económica y el ajuste fiscal de finales de los años noventa en las poblaciones más vulnerables, se produjo un cambio en la orientación de la protección social en Colombia. De este proceso, surgieron el Ministerio de la Protección Social y el Sistema de Protección Social, junto con algunos programas, entre ellos, la Red de Apoyo Social (RAS). El RAS tuvo como centro de toda su acción el programa Empleo en Acción.

deScriPción del ProGrama

Empleo en Acción fue uno de los tres programas inicialmente manejados por la Red de Apoyo Social (RAS) -después serían asignados a otras entidades-, como un instrumento de política social de la Presidencia de la República de Colombia, para dar respuesta a los im-pactos de la crisis de finales de los noventa. Estaba orientado a brindar ocupación transitoria de mano de obra no calificada focalizada en los niveles 1 y 2 del Sisbén, en la construcción y el mantenimiento de obras de infraestructura comunitaria en los barrios de estratos 1 y 2 de los municipios. Específicamente se enfocó en los desempleados mayores de edad que no se encontraban inscritos en programas de educación diurna.

El programa aportó recursos dirigidos al pago de mano de obra no calificada de medio tiempo ($180.000 por beneficiario76, durante máximo 5 meses), así como para la financia-ción parcial de materiales. Esta financiación estuvo restringida a proyectos entre los 40 y 300 millones de pesos, presentados por entidades territoriales antes de 2002, garantizando el proponente la consecución de los recursos de contrapartida necesarios para complementar los aportes del programa y, de esta manera, cubrir los costos totales del proyecto.

75 Según los datos de la Encuesta Nacional de Hogares del DANE, paso de su valor más bajo en 1994 alrededor del 7,5%, a una tasa de desempleo del 16,7% en el año 2000.

76 A precios de 2001.

Page 123: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

123123

Empleo

Según informes del Fondo de Inversión para la Paz, el programa financió desde finales del año 2000 un total de 3724 proyectos u obras, de los cuales 3487 ya habían sido aproba-das para 2002 pero presentaban demoras en la ejecución debido a la poca disponibilidad de fondos o complejidad de los procedimientos de aprobación, legislación y desembolso de los mismos. Para principios de 2003, se simplificaron los procedimientos y en marzo se aprobaron 358 proyectos adicionales. A partir de esta fecha se canceló la aprobación de nuevos proyectos y en el 2004 se terminaron de ejecutar todos los proyectos sin mayores complicaciones. De la totalidad de obras aprobadas el 37,16% se desarrollaron en munici-pios denominados por el programa de carácter prioritario, mientras que el 62,84% restante en aquellos municipios considerados de carácter no prioritario.

Grafico 21 Distribución de obras por tipo de municipio.

1.384

No prioritariosPrioritarios

2.340

Fuente: Elaboración DEPP con información de Acción Social.

deScriPción de la evaluación

La evaluación de impactos fue llevada a cabo por el Departamento Nacional de Planeación mediante un contrato de consultoría con la Unión Temporal Institute of Fiscal Studies – Eco-nometría Consultores y Sistemas Especializados de Información. Se realizó entre los meses de diciembre de 2004 a junio de 2006 y la publicación del informe se efectuó en el mes de septiembre de 2007, tres años después de haberse cancelado el programa.

El objetivo del estudio fue realizar una evaluación integral de los procesos, los resultados y los impactos del programa, haciendo especial énfasis en el grado y la orientación de estos impactos sobre la población y comunidades beneficiarias. Adicionalmente, se evaluó tanto la relación beneficio-costo de las inversiones realizadas, como la efectividad del programa para lograr las metas propuestas. En cuanto a la cobertura de la evaluación, se puede men-cionar que se tomó una muestra de 108 proyectos y más de 169 mil beneficiarios directos del programa, distribuidos en 73 municipios considerados prioritarios77 y en 610 municipios no prioritarios –población inferior a 100.000 habitantes y sin conurbación–.

En cuanto a la metodología utilizada, se centró en un análisis de tipo comparativo entre gru-pos de tratamiento y control. De modo que se recolectó información para establecer las con-

77 Los municipios con más de 100.000 habitantes y áreas conurbadas.

Page 124: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

124124

Evaluaciones en equidad: cobertura social

diciones previas al programa, es decir la línea de base (de diciembre de 2002 a diciembre de 2003), y posteriormente se hicieron dos encuestas de seguimiento a los grupos de tratamien-to y control, para establecer los impactos de la intervención del programa en la población beneficiaria. El primer seguimiento se realizó durante la ejecución de las obras con fin de medir los impactos iniciales del programa (de marzo de 2003 a febrero de 2004), mientras que el segundo se llevó a cabo seis meses después de terminadas todas las obras, para me-dir los impactos de mediano y largo plazo (de junio de 2004 a septiembre de 2004).

El diseño para la evaluación de impacto utilizó dos tipos de muestras: la primera está con-formada por inscritos para trabajar en el programa y fue diseñada para evaluar el impacto producido sobre los beneficiarios y sus familias. La segunda fue una muestra de hogares elegibles (Sisbén 1 y 2), residentes en las áreas de tratamiento seleccionadas, para evaluar el impacto del programa sobre las comunidades beneficiadas por las obras; estuvo confor-mada por 3.607 hogares y 1.424 establecimientos comerciales. La cobertura y focalización del programa se determinó mediante la comparación de los dos tipos de muestras. La línea de base quedó conformada por 108 proyectos después de ajustes a la muestra inicial (47 eliminados por problemas que implicaban sesgo de los resultados); de estos proyectos, 66 se encuentran en los municipios prioritarios y 42 en los no prioritarios.

Ahora bien, respecto a las características propias de la primera muestra, se resalta la no aleatoriedad en la selección de los beneficiarios, la cual se realizó mediante un modelo Pro-bit78. También se menciona claramente el cambio que se produjo en la línea de base, pues debido a la demora en la iniciación de las obras, hubo algunas diferencias necesarias de controlar entre las personas seleccionadas inicialmente como beneficiarias y quienes final-mente participaron en la ejecución de las mismas.

Para corregir el riesgo de selección de participantes, debido a la ausencia de aleatoriedad en la selección de beneficiarios, se utilizó el método de variables instrumentales en las dos instancias que tuvo el proceso en la práctica. Es decir, tanto para corregir el sesgo entre el grupo de tratamiento79 y el grupo de control80, como para corregir el sesgo entre personas seleccionadas inicialmente como beneficiarios y las que finalmente participaron trabajando en las obras. Puesto que el sesgo de selección no puede ser totalmente contrarrestado del análisis, el evaluador optó por mostrar los resultados de impacto tanto en el modelo de di-ferencias en diferencias parametrizadas con el uso de variables instrumentales (VI)81, como en términos del modelo de diferencias en diferencias observadas (sin esta parametrización). Lo anterior permite evaluar la magnitud del sesgo de selectividad y, con base en ello, decidir cuál de los dos modelos es el más indicado para medir los impactos del programa. Los re-sultados se resumen en el cuadro 3.1 del informe82, que se presenta a continuación, donde NS indica que los impactos medidos no son significativos y S muestra que dichos impactos sí son significativos.

78 La variable dependiente toma un valor de 1 si es beneficiario y de 0 si es un inscrito no beneficiario.79 Personas seleccionadas inicialmente como beneficiarios.80 Inscritos al programa no seleccionados inicialmente como beneficiarios81 Este método consiste en usar una o más variables (instrumentos) que sean pertinentes a la participación,

pero no a los resultados de la participación; de esta manera, permite identificar la variación exógena en los resultados atribuibles al programa.

82 Departamento Nacional de Planeación. “Programa Empleo en Acción. Impactos del programa sobre los be-neficiarios y sus familias”. Banco Mundial y Banco Interamericano de Desarrollo (BID). Bogotá, 2007, p. 38.

Page 125: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

125125

Empleo

Cuadro 23 Análisis de impactos de corto plazo

modelo de diferencias en diferenciascon variables instrumentales

modelo de diferencias en diferencias observadas impacto

Si las estimaciones son parecidas

NS NS No hay impacto

S NS Hay impacto

NS S Hay impacto (caso raro)

S S Hay impacto y es robusto

Si las estimaciones son diferentes

NS NS o S No hay impacto

S NS o S Hay impacto

FUENTE: DNP (2007, p. 38). Cuadro 3.1.

PrinciPaleS concluSioneS

El análisis de impacto de los resultados obtenidos evidencia que, a pesar de la demora en la ejecución de las obras, el programa se ejecutó en un momento muy oportuno puesto que tanto el empleo como los ingresos laborales de la población objetivo estaban cayendo. A pesar de que el programa atrajo un alta proporción de población inactiva, que se declaró desempleada sólo para acceder a las garantías que este otorgaba, e independientemente de los costos fiscales de la intervención, los usuarios del programa obtuvieron importantes beneficios en el corto plazo (durante la ejecución de las obras) y el fortalecimiento de su empleabilidad hasta nueve meses después de terminada la ejecución.

Según el análisis en el segundo seguimiento, nueve meses después de terminadas las •obras, el programa redujo en forma significativa la proporción de beneficiarios desem-pleados en 3,57 puntos porcentuales, los cuales hubieran sido 12,9% sin el Proyecto.

Si bien el programa tuvo un mayor impacto sobre el empleo asalariado que sobre el •independiente, la proporción de beneficiarios asalariados en el sector formal que es-tuvo mejor remunerada fue de baja incidencia: tan solo el 6,67% de los beneficiarios ocupados en el segundo seguimiento tenían este tipo de empleos.

Respecto a los beneficiarios directos del programa, se evidencia que en el corto plazo, •tanto el ingreso laboral, como las horas trabajadas por semana, aumentaron en cer-ca de 37%, con respecto a la situación que hubieran tenido sin proyecto. Un impacto considerable, pero de corta duración, debido a la alta rotación de trabajadores obser-vada83.

En la evaluación de impactos de corto plazo, durante la ejecución de las obras, se •encontró que las mujeres y, en especial las mujeres jefes de hogar, y los jóvenes de 18 a 25 años tuvieron más beneficios, tanto en horas trabajadas como en ingresos labo-rales, dada su menor experiencia y compromiso con el mercado de trabajo.

83 En promedio la intervención sólo duró 2.4 meses/beneficiario,

Page 126: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

126126

Evaluaciones en equidad: cobertura social

En el mediano plazo, el ingreso laboral aumentó 15.3% y las horas trabajadas 5.7%, •con respecto a la situación que hubieran tenido sin proyecto. La demora en la iniciación de las obras indujo a algunos a buscar empleo en otras partes y muchos lo lograron. Esta alta rotación, a pesar de que redujo la intensidad del tratamiento por beneficiario, es un indicador de que el programa estuvo bien diseñado, en el sentido de que tuvo los incentivos correctos para auto seleccionar la demanda en personas que no tuvieran oportunidades de empleo en otras actividades.

La evaluación indica que el impacto del programa sobre el beneficiario directo se pro-•pagó a su hogar en una forma tal, que aumentó la eficacia del mismo para mejorar el bienestar de todos sus miembros. En los municipios prioritarios, entre 6 y 12 meses después de terminadas las obras, otros miembros del hogar del beneficiario trabaja-ron 4.7 horas/semana más y tuvieron un ingreso laboral mensual $26,772 mayor con proyecto que sin él. Es decir, hubo un efecto de desborde (spillover) del impacto sobre el beneficiario a otros miembros del hogar. En los municipios no prioritarios, no se observa este efecto.

Respecto a las comunidades de las áreas de tratamiento, cabe aclarar que a pesar que •9 meses después de terminadas las obras no se habían visto efectos significativos, las comunidades beneficiarias percibieron dos impactos positivos secundarios: i) un au-mento en la recreación y en las prácticas deportivas de los niños y jóvenes en los barrios intervenidos y ii) un aumento de la seguridad en la zona en vías y espacios públicos.

En cuanto a los impactos del programa sobre los hogares de los beneficiarios, se •muestra que en los municipios prioritarios, las horas trabajadas/semana aumentaron en el mediano plazo entre 5,6 y 6,8 horas en comparación con una situación sin pro-yecto; y el ingreso familiar total aumentó en $53581/mes. En los municipios no priori-tarios no hubo ningún efecto de empleabilidad para el hogar, ni en términos de horas trabajadas ni en términos de ingreso laboral.

En el corto plazo, el impacto del programa sobre el ingreso familiar (26,5%), fue me-•nor que el impacto directo sobre el beneficiario (37,7%); pero en el mediano plazo, 9 meses después de terminadas las obras, fue mayor (19,2% versus 15,5%).

No se observaron impactos significativos sobre el ingreso laboral de los hogares ubi-•cados en las áreas de intervención del programa, lo que sugiere que las obras realiza-das no tuvieron ningún efecto significativo sobre la productividad ni sobre la actividad económica en estas áreas, antes, durante y después de las intervenciones. Tampoco se encontró evidencia de que el programa hubiera tenido algún efecto significativo sobre el gasto en educación o salud, ni sobre las tasas de enrolamiento escolar, por lo que se asegura no tuvo impactos que pudieran tener implicaciones de más largo plazo.

En municipios no prioritarios, nueve meses después de terminadas las obras, en la •vecindad de las áreas de tratamiento se observó un aumento en: i) el gasto familiar en servicios públicos, que se podría explicar por la ampliación de la cobertura de los servicios de acueducto y alcantarillado lograda por las obras de ampliación de redes realizadas por el Programa; ii) la asistencia escolar en escuelas de los barrios interve-nidos; y de instalaciones educativas; iii) las consultas médicas. Estos efectos no se ob-servaron en municipios prioritarios, donde la cobertura de servicios públicos, sociales y recreativos es mucho más grande.

Page 127: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

127127

Empleo

recomendacioneS de la evaluación

Dado que ante el desconocimiento de sus logros, el programa fue cancelado en marzo de 2003, tras la no aprobación de nuevos proyectos u obras a partir de esa fecha, y obser-vando los resultados obtenidos del proceso de evaluación, los cuales arrojan un balance positivo de la ejecución y los impactos producidos con el programa, vale la pena resaltar la pertinencia de una evaluación intermedia o de seguimiento.

Para concluir, el informe propone un Programa de obras públicas locales que, garantice igualdad de oportunidades a personas pobres de muy baja productividad, las cuales tienen poca probabilidad de encontrar empleos mejor remunerados en el mercado de trabajo. In-cluso, plantea que este apoyo podría extenderse a la prestación de ciertos servicios sociales a zonas de bajos ingresos, como servicios de aseo, mantenimiento de canales o áreas públi-cas. De esta forma, la contrapartida nacional estaría orientada a fomentar la construcción o mantenimiento de obras en zonas de bajos ingresos, haciendo que la rentabilidad social de este gasto público del gobierno central pudiera ser muy significativa.

Una opción de política social que se propone en el documento de la evaluación, es que el gobierno nacional cree un programa de apoyo a la construcción y mantenimiento de obras públicas municipales en barrios de estratos socioeconómicos bajos, para garantizar igual-dad de oportunidades de empleo a la población más pobre y vulnerable.

Ficha técnica de la evaluación

Título de la evaluación Programa Empleo en Acción. Impactos del programa sobre lo benefi-ciarios y sus familias.

Programa evaluado Empleo en Acción.

Cobertura del programa

78 municipios prioritarios: 24 principales áreas metropolitanas o co-•nurbadas del país y otras cabeceras municipales de más de 100 mil habitantes.581 municipios no prioritarios de menos de 100,000 habitantes.•Más de 170 mil beneficiarios directos.•

Presupuesto del programa Total ejecutado a septiembre de 2004: 250 mil millones de pesos.

Entidad que contrató la evaluación Departamento Nacional de Planeación

Evaluador Unión Temporal Institute of Fiscal Studies-Econometría Consultores y Sistemas Especializados de Información.

Costo de la evaluación 2.977 millones de pesos

metodologías utilizadas Evaluación de Impactos: método de variables instrumentales (VI), mo-delo de diferencias en diferencias parametrizadas.

Recolección de informaciónMuestra:108 proyectos•169.918 beneficiarios directos del programa•

duración Diciembre 2004-junio 2006

Page 128: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

128128

Evaluaciones en equidad: cobertura social

Bibliografía

Departamento Nacional de Planeación. “Programa Empleo en Acción. Condiciones iniciales de los beneficiarios e impactos de corto plazo”. 2004.

Departamento Nacional de Planeación. “Programa Empleo en Acción. Impactos del pro-grama sobre los beneficiarios y sus familias”. Banco Mundial y Banco Interamericano de Desarrollo (BID). Bogotá, 2007.

López, H. (2001); “Características y determinantes de la oferta laboral colombiana y su re-lación con la dinámica del desempleo”, ponencia a presentar en el Seminario Economía y Empleo, Banco de la República, Bogotá, 30 de marzo.

Sierra, O. (2000); “Empleo”, Lecturas de Economía: Perfil de Coyuntura Económica, CIE Uni-versidad de Antioquia, 52 (Enero-Junio), 57-66.

Page 129: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

129129

Empleo

PROGRama JÓVEnEs En aCCiÓn. imPaCTOs sOBRE LOs BEnEfiCiaRiOs Y sUs famiLias

antecedenteS

Jóvenes en Acción hace parte de la estrategia puesta en marcha por la Red de Apoyo Social (RAS), junto con Familias en Acción y Empleo en Acción, para hacerle frente a los impactos de la crisis económica de finales de los noventa. En el programa se buscaba capacitar para el trabajo a cientos de jóvenes, aprovechando la oferta de formación para el empleo por parte de instituciones públicas y privadas existentes en las ciudades objetivo.

Las capacitaciones eran contratadas por las llamadas entidades capacitadoras del Estado, las cuales garantizaban a los jóvenes prácticas en entidades del sector formal una vez fina-lizada la fase lectiva. Años más tarde, el manejo administrativo del programa de jóvenes en acción fue trasladado al SENA. La entidad ha venido implementando programas de forma-ción ocupacional a fin de calificar o recalificar los perfiles de quienes encuentran problemas de inserción laboral.

deScriPción del ProGrama

Jóvenes en Acción, es uno de los programas que conformaban la Red de Apoyo Social (RAS), que fue creada para contrarrestar los efectos de la crisis económica de finales de los años noventa. Está orientado a mejorar las posibilidades de inserción laboral y social de los jóvenes desempleados a través de cursos de formación para el trabajo en oficios semicalifi-cados, donde se realiza también una práctica en las empresas.

Ha sido dirigido a jóvenes Sisbén 1 y 2 desempleados de siete áreas metropolitanas: Bogo-tá, Medellín, Cali, Barranquilla, Bucaramanga, Manizales y Cartagena, con el objetivo de contribuir a mejorar los niveles y la calidad del empleo de estos jóvenes a través de acciones de formación para el trabajo, formación laboral para un oficio y práctica laboral en empre-sas formalmente constituidas.

Para realizar las acciones, se adoptó la estrategia de convocar para la presentación de pro-puestas de formación a entidades de capacitación (ECAP) que imparten la fase lectiva que dura tres meses y hacen los arreglos para que se haga una fase práctica en empresas selec-cionadas que tarda tres meses adicionales. Entre 2002 y 2005 se realizaron cinco convoca-torias con una frecuencia anual, las dos primeras dirigidas por el Fondo de Inversiones para la Paz del Departamento Administrativo de la Presidencia y las dos siguientes por el SENA.

Los medios planteados para lograr los objetivos propuestos del programa fueron: desarro-llar en los jóvenes habilidades básicas para el trabajo y específicas en un oficio dado, hasta alcanzar el nivel de trabajador semicalificado; promover el desarrollo de las habilidades básicas, sociales y transversales del joven, para mejorar su capacidad de vinculación y desempeño laboral, y, además, fortalecer la oferta de formación laboral con base en las demandas de los sectores productivos y las características y expectativas de los jóvenes be-neficiarios, así como acercar a los jóvenes beneficiarios y a las entidades de capacitación al entorno empresarial.

De la misma manera, el programa ofrece formación a jóvenes entre los 18 y 25 años de edad, de estratos de bajos ingresos en siete de las principales ciudades del país, que prefe-

Page 130: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

130130

Evaluaciones en equidad: cobertura social

riblemente se hallen en condición de desplazamiento. Este es el grupo que, según diversos estudios, se ve más fuertemente afectado por el desempleo. La cobertura esperada es de 100.000 jóvenes capacitados durante los tres años iniciales de su ejecución. A continuación, se muestra el resultado de ejecución del programa respecto al presupuesto aprobado, desde el año 2003 hasta la fecha:

Cuadro 24Recursos para capacitación Jóvenes en Acción

(Millones de pesos corrientes)84

año Recursos aprobados(1)

Recursos ejecutados(2)

Porcentaje ejecutado(2)/(1)

2003 36.600 36.359 99,3%

2004 105.027 103.858 98,9%

2005 40.000 39.822 99,6%

2006 25.218 25.156 99,8%

2007 18.000 17.152 95,3%

2008 6.430 6.244 97,1%

2009* 32.999 32.637 98,9%

Fuente: Elaboración DEPP con base en el informe de la evaluación.

deScriPción de la evaluación

Al igual que en el caso de Empleo en Acción, la evaluación del programa servirá para deter-minar la eficacia de la estrategia en términos de su focalización y capacidad de protección tanto al capital humano, como a la generación de ingresos futuros de la población benefi-ciada.

El objetivo fue realizar una evaluación integral (evaluación de operaciones, impacto, y efi-ciencia en la focalización, la relación costo-beneficio y costo-efectividad y reducción de la pobreza) de la aplicación del programa Jóvenes en Acción - Capacitación laboral de jó-venes desempleados de bajos recursos (JeA) sobre los jóvenes, sus hogares, las entidades capacitadoras y las empresas que impartieron la capacitación. Está dirigido a los jóvenes de las ciudades de Bogotá, Medellín, Cali, Barranquilla, Bucaramanga, Manizales y Cartagena, donde se presenta la tasa de desempleo más alta del país.

Para esto, se observó la capacidad del programa para cumplir sus objetivos de desarrollar en el joven competencias técnicas en un oficio específico, hasta alcanzar un nivel de obrero semicalificado, para desarrollar una oferta de capacitación pertinente a las necesidades de la industria y para validar a los jóvenes ante la empresa, especialmente las pymes (pequeñas y medianas empresas).

84 Departamento Nacional de Planeación. “¿En qué invierte el Gobierno colombiano? Los Grandes Proyectos del Estado Comunitario en 2008”. Bogotá, Editorial Kimpres Ltda., 2009 (en https://www.sigob.gov.co/met/meta.presupuesto.aspx?m=653).

Page 131: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

131131

Empleo

La evaluación del programa en mención estuvo a cargo del Departamento Nacional de Pla-neación, mediante contrato de consultoría con la Unión Temporal Institute For Fiscal Studies (IFS), Econometría S.A. y Sistemas Especializados de Información (SEI). Se llevó a cabo entre los meses de junio de 2003 y mayo de 2007 y sus resultados fueron publicados mediante un documento a cargo del DNP en octubre de 2008.

La medición de impactos se basa en un método cuasiexperimental que permite la com-paración entre grupos de tratamiento y control, escogido este último de forma tal que las diferencias pudieran ser atribuidas al programa. La evaluación se centró en tres aspectos fundamentales a identificar en los beneficiarios:

i) La empleabilidad, que contempla variables como la probabilidad de estar empleado, el periodo de búsqueda de empleo y la duración del empleo.

ii) La calidad del empleo, medida en términos de si ofrece beneficios no salariales, si está sujeto a un contrato y si está cubierto con regulaciones laborales.

iii) Los ingresos laborales.

Adicionalmente, la evaluación exploró los impactos en las familias de los jóvenes benefi-ciados, estimando los efectos sobre el consumo familiar y sobre la participación laboral de todos los miembros de la misma.

Para poder aplicar metodologías de evaluación de impacto es necesario que los agentes ob-jeto del programa se puedan observar antes de ser expuestos a él y que se seleccionen para participar en el programa sin que el mismo proceso de selección introduzca sesgos sobre los efectos del programa. Con el fin de lograr cumplir con estas condiciones en lo referente a los jóvenes que serían reclutados para el programa se escogió la cuarta convocatoria como aquella en la cual se recogería la información necesaria para hacer la evaluación del impacto. Ésta había sido programada para iniciarse en el año 2004 pero se llevó a cabo efectivamente en 2005.

La metodología específica tiene en cuenta los siguientes problemas:

Sesgo de selección (positivo): Generado cuando las ECAP utilizan variables obser-•vables para seleccionar los beneficiarios, se pidió a las ECAP que seleccionaran un número mayor de jóvenes, que equivale al 150% de los cupos que tenían para cada uno de los cursos, de manera que la selección definitiva de los beneficiarios se hiciera aleatoriamente dentro del grupo de preseleccionados.

Sesgo de selección (negativo): Generado cuando los jóvenes que consiguen otro cupo •son aquellos que enfrentaban una situación laboral peor antes del programa, implica-ría que el grupo de beneficiarios fuera peor que el grupo de no beneficiarios.

Para corregir por el sesgo de autoselección, se siguen tres estrategias: (1) estimar el modelo utilizando variables instrumentales, (2) estimar un modelo de diferencias en diferencias y (3) utilizar métodos de pareo.

La muestra de jóvenes y sus familias tiene carácter de “panel”, es decir, se utiliza tanto en la línea de base, como en la encuesta de seguimiento realizada 20 meses después. Se definió en un tamaño de 3.300 jóvenes, de los cuales 1.650 son jóvenes tratamiento (beneficiarios de la capacitación) y los 1.650 restantes, jóvenes control (no beneficiarios).

Page 132: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

132132

Evaluaciones en equidad: cobertura social

La muestra de las empresas se tomó a partir de la base total de jóvenes capacitados en la cuarta convocatoria del SENA. De allí se formó la base de empresas donde los jóvenes trata-miento habían realizado la práctica, arrojando un total de 1.009 empresas. Adicionalmente, construyeron una variable proxy del tamaño de las empresas con base en el número total de jóvenes que habían capacitado, tomando la base completa de los 17.923 jóvenes capacita-dos durante la convocatoria mencionada. El resultado fue de cinco categorías:

Empresas que capacitaron de 1 a 15 jóvenes1.

Empresas que capacitaron de 16 a 40 jóvenes2.

Empresas que capacitaron de 41 a 100 jóvenes3.

Empresas que capacitaron de 101 a 300 jóvenes4.

Empresas que capacitaron más de 300 jóvenes.5.

PrinciPaleS concluSioneS

De manera general, dados los resultados del estudio, se puede asegurar que la intervención de Jóvenes en Acción tuvo impactos significativos sobre la consecución de empleo, la cali-dad del mismo y los ingresos de los jóvenes que participaron en el programa. Además, se encontró que la mejora en la situación laboral de los jóvenes generó a su vez un cambio en la composición del gasto del hogar. En cuanto a la estrategia de implementación del pro-grama, se encontró que basarse en propuestas de entidades de capacitación (ECAP) para impartir cursos específicos y conseguir la participación de empresas que condujeran una fase práctica es apropiado para el cumplimiento de los objetivos del mismo.

El aumento de la empleabilidad de los jóvenes expuestos al programa se evidencia en •términos de días trabajados, de la probabilidad de estar empleado y de una reducción en el tiempo de búsqueda de empleo (aunque los últimos dos efectos no son siempre significativos). Además, se aumentan las posibilidades de conseguir un trabajo con contrato escrito y en el sector formal, seguido de un aumento en los ingresos tanto para los trabajadores asalariados, como para los autónomos.

La mejora laboral para los jóvenes que participaron en el programa se proyecta sobre •sus hogares al generar un cambio en la composición del gasto en el hogar, incluyendo un aumento en el gasto en ropa y en gastos en transporte (gastos probablemente rela-cionados con el hecho de estar empleados).

El programa tuvo un efecto de integración social y, para la gran mayoría, casi un 90% •de los beneficiarios de Jóvenes en Acción. Su práctica laboral fue su primera experien-cia con un trabajo formal, de modo que la labor de introducción al mercado formal de trabajo fue uno de los principales resultados.

Los resultados muestran que la relación costo-beneficio puede llegar a ser 1,6 con un •valor presente neto US$62.4 millones. En el escenario más pesimista, el valor presente solo sería de US$15.8 millones, resultados que muestran la conveniencia que tuvo la destinación de recursos públicos a financiar el programa.

En cuanto a rentabilidad, el rango en que esta se puede encontrar, según la trayectoria •futura de los beneficios, estaría entre el 11,9% y el 16,6%.

Referente a la escogencia del área de cobertura para comenzar el programa, el hecho •de que fueran las siete mayores áreas metropolitanas la constituye en una decisión

Page 133: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,

133133

Empleo

acertada, ya que con ello se aseguraban tanto la existencia de demanda por la ca-pacitación como de la oferta de la misma en sus fases docente y práctica. El informe menciona que quizá el aspecto más importante del diseño del programa fue la con-vocatoria a las ECAP para que concursaran con propuestas de cursos que incluían arreglos previos para la práctica en empresas.

recomendacioneS de la evaluación

Puesto que la tasa de rentabilidad del programa obtenida en la evaluación está entre 11,9% y 16,6%, se asegura que el Gobierno colombiano se encuentra frente a una oportunidad óptima para asignar recursos cuyos efectos son múltiples. Lo anterior debido a que, en pri-mer lugar, el rendimiento monetario de la inversión es más que suficiente para compensar la inversión y, en segundo lugar, estos rendimientos les llegan a jóvenes pobres. Es decir que, en palabras del evaluador, “estamos ante un programa que se justifica tanto desde la perspectiva económica como desde la perspectiva social”.

Ficha técnica de la evaluación

Título de la evaluación Programa Jóvenes en Acción. Impactos del programa sobre los bene-ficiarios y sus familias

Programa evaluado Jóvenes en Acción

Cobertura del programa

Jóvenes desempleados entre 18 y 25 años, de los niveles Sisbén 1 y 2 que residen en 7 áreas metropolitanas compuestas por las capitales Bogotá, Cali, Medellín, Barranquilla, Bucaramanga, Manizales y Car-tagena, y sus municipios aledaños.

Presupuesto del programa 2009: 33 mil millones de pesos

Entidad que contrató la evaluación Departamento Nacional de Planeación

Evaluador Unión Temporal Institute For Fiscal Studies (IFS),Econometría S.A. y Sistemas Especializados de Información (SEI).

Costo de la Evaluación 1.398 millones de pesos

metodologías utilizadas Evaluación de impactos: uso de un diseño cuasiexperimental. Variables instrumentales (VI), diferencias en diferencias y métodos de pareo.

Recolección de la información Muestra:3.300 jóvenes: 1.650 grupo tratamiento y 1.650 grupo control. •

duración Junio de 2003-mayo de 2007

Bibliografía

Departamento Nacional de Planeación. “¿En qué invierte el Gobierno colombiano? Los grandes proyectos del Estado comunitario en 2008”. Banco Mundial, Banco Interamericano de Desarrollo (BID) y USAID. Bogotá, 2009.

Departamento Nacional de Planeación. “Programa Jóvenes en Acción. Impactos del progra-ma sobre los beneficiarios y sus familias”. Red de Apoyo Social, Banco Interamericano de Desarrollo (BID) y Presidencia de la República. Bogotá, 2007.

Departamento Nacional de Planeación y SIGOB (en https://www.sigob.gov.co/ind/indicado-res.aspx?m=653, recuperado en febrero 22 de 2010).

Page 134: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,
Page 135: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,
Page 136: Departamento Nacional de Planeaciónsiare.clad.org/siare/innotend/evaluacion/colombia/c3.pdf · Evaluación cualitativa de resultados del proyecto “educación musical para niños,