1

ANEXO III - TÉRMINOS DE REFERENCIA DISEÑO Y LEVANTAMENTO DE INFORMACIÓN DE LA LÍNEA BASE DEL PROGRAMA DE

HORIZONTES - EDUCACIÓN SECUNDARIA RURAL HORIZONTES, DE AYACUCHO Y PIURA

1. ANTECEDENTES Y JUSTIFICACIÓN

La Oficina de UNESCO Lima y la Fundación Auxilium1 suscribieron un convenio para implementar el Programa Educación Rural de Escuelas Secundarias en Ayacucho y Piura.

El Programa de Educación Secundaria Rural de UNESCO, HORIZONTES, tiene como objetivo principal lograr que adolescentes de cuatro zonas rurales de Perú puedan completar su educación básica secundaria con un proyecto de vida basado en el desarrollo integral de habilidades socioemocionales y una formación técnica-productiva vinculada a demandas y oportunidades locales.

Para lograr el objetivo, el programa desarrolla tres líneas de acción, cada uno con sus propios resultados e indicadores: (i) Calidad y Relevancia, (ii) Retención de adolescentes, y (iii) Conocimiento e Incidencia.

El primero, denominado Calidad y Pertinencia, busca que los adolescentes culminen su secundaria desarrollando un set de habilidades socioemocionales y una formación técnico-productiva, para lo cual implementa un currículo intercultural y ofrece una doble certificación (secundaria y técnica productiva).

El segundo componente, llamado Retención, busca reducir las principales causas de la deserción en secundaria rural: trabajo adolescente, embarazo temprano y violencia, para lo cual establece una red interinstitucional de prevención, detección y atención de casos, contando con las principales instituciones locales vinculadas al tema como centros de salud, juzgados, defensoría, comisaría entre otros; además de desarrollar capacidades de resiliencia con los adolescentes afectados.

El tercer componente tiene como objetivo influir en las decisiones de política sobre educación rural en Perú. Para ello, se organiza un Observatorio de Educación Rural, se forman coaliciones nacionales y regionales para la educación rural y se fortalece el papel del Consejo Nacional de Educación.

La implementación del programa se organiza en dos grupos de escuela. Un primer grupo de escuelas secundarias seleccionadas y priorizadas como “escuelas nodos” en cada territorio cumplirán un rol demostrativo; y las acciones del Programa operan de manera completa e intensiva hasta el nivel de los estudiantes. Un segundo grupo de escuelas secundarias seleccionadas y definidas como “escuelas red” cumplirán un rol de

1La Fundación Auxilium es una institución privada de caridad en Suiza. La Fundación ha estado apoyando a organizaciones dedicadas a la dignidad humana y la justicia social durante más de 50 años.

2

escalamiento; y las acciones del Programa operan hasta el nivel de escuela; es decir, a nivel de cambios institucionales.

Los resultados e indicadores por componente son presentados en el siguiente cuadro:

LÍNEA IMPACTO/RESULTADO INDICADOR

IMPACTO

I: Los jóvenes de las zonas rurales llevan a cabo sus proyectos de vida y trabajan en actividades relacionadas con el desarrollo local de su comunidad.

i1: Porcentaje de jóvenes graduados de escuelas secundarias públicas que implementan sus planes de vida en vínculo con el desarrollo local de su comunidad, por sexo y población indígena i2: Porcentaje de empleo adecuado de los jóvenes graduados de escuelas secundarias públicas, por sexo y población indígena

CALIDAD Y PERTINENCIA

R1: Las escuelas secundarias de las dos regiones priorizadas logran capacidades institucionales para capacitar a 3500 estudiantes en habilidades socioemocionales con un enfoque WCD, a través de un programa de aprendizaje de acción y asistencia técnica pedagógica.

i3: Porcentaje de directores y docentes que desarrollan habilidades socioemocionales e interculturales, a ser transferidos a sus estudiantes

R2: Los adolescentes de al menos 8 escuelas secundarias nodales de las regiones priorizadas desarrollan habilidades para la vida dentro de un enfoque WCD y obtienen doble certificación (escuela secundaria y técnica productiva).

i4: Porcentaje de estudiantes de escuelas secundarias que obtienen doble certificación, por género y población indígena i5: Porcentaje de adolescentes que desarrollan habilidades socioemocionales e interculturales, por sexo y población indígena i9: Porcentaje de adolescentes que desarrollan un sentido de pertinencia e identidad con su comunidad y cultura.2

RETENCIÓN

R3: Las escuelas secundarias en las 2 regiones adoptan estrategias sostenibles para retener a los estudiantes de alto riesgo en la escuela.

i6: Tasas de deserción por edad y grado de secundaria, según sexo y población indígena

R4: Los adolescentes de al menos 8 escuelas secundarias de alto riesgo de las áreas priorizadas obtienen capacidades de resiliencia, en un enfoque de WCD, para terminar sus estudios y enfrentar factores de exclusión (trabajo de adolescentes, violencia en la escuela y embarazo).

i7: Porcentaje de adolescentes con factores de riesgo de deserción que desarrollan capacidad de resiliencia

CONOCIMIENTO E INCIDENCIA

R5: Las primeras lecciones / contribuciones del Programa y sus componentes de WCD influyen en las políticas, las reglas y la opinión pública y las intervenciones a nivel nacional y regional.

i8: Número de documentos de política, planificación o presupuesto a nivel nacional o regional que incorporan algunos de los componentes del programa

2 Aparece como indicador nueve (09) dado que fue incorporado en la fase 2 para las regiones de Ayacucho y Piura

3

La población beneficiaria directa se conforma por los estudiantes de escuelas secundarias (entre 11 y 17 años), incluyendo profesores y directores de las instituciones educativas públicas y rurales donde asisten. El grupo “nodo” se conforma de 10 instituciones educativas: 5 en Piura (provincias de Morropón y Huancabamba) y 5 en Ayacucho (provincias de Víctor Fajardo y Cangallo)3. De acuerdo a Escale, en el año 2018, hubo 1,801 estudiantes de secundaria matriculados y 148 docentes trabajando en las 10 escuelas.

En este contexto, con el fin de generar evidencia necesaria para establecer un punto de partida a ser comparada luego con los logros del Programa, se hace necesaria la contratación de una institución consultora especializada en evaluación de proyectos socioeducativos, para la evaluación de este programa en su etapa inicial (línea base).

2. OBJETO DE LA CONVOCATORIA

2.1. OBJETIVO GENERAL

Realizar una línea base del Programa HORIZONTES - EDUCACIÓN RURAL DE ESCUELAS SECUNDARIAS DE AYACUCHO Y PIURA según indicadores de resultado e impacto planteados en el Programa.

2.2. OBJETIVOS ESPECÍFICOS

Brindar opinión técnica sobre el diseño de evaluación del Programa

Elaborar diseño muestral

Diseñar y validar instrumentos de recolección de información

Coordinar y conducir el recojo de información según diseño y muestra

Realizar análisis de validez y confiabilidad, cuando aplique

Realizar análisis comparativos de los indicadores entre grupos de intervención y control

3. PREGUNTAS DE LA EVALUACIÓN Y METODOLOGÍA

3.1. ENFOQUE METODOLÓGICO SUGERIDO PARA LA EVALUACIÓN

El programa busca tener un cuerpo sólido de resultados empíricos atribuidos a la intervención, para lo cual plantea un diseño de evaluación riguroso que valide la relación entre líneas de intervención y resultados e impacto obtenidos. Para ello, el programa cuenta con un diseño de evaluación para 5 resultados y 1 impacto a través de 9 indicadores, que tiene en consideración: (i) El programa se compone de un grupo de colegios demostrativos (“escuelas nodo”) que

3 Ver anexo 1.

4

recibirá la implementación del programa de manera directa, y un grupo de colegios asociados a los colegios demostrativos (“escuelas red”) que recibirá la intervención en modalidad indirecta. Esto significa que, en términos de diseño de evaluación y presentación de resultados, puede hablarse de dos niveles de intervenciones. Tanto el muestreo como el análisis de los resultados deben considerar este factor. (ii) El programa tiene cuatro resultados directamente relacionados a la población beneficiaria: colegios y estudiantes; mientras que el último está vinculado más a un posicionamiento de la agenda secundaria rural en la comunidad y política educativa. Esto lleva a tener un diseño experimental para cuatro resultados (i3, i4, i5, i6, i9) y un impacto (i1, i2) vinculados directamente a lo que se quiere lograr para los adolescentes y colegios secundarios; mientras que el quinto resultado será evaluado bajo otro esquema de evaluación. Para los indicadores 1, 2, 3, 5, 6, 7 y 9 se propone un diseño cuasi experimental que incluye una evaluación de línea base con dos grupos de intervención (“nodo” y “red”) y un grupo control no equivalente. Los indicadores 1 y 2, al ser de impacto, siguen además un esquema longitudinal a cohortes de egresados de las escuelas secundarias.

El diseño de evaluación se representa de la siguiente manera:

GEnodo O1 X1 O2 GEred O3 X2 O4

GC O5 O6

Donde, X1 es la implementación del Programa en las escuelas “nodo” X2 es la implementación del Programa en las escuelas “red” O1, O3, O5 corresponde la línea base O2, O4, O6 corresponde a las evaluaciones post implementación del Programa El grupo “control” se elaborará a través de escuelas “emparejadas” a las escuelas de intervención del grupo “nodo” según un set de características similares que, considerando las características de las zonas geográficas y la distribución de escuelas secundarias en el territorio, se sugieren como criterios mínimos:

(i) Pertenecer a la misma región; (ii) Tener similar tamaño a nivel de estudiantes; (iii) Tener similar índice socioeconómico a nivel escuela4; (iv) Haber obtenido similar puntaje de evaluación en la ECE 2017.

4 MINEDU establece un índice socioeconómico para cada escuela a través de la Evaluación Censal de Estudiantes (ECE).

5

El grupo “red” se elaborará en función a la relación que tiene con la escuela nodo. Una escuela red es una escuela que mantiene un vínculo con una escuela nodo en términos geográficos, históricos, organizacionales, de soporte o colaboración. Además, las escuelas del grupo control serán seleccionadas evitando posibles “contaminaciones” mientras dure el programa. Los indicadores 4 y 8 se evaluarán fuera del esquema del diseño cuasi experimental. Específicamente, el indicador 4 no será considerado para la línea base de la presente convocatoria dado que en el contexto actual no existen doble certificación. El indicador 8 se realizará a través de una revisión documental, siguiendo un modelo de evaluación diferentes al diseño cuasi experimental.

3. ACTIVIDADES

Previo a recolección de información

1. Revisión de los documentos vinculados al programa como el diagnóstico cualitativo, programme plan, grant dos, diseño de evaluación, propuesta conceptual del programa y otros vinculados a la línea de intervención.

2. Participación en reuniones con equipo regional y nacional de UNESCO vinculado al programa.

3. Revisión de la línea base para Cusco y Amazonas en todos sus aspectos para diseñar una propuesta que pueda unificar ambos levantamientos de información en base a indicadores e instrumentos comunes.

4. Elaboración y presentación del plan de trabajo. 5. Revisión y opinión sobre los indicadores del programa y el diseño de evaluación,

indicando su pertinencia y viabilidad según estructura del programa; así como su calidad de definición operacional (ver anexo 2).

6. Definición de metodología para establecer escuelas del grupo “red” y grupo “control” según las especificaciones dadas en la sección del ENFOQUE METODOLÓGICO.

7. Definición de diseño muestral para los indicadores del programa, precisando tipo, tamaño y margen de error, si aplica, de acuerdo a cada indicador y diseño de evaluación. Para estudiantes, se realizará un muestreo probabilístico y representativo considerando región, grado, sexo y población indígena. Para docentes, se incluirá al total de la población docente y directivo. Para egresados, se realizará un levantamiento censal de los estudiantes de quinto de secundaria a quienes se realizará un seguimiento longitudinal en siguientes evaluaciones, por lo que se requiere un recojo de información que permita hacer un seguimiento posterior cuando estén fuera de la escuela.

8. Revisión, adaptación y/o elaboración de los instrumentos de recojo de información para la línea de base según indicadores; conjuntamente con sus

6

manuales o instructivos de uso (ver anexo 2). Instrumentos deben incluir un conjunto de variables descriptivas y factores asociados que señale la literatura como asociados a resultados académicos y no académicos del adolescente (edad, repitencia, educación inicial, experiencia de violencia, lengua materna, clima escolar, índice socioeconómico, embarazo y trabajo adolescente, entre otros), y el docente (edad, escala, titulación, años de experiencia, manejo de lengua originaria, expectativas laborales, entre otros).

9. Implementación de un piloto para la validación de los instrumentos que considerará: (i) Comprensión de preguntas; (ii) Duración de aplicación; (iii) Estrategia de aplicación para nativos no castellano; (iv) Análisis de confiabilidad; (v) Funcionamiento de la fórmula de los indicadores.

10. Selección, contratación y capacitación del equipo de campo que ejecutará el levantamiento de información.

11. Contratación de un traductor que domine oralmente la lengua Quechua para la aplicación de los instrumentos a estudiantes, docentes y egresados de habla materna Quechua.

Durante la recolección de información

12. Coordinación con Coordinador(a) Regional de cada departamento para facilitar acceso a las zonas de trabajo.

13. Organización y conducción del levantamiento de información en las escuelas “nodo”, “red” y “control”.

14. Desplazamiento del personal evaluador a cada uno de las instituciones educativas definidas en la muestra.

15. Coordinación con autoridades de UGEL, escuela y comunidad (si es necesario) para explicar el propósito de la visita y obtener autorización para recojo de información.

16. Aplicación de instrumentos validados a docentes, estudiantes y egresados; valiéndose de traductor para encuestar de manera oral cuando se trata de un nativo o quechua hablante.

Después de la recolección de información

17. Digitación, codificación y “limpieza” de datos de información recolectada. 18. Conformación y cálculo de indicadores, de aquellos que aplique (ver anexo 2). 19. Análisis descriptivos generales de las poblaciones e indicadores. 20. Análisis comparativos y contrastes de hipótesis, previas pruebas de normalidad,

sobre los indicadores según grupos (nodo, red, control); sexo (hombre, mujer), lengua (castellano, quechua).

21. Análisis de información cualitativa. 22. Reunión con responsable de línea base en UNESCO para revisar análisis

preliminares y resolver formatos de presentación.

7

23. Elaboración de informe final sobre línea base del programa, el cual debe contener los resultados para cada uno de los indicadores, siguiendo como referencia el anexo 3 del presente documento.

24. Elaboración de una presentación en power point de los resultados identificados en el Informe Final de la Evaluación y un resumen ejecutivo, ambos en idioma español e inglés.

4. RESULTADOS ESPERADOS (OUTPUTS)

Producto 1: Plan de trabajo y propuesta metodológica que incluye:

o Propuesta de diseño de evaluación experimental. o Metodología de emparejamiento y propuesta de escuelas “control”; y

propuesta de escuelas “red”. o Propuesta preliminar de instrumentos a ser aplicados. o Propuesta piloto para validación de instrumentos. o Diseño muestral según indicadores o Plan de actividades según cronograma de trabajo.

Producto 2: Informe técnico. Incluye:

o Informe sobre prueba piloto o Presentación de instrumentos validados, con respectivos consentimientos

informados, instructivos, y manuales o Presentación de análisis de validez y confiabilidad, cuando aplique o Muestra final de escuelas red y control, según criterios técnicos y diseño

muestral para cada indicador o Cronograma de visitas o Información sobre traductor y operación logística

Producto 3: Informe final. Deberá seguir las indicaciones y esquema previstos en el Anexo 3. Informe incluirá resultados a nivel de validez y confiabilidad de las escalas aplicadas; las comparaciones estadísticas y supuestos esperados entre grupos “nodo”, “red” y “control” para los indicadores 1, 2, 3, 5, 6, 7 y 9; y los resultados encontrados para los indicadores 8. También se debe incluir recomendaciones para evaluaciones posteriores. El producto 3 incluye la entrega de las bases de datos, libro de códigos, syntax, encuestas diagramadas según aplicación, instructivos finales utilizados y otros materiales que hayan servido de insumo para la evaluación. Incluye un resumen ejecutivo y una presentación en power point en castellano e inglés.

Todos los productos deberán ser entregados dentro del plazo establecido en el cronograma de trabajo y serán revisados por UNESCO. De haber observaciones, la

8

institución consultora deberá revisar e incorporar los comentarios y/o correcciones pertinentes en un plazo no mayor a los diez (10) días calendarios. Para dicho fin, la consultora deberá presentar una matriz de subsanación de comentarios indicando la observación realizada y cómo fue atendida la misma.

Una vez aprobado cada entregable por UNESCO, el producto deberá ser ingresado por mesa de partes en versión impresa y digital.

5. INSUMOS PROPORCIONADOS

La UNESCO proveerá los siguientes insumos:

Documentos referidos al programa (Programme Plan, Marco lógico).

Diseño de evaluación del Programa y fichas de indicadores.

Diseño de evaluación para primera fase (regiones Cusco y Amazonas)

Diagnóstico cualitativo aplicado en las zonas

Data e información relevante de la UNESCO.

Toda la documentación disponible para el diseño e implementación de la evaluación.

6. PERFIL DE LA CONSULTORA

Se requiere una institución consultora que cumpla con los siguientes requisitos mínimos:

a) Experiencia institucional:

o Cinco (05) años o más de experiencia previa, nacional o internacional, en evaluaciones cualitativas y/o cuantitativas en proyectos sobre temas sociales, de preferencia financiados por cooperación internacional.

o Haber elaborado ocho (08) o más estudios, consultorías y/o investigaciones de intervenciones que evidencien el conocimiento en política educativa.

o Tres (03) o más líneas base o evaluaciones externas de programas y/o proyectos de educación en el país. Si las evaluaciones fueron sobre proyectos de educación secundaria, rural o interculturalidad serán consideradas un plus.

o Por lo menos (01) publicación en el área de evaluación de programas / proyectos, será considerado un plus.

b) Propuesta técnica:

o La propuesta responde a los objetivos y requisitos establecidos en los términos

de referencia, señalando en detalle las actividades, los plazos y los productos, que deben ser consistentes con los objetivos de los términos de referencia.

9

o La propuesta describe de manera detallada el diseño de evaluación que será implementado para evaluar el programa, precisando qué diseño en específico será utilizado según los indicadores; así como las ventajas y limitaciones del modelo que se propone.

o La propuesta describe el tipo de muestreo que serán implementado para el recojo de la línea base; así como los procedimientos para tener instrumentos que respondan a los indicadores con criterios de validez y confiabilidad.

o La propuesta técnica presenta otros aspectos que complementan los TDR según la experiencia de la institución.

c) Equipo de trabajo: La institución deberá presentar los CV actualizados de su

equipo de trabajo con los siguientes perfiles:

o Coordinador (1):

Bachiller o titulado en las áreas de Educación, Ciencias Sociales, Economía o áreas relacionadas.

Maestría o Doctorado en las áreas de Educación, Ciencias Sociales, Economía, Políticas Públicas o áreas relacionadas.

Experiencia no menor de cinco (05) años en evaluaciones de programas, políticas y/o investigaciones en materia de desarrollo social y gestión de procesos.

Experiencia mínima de cuatro (04) consultorías y/o investigación, y/o estudios sociales y/o de programas sociales, y/o temas similares a la consultoría en las que se hayan utilizado metodologías y técnicas cuantitativas.

Por lo menos (01) una publicación de estudios y/o evaluaciones en temas sociales, será considerado un plus.

Experiencia de uno (01) o más procesos de evaluación a nivel internacional, será considerado un plus.

o Analista (1):

Bachiller o titulado en las áreas de Psicología, Economía, Estadística, Ciencias Sociales o áreas relacionadas.

Estudios concluidos de Maestría en Educación, Psicología, Economía, Estadística, Ciencias Sociales, Políticas Públicas o áreas relacionadas.

Experiencia no menor de dos (02) años en evaluaciones de programas, políticas y/o investigaciones en materia de desarrollo social y gestión de procesos.

Experiencia mínima de dos (02) consultorías y/o investigación, y/o estudios sociales y/o de programas sociales, y/o temas similares a la consultoría en las que se hayan utilizado metodologías y técnicas cuantitativas.

o Asistente (1):

Bachiller en las áreas de Psicología, Economía, Estadística, Ciencias Sociales o áreas relacionadas.

10

Experiencia no menor de seis (06) meses en evaluaciones de programas, políticas y/o investigaciones en materia de desarrollo social y gestión de procesos.

7. PLAZO DE EJECUCIÓN Y CRONOGRAMA

El servicio brindado tendrá una duración máxima de 120 días calendario, a partir del día siguiente de suscrito el contrato.

Cronograma de desarrollo de la consultoría.

Actividades Mes 1 Mes 2 Mes 3 Mes 4

Elaboración de plan de trabajo X

Elaboración de diseño metodológico X

Opinión de instrumentos y diseño de evaluación X

Prueba piloto X

Recolección de la información X

Procesamiento de la información X

Análisis de la información X

Elaboración y Presentación del Informe Final X

8. FORMA DE PAGO

La forma de pago será la siguiente:

Informes o Productos

Fecha de entrega a UNESCO % de pago

Producto 1

Plan de Trabajo y propuesta metodológica.- Documento que deberá ser presentado en el plazo máximo de 15 días calendario, contados a partir de la vigencia del contrato.

10%

Producto 2 Informe preliminar.- Documento que deberá ser presentado en el plazo máximo de 45 días calendario, contados a partir de la vigencia del contrato.

40%

Producto 3 Informe final.- Documento que deberá ser presentado en el plazo máximo de 120 días calendario, contados a partir de la vigencia del contrato.

50%

9. SUPERVISIÓN

11

La institución consultora trabajará bajo la supervisión del Sector de Educación de la Oficina de UNESCO Lima.

10. CONFIDENCIALIDAD Y PROPIEDAD INTELECTUAL

La UNESCO tiene propiedad intelectual del trabajo y resultados producidos.

Los productos derivados de este contrato no podrán ser utilizados sin autorización escrita. Queda prohibido cualquier tipo de reproducción, publicación, disertación o divulgación pública o con terceros, por cualquier medio verbal, audiovisual y/o escrito del material de la prestación de sus servicios.

En caso de ser publicados se mencionarán los créditos respectivos. La institución contratada se compromete a mantener confidencialidad sobre el proceso y los resultados de la contratación.

11. PRESENTACIÓN DE LA PROPUESTA

Las instituciones interesadas en participar en la convocatoria deberán ingresar por mesa de partes de la UNESCO su propuesta técnica y económica, siguiendo los formatos de la UNESCO que se encuentran adjuntos, hasta el día viernes 01 de marzo del 2019, a las 12:00 horas, indicando la referencia a “DISEÑO Y LEVANTAMENTO DE INFORMACIÓN DE LA LÍNEA BASE DEL PROGRAMA HORIZONTES EDUCACIÓN SECUNDARIA RURAL DE ESCUELAS DE AYACUCHO Y PIURA”.

Las ofertas se recibirán en papel, sobre cerrado, y deberán ser remitidas a la siguiente dirección: Av. Javier Prado Este 2465, piso 7, San Borja. Lima – Perú.

Solamente será contactada la institución seleccionada.

12

Anexo 1

Lista de Instituciones de Secundaria del Programa

Región Provincia Distrito IE Nodo Código

modular

Número de

Secciones

Número de

Docentes

Número de

Alumnos

Ayacucho Cangallo Cangallo Micaela Bastidas 0590976 5 8 74

Ayacucho Cangallo Los

Morochucos

Luis Guillermo Lumbreras

Salcedo 1731108 5 8 78

Ayacucho Cangallo Chuschi Carlos Ismael

Noriega Jimenez 1765585 5 7 88

Ayacucho Cangallo María

Parado de Bellido

Mariano Bellido 0572123 8 13 155

Ayacucho Víctor Fajardo Sarhua Nuestra Señora de la Asunción

0670943 8 18 160

Sub Total Ayacucho

31 54 555

Piura Huancabamba San Miguel de El Faique

San Miguel Arcángel

0511840 12 22 336

Piura Huancabamba Canchaque Emilio Espinoza 0356311 12 22 247

Piura Huancabamba Lalaquiz Tec. Agrop.

Néstor Martos Garrido

0576884 5 8 46

Piura Morropón San Juan de

Bigote José Carlos Mariátegui

0570895 11 22 289

Piura Morropón Salitral César Vallejo 0571133 11 20 328

Sub Total Piura

51 94 1,246

TOTAL 4 10 10 82 148 1,801

*Elaborado en base a ESCALE 2018

13

Anexo 2

Información sobre Indicadores y Variables

Ind. Variable Definición

Operacional Metodología

sugerida Población

Muestreo sugerido

Grupo control

1 Planes de vida

Para fines de la presente evaluación los planes de vida se definen como el nivel de cumplimiento entre las expectativas personales y ocupacionales que tenían las personas cuando egresaron de secundaria y los logros sobre el mismo en el momento de realizar el recojo de información, así como su nivel de satisfacción sobre el mismo, proyecciones a futuro y vínculo con el desarrollo local de su comunidad. No existe una definición operacional conclusa sobre plan o proyecto de vida al momento de realizar la línea base. Tampoco un mecanismo de seguimiento a egresados de secundaria por lo que se utilizará una muestra intencional a quienes se les preguntará a través de preguntas abiertas y cerradas sobre nivel de logro, satisfacción, acciones futuras, vínculo con el desarrollo local

Cuali-cuanti Egresados Censal SÍ

2 Empleo adecuado

Se utilizará las siguientes definiciones según monitoreo del INEI a los indicadores de los ODS: Porcentaje de egresados con un ingreso por hora superior al indicador de seguimiento de la ODS para jóvenes rurales (Ind 8.5.1 de ODS) y Porcentaje de egresados que no estudia, no trabaja ni recibe capacitación (Ind. 8.6.1 de ODS)

Cuanti Egresados Censal SÍ

3a Habilidades socioemocionales

Horizontes ha desarrollado un programa de habilidades socioemocionales que incluye las siguientes: (i ) Dimensión interpersonal: Conciencia social, Trabajo en equipo, Asertividad; (ii) Dimensión intrapersonal: Autoconocimiento, Autogestión, Autoeficacia; (iii) Dimensión prospectiva: Perseverancia, Apertura a la experiencia, pensamiento crítico, Toma de decisiones responsables; (iv) Transversales: Identidad cultural, Sentido de comunidad

Cuanti Docentes Censal SÍ

3b Habilidades interculturales

Se seguirá 5 competencias planteadas por GTZ: Apertura cultural, Habilidades comunicativas interculturales, Valoración de la pluralidad y modos de conocer y aprender; Conciencia sobre relaciones de poder y asimetría cultural; y Ciudadanía intercultural. Se buscará información a través de entrevistas con objetivo de elaborar luego un instrumento de alcance más cerrado y/o aplicación amplia.

Cuali Docentes Censal NO

4 Doble certificación

No aplica No aplica Alumnos No aplica NO

5a Habilidades socioemocionales

Horizontes ha desarrollado un programa de habilidades socioemocionales que incluye las siguientes: (i ) Dimensión interpersonal: Conciencia social, Trabajo en equipo, Asertividad; (ii) Dimensión intrapersonal: Autoconocimiento, Autogestión, Autoeficacia; (iii) Dimensión prospectiva: Perseverancia, Apertura a la experiencia, pensamiento crítico, Toma de decisiones responsables; (iv) Transversales: Identidad cultural, Sentido de comunidad

Cuanti Alumnos Probabilístico SÍ

5b Habilidades interculturales

Se seguirá 5 competencias planteadas por GTZ: Apertura cultural, Habilidades comunicativas interculturales, Valoración de la pluralidad y modos de conocer y aprender; Conciencia sobre relaciones de poder y asimetría cultural; y Ciudadanía intercultural. Se buscará información a través de entrevistas con objetivo de elaborar luego un instrumento de alcance más cerrado y/o aplicación amplia.

Cuali Alumnos Probabilístico NO

14

6 Tasa de deserción

Es la tasa de deserción de secundaria según año y edad correspondiente. Se basa en la definición de la tasa de deserción acumulada utilizada por INEI-MINEDU pero sin acumular a todo el nivel. La tasa se define como la proporción de estudiantes que no culminó la educación secundaria, o sólo culminó la educación primaria, y no se matriculó el año en curso en el nivel correspondiente, independientemente del año en que interrumpió sus estudios. Se entiende también como el complemento de la tasa de permanencia en el nivel, la cual se define como el número de estudiantes que habiendo estado matriculado en el nivel n al término del año t-1, al siguiente año vuelven a matricularse en el mismo nivel o se consideran egresados del mismo, según corresponda, respecto del número de matriculados al final del año t-1.

Donde:

Cuanti Alumnos Censal SÍ

7 Capacidad de resiliencia

La resiliencia se refiere a la capacidad de un niño para enfrentar, o adaptarse con éxito, a la adversidad aguda y/o crónica que se considera una gran amenaza para su desarrollo (Martin, 2013, p.488). Desde una perspectiva educativa, la resiliencia se trata de que los estudiantes logren resultados educativos a pesar de experimentar experiencias de vida amenazadoras o circunstancias de vida negativas. La resiliencia puede aumentar o disminuir con el tiempo en función de los cambios positivos o negativos en el entorno y

Cuanti Alumnos Probabilístico NO

15

los cambios en las necesidades de desarrollo de un niño en crecimiento (Williams, Bryan, Morrison y Scott, 2017).

8 Documentos de política

Documentos PEN, PER, PEL, PESEM, PEI, PAT, Programas presupuestales, PIP, Ordenanzas, resoluciones del GORE, DRE y UGEL del ámbito del Programa, en el periodo 2012-2017 que incluyen expresamente objetivos, metas y/o presupuesto para: 1) Habilidades socioemocionales; 2) Habilidades interculturales; 3) Reducción de deserción; 4) Atención a embarazo adolescente, trabajo adolescente y violencia escolar; 5) Capacidad de resiliencia.

Cuanti Documentos de política

Intencional NO

16

Anexo 3

Esquema Sugerido del Informe Final

Conforme a lo establecido en el acápite anterior, el Informe Final debe seguir el siguiente esquema:

1. Resumen Ejecutivo

2. Introducción (que contenga el contexto, la lógica de la intervención)

3. Metodología

a. Muestreo

b. Instrumentos

c. Consistencia de información

d. Procesamiento

4. Análisis de la información recabada

a. Análisis de validez y contenido (de lo que aplique)

b. Análisis por indicador, según sexo y grupos indígena

c. Análisis por indicador, según región, sexo y grupos indígena

5. Análisis sobre género y poblaciones indígenas

6. Conclusiones

7. Recomendaciones y lecciones aprendidas

a. Para el programa

b. Para siguientes evaluaciones de resultados e impacto

8. Fuentes de información

9. Bibliografía

10. Anexos

17

Las personas que lean el Informe Final de evaluación deberán poder entender de manera clara y simple lo siguiente:

Lo que fue evaluado y cómo (objeto y alcance).

Lo que fue diseñado y cómo se llevó a cabo en la evaluación (muestra, instrumentos, metodología y limitaciones).

Lo que se encontró y sobre qué base de evidencias (hallazgos y pruebas).

Lo que se concluyó a partir de los hallazgos referidos a las preguntas de evaluación.

Lo que se recomienda (recomendaciones).

En este sentido el reporte deberá cubrir los siguientes elementos:

a. Un resumen claro y representativo.

El Informe contendrá un Resumen Ejecutivo (máximo 4 páginas). El resumen proporciona un panorama general del informe, destacando los principales resultados, conclusiones, recomendaciones y las lecciones aprendidas.

b. Lógica de la intervención.

El informe de evaluación describirá y evaluará el estado de partida de cada uno de los indicadores del Programa, distinguiendo según sexo y población indígena. Luego, por cada indicador, establecerá contrastes estadísticos o regresiones entre grupos “nodo”, “red” y “control”, especificando estadístico y valores p.

c. Validez y confiabilidad de las fuentes de información.

El informe de evaluación describirá las acciones y análisis realizados para brindar validez y confiabilidad a los instrumentos. Se requiere tener un piloto de las preguntas para analizar comprensión y fluidez de la aplicación de los cuestionarios por poblaciones adolescentes, de ámbito rural, o comunidades indígenas.

Con la data recolectada, se requiere análisis de confiabilidad, especificando los valores alpha de Cronbach u otro, señalando si algún ítem debe eliminarse de alguna de las escalas evaluadas.

Se espera obtener una valoración sobre la calidad de los instrumentos para nuevas aplicaciones y las limitaciones en cuanto a su aplicación con adolescentes y docentes de ámbito rural o poblaciones indígenas.

e. Explicación de la metodología empleada.

El Informe Final describirá y explicará la metodología de evaluación y su aplicación. El Informe reconocerá todas las limitaciones encontradas y cómo estas han afectado a la evaluación, así como la independencia y la imparcialidad de la

18

evaluación. Se detallarán las técnicas utilizadas para el muestreo, la recolección y análisis de datos; así como sus limitaciones al momento de interpretar los resultados.

f. Análisis claros.

El Informe de Evaluación presentará los resultados, conclusiones, recomendaciones y lecciones aprendidas por separado y con una clara distinción lógica entre ellos. Los hallazgos deberán ser presentados en forma fluida y lógica a partir del análisis de los datos, deberá mostrase una clara línea de evidencias que apoyen las conclusiones. Las recomendaciones y las lecciones aprendidas deberán derivarse de manera lógica a partir de las conclusiones.

De acuerdo al diseño cuasi experimental, los análisis deben mostrar estadísticamente las expectativas esperadas de los resultados entre grupos de intervención y control.

El Programa tiene un especial interés por describir la situación de mujeres y poblaciones indígenas por lo que se espera tener un acápite especial que describa en base a la información recolectada la situación que viven mujeres y poblaciones awajun, wampis y quechuas; así como los recursos que tienen para afrontarlos.

g. Reconocimiento de cambios y limitaciones de la evaluación.

El Informe de Evaluación deberá explicar la existencia de las posibles limitaciones en el proceso, en la metodología o en la información, y discutirá la validez y confiabilidad de estos. Se deberá indicar cualquier obstrucción del proceso de evaluación que pudiera haber influido en los resultados.

h. Incorporación de las observaciones de los interesados.

Las partes interesadas pertinentes tendrán la oportunidad de hacer comentarios sobre el documento de Informe Preliminar de la Evaluación. El Informe Final de evaluación deberá reflejar estos comentarios y reconocer los desacuerdos sustanciales en caso los hubiera. En las controversias sobre hechos que puedan ser verificados, los evaluadores investigarán y harán los cambios al documento cuando sea necesario.