MineduLAB: Laboratorio de

Innovación Costo-Efectiva de la

Política Educativa

Fabiola Cáceres Paurinotto

Jefa de la Unidad de Seguimiento y Evaluación

Oficina de Seguimiento y Evaluación Estratégica

22 de Junio de 2016

2

Evaluación en el marco de la reforma educativa

•Bono Escuela

•Modernización de UGELs

•Compromisos de Desempeño

•Sistema de monitoreo educativo

•Fortalecimiento del rol directivo en IE

•Soporte

Pedagógico

•Plan Nacional de Inglés

•Jornada Escolar Completa

•Colegios de Alto Rendimiento

•Becas pregrado, postgrado y especiales

•Programa Nacional de Infraestructura Educativa (PRONIED)

•Mantenimiento preventivo

•Reposición de mobiliario

•Equip. Tecnológico.

•APP y OxI

• Carrera docente meritocrática (LRM)

• Bono de ingreso a la carrera

• Beca Vocación Maestro

Revalorización de la carrera

docente

Cierre de la brecha de

infraestructura educativa

Modernización de la gestión

educativa

Mejora de la calidad de los

aprendizajes para todos

Muchas intervenciones nuevas de gran escala. Necesidad de producir evidencia sobre la efectividad de programas. Necesidad de aprender sobre el proceso de implementacion de programas. Espacio para innovar y aprender mediante experimentos rigurosos a pequeña escala.

3

Evaluación como herramienta para el aprendizaje

Evaluación de intervenciones educativas

Temas prioritarios y de avanzada Evaluaciones rápidas y costo eficientes Maximización del uso de data administrativa Evaluaciones que no detienen la implementación de las intervenciones Evaluaciones de impacto acompañadas de evaluaciones de procesos

2 componentes:

Laboratorio de innovación costo-efectiva

1 2

Behavioural Insights Team (BIT) en Reino Unido.

Iniciativa pionera. Ubicada en la oficina del Primer Ministro, condujo e implementó más de 50 innovaciones en diferentes campos de la política pública.

Con un presupuesto inferior a £1 millón, generó ahorros al gobierno por más de £480 millones entre 2010 y 2013.

Social and Behavioral Sciences Team (White House),

Presentada en setiembre de 2015 en EE.UU. Actualmente tiene 7 estudios terminados.

Department of Premier and Cabinet Behavioural Insights Unit en Australia

Danish Nudging Network

Otros (Banco Mundial):

The Behavioral Initiatives for Poverty Reduction and Equity.

The Global Insights Initiative.

4

Antecedentes de MineduLAB

MineduLAB es un laboratorio de innovación para la política educativa que permite innovar y aprender mediante el diseño, implementación y evaluación rigurosa de mejoras de bajo costo a la política existente o de nuevas intervenciones.

Las innovaciones impulsadas por MineduLAB se diseñan como pilotos de política cuya evaluación determina su efectividad antes de su escalamiento.

MineduLAB tiene un costo muy bajo para el sector, pues hace uso de los datos existentes en los registros administrativos.

5

¿Qué es MineduLAB?

6

Proceso de institucionalización

Concepción

(Nov. 2013 – Abr. 2014)

- Desarrollo de la idea

- Diagnóstico de problemática.

- Identificación de bases de datos.

- Diseño de esquema de trabajo.

Factibilidad

(Abr. – Dic. 2014)

- Identificación de innovaciones de bajo costo en la literatura y posibilidades de evaluar con data administrativa.

- Disposición a innovar en Direcciones y UU.OO.

- Preguntas relevantes para la política.

Implementación

(2015)

- Implementación de las innovaciones (1er ciclo).

Identificación de nuevas innovaciones (2do ciclo).

- Desarrollo del Manual de Operaciones

- Capacitación al equipo.

Institucionalización y operación (2016-)

- Evaluación de impacto de innovaciones de 1er ciclo

- Implementación de innovaciones de 2do ciclo

- Presentación de la experiencia y difusión

- Institucionalización del esquema de trabajo.

7

¿Cómo trabaja MineduLAB?

MineduLAB se vincula con la academia para asegurar la calidad de las investigaciones y explorar temas de vanguardia en economía de la educación y ciencias del comportamiento: Directorio de Investigación, que guía las actividades

del laboratorio: propone temas y preguntas de investigación, identifica e interpreta evidencia relevante, y brinda retroalimentación periódica.

Investigadores Principales, que conducen el diseño y la evaluación de impacto de cada innovación.

MineduLAB trabaja también con las áreas que ejecutan la política educativa, brindado apoyo para la implementación de cada innovación.

El trabajo coordinado de todos los actores permite desarrollar el ciclo de innovación.

Equipo de MineduLAB

Dirección/ UU.OO. que implementa

la innovación

Investigador principal / equipo de

investigación

8

El ciclo de innovación

Sin interrumpir la implementación de la

política educativa, MineduLAB identifica innovaciones de bajo costo y alto potencial, brinda apoyo para su implementación y las evalúa haciendo uso

de data administrativa

• Atienden problemas prioritarios de la política educativa.

• Representan nuevas formas de enfrentar dichos problemas, es decir, soluciones innovadoras.

• Incorporan conceptos de la economía del comportamiento en educación.

• Su implementación es factible en el marco normativo vigente y aprovecha la logística existente.

• Tienen un costo bajo y un impacto potencial alto.

• Su evaluación de impacto busca responder preguntas de investigación relevantes para la gestión.

• Es posible evaluar su impacto bajo métodos experimentales a partir de datos administrativos.

9

Características de las innovaciones

Prioridad para la gestión pública

Innovación de bajo costo

Prioridad académica

10

Identificación y priorización de las innovaciones

Tres canales para identificar posibles innovaciones: i. Solicitud de una dirección o unidad orgánica del Ministerio que cuenta con

una idea innovadora,

ii. Solicitud del Despacho Ministerial para atender un problema prioritario para la política educativa,

iii. Iniciativa de un investigador o una instancia académica (think tank, centro de investigación, universidad) que se encuentre alineada con la problemática de la educación pública.

MineduLAB convocará una vez al año a las áreas que implementan la política educativa y a los investigadores e instancias académicas a presentar sus iniciativas.

La selección y priorización de las innovaciones se encuentra a cargo de la Secretaría de Planificación Estratégica de la mano del Directorio de Investigación.

11

¿Qué innovaciones tenemos en curso?

Innovaciones en fase de diseño

Innovaciones en fase de evaluación

• Permite aprender mediante la experimentación de las innovaciones a un costo muy

bajo, y sin interrumpir ni interferir la ejecución de la política educativa.

• Las innovaciones son altamente costo-efectivas debido a su bajo costo y a los

impactos potenciales que se pueden obtener.

• Permite justificar con evidencia rigurosa la necesidad del impulso a ciertas

innovaciones y su potencial escalamiento.

• Posiciona al MINEDU como un ministerio de gestión moderna al incorporar la

innovación y el aprendizaje institucional en sus prácticas y de manera sistemática.

• Genera evidencia sobre políticas educativas efectivas no solo para el Minedu sino

también para otras entidades y académicos que enfrentan los mismos desafíos.

12

¿Por qué es útil el MineduLAB?

13

MineduLAB en acción 1. Campaña de envío de mensajes de texto (SMS) para la mejora de la

ejecución del Programa de Mantenimiento de PRONIED

Motivación El Programa de Mantenimiento de PRONIED transfiere recursos a los locales escolares para su ejecución en distintos rubros. En el 2014, se transfirieron S/ 630 millones y los resultados fueron los siguientes: S/ 60 millones no fueron retirados, 6 mil responsables de mantenimiento no

retiraron los fondos, 11% no declaró nada de lo retirado, 16% de los responsables que retiraron los

fondos declararon al menos la mitad de sus gastos en forma tardía,

La innovación: Incorporación de distintos tipos de mensaje en

la campaña de envío de SMS

En el 2014, Pronied realizó el envío de SMS recordando fechas clave para el registro de ficha técnica y declaración de gastos. Para el 2015, además del SMS informativo, se probó el envío de mensajes diferenciados: Alerta, Norma Social, Monitoreo, Publicación de omisos, Auditoría.

14

MineduLAB en acción 1. Campaña de envío de mensajes de texto (SMS) para la mejora de la

ejecución del Programa de Mantenimiento de PRONIED

Los mensajes de texto

Combinaron una parte fija (recordatorio de la actividad) y una parte variable (principio de comportamiento para motivar la realización de la actividad):

Norma Social

Aviso de publicación de omisos

Anuncio de auditoría

Alerta + información

Monitoreo

YRMA: ¡ALERTA! Declare los gastos de mantenimiento antes del 30 de setiembre. Para mayor detalle consulte www.pronied.gob.pe.

BENJAMIN: Declare los gastos de mantenimiento antes del 30 de setiembre. El resto de locales en su UGEL avanzan. Falta usted.

LUCILA: Declare los gastos de mantenimiento antes del 30 de setiembre. Tiene S/.3507 sin declarar en el sistema Wasichay.

ADRIAN: Declare los gastos de mantenimiento antes del 30 de setiembre. Publicaremos los nombres de los locales y responsables omisos.

KARINA: Declare los gastos de mantenimiento antes del 30 de setiembre. Visitaremos el local escolar para supervisar sus actividades.

15

MineduLAB en acción 1. Campaña de envío de SMS para la mejora de la ejecución del Programa

de Mantenimiento de PRONIED

Evaluación Resultados

Variables de resultado Registro de la ficha

técnica Registro del acta

de compromiso Retiro de recursos

transferidos Declaración

oportuna de gastos

Método: Experimental con

asignación aleatoria

Bases de Datos Administrativos: Sistema de información Wasichay Reportes del Banco de la Nación

4.03

3.77

5.12

4.68

3.15

4.16

0 2 4 6

SMS PROMEDIO

Promedio en grupo de control: 74.15%

Efectos significativos en la declaración oportuna de gastos Ámbito:

24,000 locales escolares a nivel

nacional Alerta + información

Norma social

Monitoreo

Publicación

Auditoría

Puntos porcentuales

Innovación altamente costo-efectiva (costo SMS S/ 0.10)

16

Motivación La evidencia internacional señala que la inteligencia es maleable. Más aún, se encuentra además que la auto-percepción de la inteligencia influye en la manera en que los estudiantes responden a los retos a nivel académico y personal. Así, alumnos "maleables" cuentan con mayor motivación, se esfuerzan más, no se desalientan ante la adversidad, tienen estrategias de estudio más efectivas, y tienen mayor éxito escolar.

La innovación

1. Materiales para alumnos de 1ro y 2do secundaria: artículo científico, hojas de trabajo, póster.

2. Desarrollo de sesión pedagógica: lectura de artículo, discusión grupal y en clase, preparación de carta a amigo y armado de mural con cartas y póster.

3. Envío de fotos del mural con las cartas para incentivar el desarrollo de la actividad y verificar su aplicación.

MineduLAB en acción 2. Expande tu Mente

17

MineduLAB en acción 2. Expande tu Mente

El artículo

Desarrollo de las sesiones

18

Resultados al 2015 (preliminares)

Incremento en 0.1 desviaciones estándar en el puntaje de matemática en la ECE.

Innovación altamente costo-efectiva (costo promedio por alumno es menor a S/ 2.00).

Los impactos son diferenciados, siendo que son de 0.2 desviaciones estándar en las IIEE de Áncash y

Junín, y no se encuentra impactos en las IIEE de Lima

En general, no se han encontrado impactos en comprensión lectora.

MineduLAB en acción 2. Expande tu Mente

Evaluación

Variables de resultado Rendimiento en

matemática y comprensión lectora en la ECE 2015 y 2016.

Motivación de docentes y alumnos (ECE).

Método: Experimental con

asignación aleatoria

Bases de Datos Administrativos: Evaluación Censal de Estudiantes (ECE)

Ámbito: 800 IIEE urbanas de Lima, Áncash

y Junín

19

¿Qué hemos aprendido hasta ahora?

Lecciones a partir de las innovaciones

Sobre la campaña de envío de mensajes de texto (SMS)

• El envío de SMS tiene impacto en la mejora de la gestión de los recursos. Los resultados se aprecian a las pocas semanas después del envío de los primeros SMS.

• El contenido de los SMS importa. Se ve que entre el SMS menos efectivo (alerta + información) y el SMS más efectivo (monitoreo) se logra una ganancia de efectividad de 65%. Prácticamente a costo cero.

• La costo-efectividad de los SMS es elevada. Los SMS más efectivos (norma social y monitoreo) permiten obtener alrededor de 800 soles declarados oportunamente por cada sol invertido en SMS.

Sobre la intervención psico-pedagógica “Expande tu Mente”

• Intervenciones con componentes psicológicos pueden tener un impacto sobre los logros de aprendizaje en un corto tiempo.

• Uno de los principales canales es la motivación de los docentes, quienes luego de la intervención se sentían más motivados para trabajar con los alumnos.

• La costo-efectividad de la intervención es elevada. Estudios a nivel internacional encuentran que 0.2 desviaciones estándar en aprendizaje es un medida elevada de impacto, la cual es alcanzada por esta innovación a un costo muy bajo (menos de S/ 2.00 por alumno).

20

¿Qué hemos aprendido hasta ahora?

Lecciones sobre la implementación de MineduLAB:

1. Existe disposición para innovar entre las áreas que tienen a su cargo la implementación de la política.

2. Existe disposición para colaborar entre los investigadores o académicos que trabajan temas de economía de la educación o del comportamiento.

3. MineduLAB se ha constituido en un espacio de colaboración conjunta y comunicación fluida entre gestores públicos y académicos.

4. El esquema definido requiere contar con buenos registros administrativos que se pongan a disposición en forma oportuna.

5. No obstante, MineduLAB ha enfrentado tres retos:

1. Articular las necesidades de información que tiene la gestión pública con los temas de interés y las preguntas de investigación que propone la academia.

2. Buscar la coincidencia entre la oportunidad de la evidencia que se genera para la toma de decisiones y los plazos que toman las evaluaciones.

3. Mantener los diseños experimentales en el tiempo. No siempre es posible.

21

¿Qué hemos aprendido hasta ahora?

Lecciones para la política pública:

1. Es posible generar evidencia rigurosa a bajo costo y en forma oportuna.

2. Se de respuesta a las preguntas que son relevantes para el diseño de las políticas públicas y la toma de decisiones.

3. La evaluación de impacto rigurosa se puede complementar con análisis cualitativo que permita entender lo que ocurre en la “caja negra”.

4. Es un requisito modernizar y fortalecer los registros administrativos de la institución (padrones, sistemas de reporte, etc.)

5. Los usuarios de la información que se genera, es decir, las áreas que implementan la política, deben involucrarse desde el diseño.

22

Contacto: minedulab@minedu.gob.pe www.minedu.gob.pe/minedulab