Los nuevos exámenes SABER PRO

Los nuevos exámenes SABER PRO

Javier Botero ÁlvarezViceministro de Educación Superior

Margarita Peña BorreroDirectora General - ICFES

Julián Mariño Von HildebrandDirector de Evaluación - ICFES

Bogotá, agosto 24 de 2011

Plan de la presentaciónEl sistema de calidad de la Educación SuperiorAprendizajes de los ECAES (2004 – 2008)Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior

Decreto 3963Periodo de transiciónResoluciones de características mínimas

Propósitos de los nuevos exámenesLos nuevos exámenes de ES: SABER PRO

MódulosCompetencias GenéricasCompetencias Comunes a Grupos de ProgramasProducción de resultados: Grupos de Referencia

Transición ECAES – SABER PROCómo se construyeAvance

Evaluación Noviembre 2011Combinaciones de módulos

Promover, gestionar y mejorar permanentemente la calidad de las instituciones y programas de educación superior y su impacto en la formación de los estudiantes

Generar una cultura de evaluación y autoevaluación permanente y sistemática

Propender por la pertinencia y cobertura de la Educación Superior en el país

Fomentar la búsqueda de la atención integral de los estudiantes y demás actores de la comunidad académica, con los servicios del sistema

Promover una cultura de autocontrol que conduzca a una mayor eficiencia y transparencia en la gestión de las Instituciones de Educación Superior

Objetivos del Sistema de Calidad de la Educación Superior

Sist

ema

de C

alid

ad d

e la

Ed

ucac

ión

Supe

rior

Evaluación

Fomento

EvaluaciónFomento

Evaluación

Fomento

Aseguramiento de la calidad

• Registro calificado• Planes de mejoramiento

Reconocimiento a la excelencia

• Verificación de condiciones• Acreditación de calidad

Inspección y Vigilancia

Ministerio de Educación Nacional

CESU

CONACES C.N.A.

Formulación de políticas públicas

Normas y procesos de calidad

Investigación científica para el mejoramiento

continuo

Operación del modelo

Verificación del cumplimiento de

normas

SNIES. Sistema Nacional de

Información de la Educación Superior

SACES. Sistema de Aseguramiento de la

Calidad de la Educación Superior

SPADIES. Sistema de Prevención y Atención de la Deserción de la Educación Superior

OLE. Observatorio Laboral de la Educación

I E S

ICFES

Evaluación en el Sistema de Calidad de la Educación Superior

Antecedentes Normativos Actualización legislativa de la evaluación externa.

Ley 1188 de 2008 Condiciones generales de calidad

Decreto reglamentario 1295 de 2010Características específicas de calidad

Ley 1324 de 2009Cambia la naturaleza jurídica las funciones del ICFESRegula los Exámenes de Estado

Decreto 3963 de 2009 Reglamenta las pruebas de estado de la educación superior

•N

orm

ativi

dad

Evaluación en el Sistema de Calidad de la Educación Superior

Estudiantes

• Saber 11º

• Saber Pro

Docentes

• Uso efectivo de los resultados de la evaluación docente como insumo para el mejoramiento de la calidad

IES y Programas

• Seguimiento a las condiciones de oferta de programas

• Seguimiento a la permanencia (SPADIES)

• Atención integral al estudiante

Egresados

• Vinculación al mercado laboral (Observatorio Laboral para la Educación)

•Pr

ueba

s S

aber

Pro

Objetivos de SABER PRO (Decreto 3963 de 2009)

Servir de fuente de información para la construcción de indicadores de evaluación de la calidad de los programas e instituciones de educación superior y del servicio público educativo, que soporten la cualificación de los procesos institucionales, la formulación de políticas y el proceso de toma de decisiones en todos los órdenes y componentes del sistema educativo.

Comprobar el grado de desarrollo de las competencias de los estudiantes próximos a culminar los programas que ofrecen las instituciones de educación superior de tal manera que sirva como insumo para el mejoramiento continuo.

Producir indicadores de valor agregado de la educación superior en relación con el nivel de competencias de quienes ingresan a este nivel.

Evaluación de Estudiantes en el Sistema de Calidad de la Educación Superior

Número de programas evaluados, 2004 - 2008

38 5054

55 55

Total de estudiantes evaluados por área del conocimiento, 2004 - 2008

Puntajes promedio ECAES, 2004 - 2008

Puntaje ECAES, 2008Diferencias Oficial – Privado

Participación por ECAES IES

Total 2.008 2.008Lic Matematicas 946 260 19Lic Frances 669 125 4Fonoaudiologia 1.271 243 12Nutricion Y Diet. 1.142 271 6Optometria 1.040 242 7Terapia Ocup. 800 178 9I. Agricola 514 105 5I. Petroleos 1.067 261 4I. Forestal 547 127 5I. Agroindustrial 1.034 201 11Téc. Electrónica 787 200 9Quimica 1.150 271 12Fisica 458 100 7Matematicas 411 84 11Geologia 467 72 4

Total 12.303 2.740% del Total 3% 3%

Estudiantes IESTotal 2.008 2.008

Derecho 42.576 8.267 80Administracion 58.509 10.363 132Contaduria 32.742 5.677 87I. Industrial 21.483 4.105 62I. Sistemas 28.834 4.261 97

Total 184.144 32.673% del Total 44% 39%

Estudiantes

5 ECAES concentraban el 44% de los evaluados,

mientras 15 representaban tan sólo el 3%.

Limitaciones de los ECAES (2004 – 2008)Los resultados producidos presentan las siguientes dificultades para construir indicadores que apoyen la toma de decisiones sobre calidad en Educación Superior:

Sesgo por no presentación del examen de una parte importante de la población (cerca del 25% entre individuales y programas enteros).

Imposibilidad para comparar las medidas entre programas: los exámenes evalúan cosas distintas en poblaciones distintas. Ni los promedios, ni las distribuciones, ni las variaciones son comparables.

Posibilidades restringidas de uso para la toma de decisiones en los niveles altos de la administración del sistema (por encima de programa: facultades, rectorías, MEN, público en general) debido a la atomización de resultados.

Posibilidades restringidas de interpretación pedagógica de los resultados de los exámenes particulares. No se asocian a los puntajes descripciones pedagógicas sobre qué pueden hacer los estudiantes y qué les falta.

Con excepción de Inglés y de una evaluación limitada de Comprensión Lectora, no se da cuenta del desarrollo de competencias transversales, requeridas para cualquier profesional.

Orientación a la producción de resultados brutos, no medidas de valor agregado. Los mejores puntajes corresponden sistemáticamente a las instituciones con procesos de selección más estrictos.

Problemas técnicos que afectan la calidad de las mediciones debidos a los tamaños demasiado pequeños de las poblaciones que se evalúan con algunos de ellos.

Limitaciones de los ECAES (2004 – 2008)

Competencias a evaluar

Se deben evaluar las competencias de los estudiantes que están próximos a culminar los distintos programas de pregrado, en la medida en que puedan ser valoradas con exámenes externos de carácter masivo, incluyendo aquellas genéricas que son necesarias para el adecuado desempeño profesional o académico independientemente del programa que hayan cursado.

Las competencias específicas serán definidas por el MEN con la participación de la comunidad académica, profesional y del sector productivo, teniendo en cuenta los elementos disciplinares fundamentales de la formación superior que son comunes a grupos de programas en una o más áreas del conocimiento.

Los exámenes estandarizados no pretenden ser la medida de la calidad de la formación impartida.

Marco legal – Decreto 3963 de 2009

Nuevas reglas

Obligatoriedad de los exámenes de Estado (de Media y Superior), para ingresar al pregrado y obtener el título

Adopción de estructuras de examen e indicadores comparables por períodos no menores a 12 años

Establecimiento de un periodo de transición para la adopción gradual de las nuevas estructuras. Durante este periodo se elaborarán y validarán las nuevas evaluaciones.

Marco legal – Decreto 3963 de 2009

MINISTERIO DE EDUCACIÓN ICFES

Establece los propósitos de la evaluación, sus efectos y, a través de las resoluciones, qué debe evaluarse:

Competencias genéricasCompetencias comunesCompetencias específicas

Diseña y construye las pruebas, las aplica y produce reportes de resultados (individuales y agregados):

Instrumentos (módulos)Resultados por grupos de referencia

En cooperación con: Comunidad académica Sector productivo

Competencias del MEN y del ICFES

Resoluciones de características específicas definidas por competencias

Área ApoyoProyectos de resolución para evaluación por CONACES

Derecho ACOFADE

Arquitectura ACFA

Economía AFADECO

Ingeniería ACOFI

Psicología ASCOFAPSI

Administración ASCOLFA

30 de agosto. Presentación propuesta por parte de entidades de apoyo

Salud Alianza de Salud

Comunicación AFACOM

Veterinaria y Agrarias ASFAMEVEZ y ACOFIA

Contaduría REDFACONT

Ciencias Naturales ACOFACIEN

Apoyar el Sistema de Aseguramiento de la Calidad de la Educación Superior con mejor información para la toma de decisiones.

Evaluar todo el sistema de ES

Garantizar la utilidad de los indicadores

Garantizar la confiabilidad y la continuidad

Garantizar interpretación pedagógica

Propósito de los nuevos exámenes

Evaluar todo el sistema de ES

La Ley 1324 hizo obligatorio el presentarse al examen para obtener el título. Con esta medida se logró corregir el sesgo enorme que producía la no presentación del examen por parte de estudiantes y programas enteros.

El nuevo esquema de evaluación debe permitir evaluar a la totalidad de la población de ES.


Garantizar la utilidad de los indicadores

Los indicadores producidos deben apoyar la toma de decisiones de los distintos niveles del sistema de educación y de otros grupos de interés: deben permitir hacer comparaciones y establecer referentes para diversas agrupaciones.

Se deben evaluar elementos comunes para distintos tipos de formación.

Para poder identificar experiencias exitosas de formación en ES no basta con medir resultados de salida de los estudiantes. Es necesario tener una medida de variación entre la entrada y la salida, una medida de valor agregado.


Garantizar la confiabilidad y la continuidad de los indicadores

Se deben garantizar las condiciones técnicas de evaluación en exámenes estandarizados, en particular, respetar los tamaños mínimos de grupos evaluados.

La evaluación se debe enfocar en los elementos fundamentales que no son susceptibles de variar en el corto plazo.

La evaluación de elementos altamente específicos y variables debe desarrollarse en las instituciones de ES.


Garantizar interpretación pedagógica

Para que la evaluación produzca una información rica en términos cualitativos, que permita orientar las decisiones pedagógicas, es necesario identificar niveles y elaborar interpretaciones de los rendimientos que los caracterizan.


Plan de la presentaciónEl sistema de calidad de la Educación SuperiorAprendizajes de los ECAES (2004 – 2008)Marco legal de la transformación de los Exámenes de Estado de la Educación Superior






Estructura de los exámenes

Los exámenes SABER PRO se estructuran por módulos (componentes combinables ) de evaluación de dos tipos de competencias:

1. Competencias genéricas

2. Competencias específicas comunes a grupos de programas

Algunos módulos de competencias genéricas se incorporarán también a SABER 11º para producir medidas de valor agregado.

Módulos de Competencias Genéricas

Lectura Crítica

Razonamiento Cuantitativo

Cultura Ciudadana y Entendimiento del Entorno

Redacción

Inglés

Todas las personas que presenten el examen deberán tomar estas pruebas comunes.

Lectura Crítica: desempeños asociados a Lectura, Pensamiento Crítico y Entendimiento Interpersonal

Leer analítica y reflexivamente.

Comprender los planteamientos expuestos en un texto e identificar sus perspectivas y juicios de valor.

Identificar y recuperar información presente en uno o varios textos, construir su sentido global, establecer relaciones entre enunciados y evaluar intencionalidad.

Se evaluará también en SABER 11º.


Razonamiento Cuantitativo: desempeños relacionados con Uso Lenguaje Cuantitativo y Solución de Problemas.

Comprensión de conceptos básicos de las matemáticas para analizar, modelar y resolver problemas, aplicando métodos y procedimientos cuantitativos y esquemáticos.

Interpretación de datos, la formulación de problemas y la ejecución, evaluación y validación de procedimientos y estrategias.

Se evaluará también en SABER 11º.


Competencias Ciudadanas y Entendimiento del Entorno

Reconocer y valorar la diversidad cultural y los derechos individuales y colectivos.

Entender, en el contexto nacional y global, los grandes problemas sociales, económicos, políticos y ambientales contemporáneos.

Identificar dilemas éticos en situaciones concretas.

En desarrollo


Escritura

Comunicar ideas por escrito referidas a un tema dado. Los escritos se califican teniendo en cuenta los siguientes criterios:

Elaboración de la intención y el propósito.

Claridad de la estructura y la organización.

Manejo del lenguaje y las convenciones.


Inglés

Comunicarse efectivamente en inglés.

Permiten clasificar a los evaluados en cuatro categorías de desempeño, según las bandas del Marco Común Europeo.

Se evalúa en SABER 11º.


Módulos de Competencias Específicas comunes de grupos de programas

Cada módulo evalúa un saber hacer complejo en contexto que se define con base en las competencias fundamentales de grupos de programas o áreas de conocimiento.

Se refieren a problemas que son comunes a distintos programas, más que a contenidos curriculares específicos.

Corresponden a una definición de cada formación, no de forma aislada, sino a partir de sus interacciones y sus elementos comunes con las demás.

Se usan para evaluar estudiantes de distintos programas, incluso de distintas áreas del conocimiento.

Módulos de competencias comunesEjemplos:

Diseño en ingeniería Indagación Investigación en ciencias socialesSalud pública Gestión de recursos

El Ministerio determinará, a partir de 2012, para cada programa, los módulos que serán obligatorios para sus estudiantes, con base en lo establecido en las resoluciones de características mínimas.

De acuerdo con su orientación propia, cada programa podrá seleccionar módulos adicionales (sujeto a limitaciones de tamaño de estos) en los que evaluar a sus estudiantes.

Producción de resultados

No se pretende que los estudiantes de todas las formaciones desarrollen a un mismo nivel las competencias genéricas, ni aún las comunes a grupos de programas.

Entregar solo un puntaje o un promedio no es informativo, es preciso ubicarlo con respecto a una referencia.

Para que la referencia tenga sentido, es preciso conformar grupos de referencia.

Se deben definir niveles de desempeño para los módulos.

GRUPOS DE REFERENCIA

Agrupación de programas con características similares entre los que se compararán los resultados de la evaluación.

Los grupos de referencia se definieron según la clasificación de programas del Sistema Nacional de Información de la Educación Superior (SNIES) del Ministerio de Educación Nacional y la Clasificación Internacional Normalizada de la Educación (CINE) de la Unesco.

Se han conformado 30 grupos de referencia según nivel de formación:

14 de nivel universitario6 de nivel tecnológico6 de nivel técnico2 para niveles técnicos y tecnólogos1 para todos los niveles1 para el ciclo de normalistas superiores

Presentación de resultados

Se entregarán resultados por módulo.No habrá un puntaje total del examen.

RESULTADOS INDIVIDUALES – por móduloPuntaje Nivel de desempeñoPromedio de puntajes en el grupo de referenciaDesviación estándar de puntajes del grupo de referencia

RESULTADOS INSTITUCIONALES – por móduloResultados individuales (de sus estudiantes)Distribución por niveles de desempeño (público)Promedios de puntajes en relación con los promedios y desviaciones del grupo de referencia y el total nacional (público)

Grupos de referenciaNúmero de programas por nivel clasificados en cada grupo de referenciaAdministración y turismo 2.568

Técnico 905Tecnológico 1.663

Arquitectura y urbanismo 160Universitario 160

Artes – diseño - comunicación 850Técnico 405Tecnológico 445

Bellas artes y diseño 388Universitario 388

Ciencias agropecuarias 814Técnico 169Tecnológico 393Universitario 252

Ciencias económicas y administrativas 2.160Universitario 2.160

Ciencias militares y navales 13Universitario 13

Ciencias naturales y exactas 346Universitario 346

Ciencias sociales 633Universitario 633

Comunicación, periodismo y publicidad 345Universitario 345

Derecho 416Universitario 416

Educación 2.194Universitario 2.194

Grupos de referenciaNúmero de programas por nivel clasificados en cada grupo de referenciaHumanidades 222

Universitario 222Ingeniería 2.384

Universitario 2.384Ingeniería, industria y minas 1.431

Técnico 387Tecnológico 1.044

Judicial 168No universitario 168

Medicina 151Universitario 151

Militar y policial 26No universitario 26

Normales superiores 492

Recreación y deportes 120Todas 120

Salud 916Técnico 127Tecnológico 226Universitario 563

TIC 1.026Técnico 293Tecnológico 733

TOTAL GENERAL 17.823

Transición ECAES – SABER PRO

Transición ECAES – SABER PROEl proceso…

Se ha realizado un proceso participativo en la elaboración y validación de módulos y en la construcción de preguntas:

Participación de más de 30 Asociaciones de Facultades, Redes y Programas.

Más de 60 talleres, grupos focales y sesiones de discusión para la elaboración de módulos y validación de especificaciones.

Más de 50 sesiones de validación de especificaciones de módulos cubriendo todas las regiones del país y en las ciudades principales en donde tienen sede los diferentes programas.

Participación de más de 500 docentes de Instituciones de Educación Superior en todas las fases del proceso de diseño de módulos.

Aplicación de noviembre 2011

Competencias Genéricas

•Lectura Crítica

•Razonamiento Cuantitativo

• Inglés

•Escritura

Competencias Genéricas

•Lectura Crítica

•Razonamiento Cuantitativo

• Inglés

•Escritura

Competencias Específicas

• Cada programa establece, según su grupo de

referencia, en cuál de las 50 combinaciones de módulos de competencias comunes

son evaluados sus estudiantes.

Competencias Específicas

• Cada programa establece, según su grupo de

referencia, en cuál de las 50 combinaciones de módulos de competencias comunes

son evaluados sus estudiantes.

Mañana Tarde

Módulos para el examen SABER PRO de Noviembre de 2011

Se ha logrado consolidar 20 módulos de competencias específicas comunes a grupos de programas. No se pretende que todos los programas de una misma área tomen los mismos módulos.

La oferta de exámenes para noviembre se estructuró en 50 combinaciones de módulos.

Se han definido diferentes combinaciones de módulos para cada grupo de referencia.

Cada programa seleccionará aquella que sea más afín con su perfil de formación, entre las que se ofrezcan para su grupo de referencia.

Competencias Específicas Comunes

MÓDULOS1 Administración y gestión de la salud2 Comunicación Científica

3Desarrollo e implementación de estrategias comerciales y logísticas

4 Diseño de ingeniería

5Ensamblaje, mantenimiento y operación de maquinaria y equipos

6 Enseñar7 Ética y bioética8 Evaluar9 Formar

10 Formulación de proyectos de Ingeniería11 Gestión de proyectos12 Indagación 13 Indagación y modelación14 Investigación en Sociales y Humanidades15 Módulos específicos de Derecho16 Producción agrícola17 Producción pecuaria

18Producción sostenible y manejo de sistemas de producción agropecuario

19 Salud pública

20 Salud y Bienestar Animal

Muchas Gracias!

Resultados de noviembre 2011

Se entregarán resultados por módulo.No habrá un puntaje total del examen.Se reportarán Quintiles de puntaje en lugar de niveles de desempeño. Los resultados institucionales no serán públicos, se entregarán individualmente a cada universidad.Para permitir la investigación con resultados, estos se publicarán sin identificar a las instituciones.

RESULTADOS INDIVIDUALES – por móduloPuntaje Quintil dentro del grupo de referenciaPromedio de puntajes en el grupo de referenciaDesviación estándar de puntajes del grupo de referencia

RESULTADOS INSTITUCIONALES – por móduloResultados individuales (de sus estudiantes)Distribución por quintiles dentro del grupo de referencia (NO PÚBLICO)Promedios de puntajes en relación con los promedios y desviaciones del grupo de referencia y el total nacional (NO PÚBLICO)

Los nuevos exámenes SABER PRO

Documents

Transcript of Los nuevos exámenes SABER PRO