Programas basados en competencias y su evaluación

Programas basados en competencias y su

evaluaciónLa experiencia del Tecnológico de Monterrey

TEOFILO J. RAMOS

San Salvador, El SalvadorMayo 16, 2013

1

2

Contexto Institucional


• El Tecnológico de Monterrey fue fundado en 1943 por un grupo de empresarios mexicanos, bajo el liderazgo de Don Eugenio Garza Sada

• Institución privada sin fines de lucro

• Independiente

• Genera los recursos necesarios para su operación

3

www.itesm.edu

• 31 Campus y una Universidad Virtual

• 96,649 estudiantes:Preparatoria: 24,592Profesional: 54,777Posgrado: 17,280 (8380 en la UV)

• 48.25% con beca o apoyo financiero

• 8,391 profesores


4


• 58 carreras profesionales• 18 programas de especialidades

médicas• 42 programas de maestría• 10 programas de doctorado

• 185,797 egresados de carreras profesionales

• 44,483 egresados de programas de posgrado

• 18% de las 200 empresas más importantes de México son dirigidas por egresados 5


• 21 oficinas de enlace internacional

• 6,959 estudiantes nuestros en universidades extranjeras

• 4,423 estudiantes internacionales

• 754 profesores participaron en proyectos internacionales

• 911 profesores extranjeros impartieron cursos en alguno de los campus

• 372 convenios con universidades internacionales de prestigio

6

7

Programas académicos acreditados(a junio 2012)

% de prog. Acreditados * 100%

Organismo # de programasCOPAES 199CIEES 10TOTAL 209Programas acreditables** 209

Organismo # de programasAACSB 6ABET 22CLAEP 1TOTAL 29

ProfesionalIn

tern

acio

nal

Nac

iona

lPosgrado

% de prog. Acreditados* 80%

Organismo # de programasPNPC - CONACYT 59CIEES 21Total 80Programas acreditables** 100

Organismo # de programasTriple Corona(AACSB, EQUIS-EFMD y AMBA) – EGADE Mty

8

AMBA: CCM, CEM, QRO 3

TOTAL 11• Meta institucional: 100% de los programas de profesional y posgrado

acreditados por algún organismo nacional **Programas acreditables: programas que se ofrecen de manera completa en un campus y han graduado al menos a tres generaciones

Calidad Académica en el Tecnológico de Monterrey

Mej

ora

Conti

nua

Medición de competencias de egreso “Learning outcomes” (Programas académicos)

Evaluación de Programas Académico

Institucionales y de Programas Nacionales e InternacionalesAcreditaciones

Estándares de admisión (College Board) Pruebas estandarizadas Antecedentes académicos

Selección de Alumnos

Exámenes estandarizados Pruebas nacionales

Evaluación del Aprendizaje

Estudios de egresados: Candidatos a graduarse, 3 meses de graduados, Trayectoria de graduados 5,10, 15, 20 y 25 años

Empleadores

Seguimiento de Egresados

Indicadores de Excelencia Académica: IDEA (alumnos, profesores, directivos), Tableros

Juntas de Evaluación

Efectividad Institucional

8

9

Algunos resultados de estos procesos

Campus que viven la filosofía del mejoramiento continuo.

Reconocimiento y prestigio nacional e internacional por la acreditación externa de los programas académicos.

Profesores más competentes. Mejores alumnos en lo académico y más

comprometidos en el desarrollo de sus comunidades.

Mejores bibliotecas, infraestructura, y recursos de apoyo al aprendizaje.

Identificación de áreas de oportunidad para mejorar.

Se refuerza la visión del quehacer importante, desde el cumplimiento de la Misión hasta los Perfiles de Egreso y de que hay que demostrar que se está logrando (rendición de cuentas)

Desarrollo de la cultura de la “documentación”.

Resultados

10

Se facilitan las conversaciones con aliados académicos internacionales (actuales y potenciales).

Ciclo virtuoso de calidad

Enfoque al aseguramiento de la calidad académica.

Enriquecimiento del modelo educativo (formación y evaluación por competencias)

Inversión importante en recursos humanos y económicos.

Resultados

11

Contexto de programas basados en competencias

Fortalecimiento de la rendición de cuentas

Énfasis en la medición del aprendizaje versus medición de la infraestructura y los procesos académicos

Tendencia internacional de las acreditaciones

12

Objetivo

Asegurar el cumplimiento del perfil de egreso de los programas académicos.

13

ABET

“The program must regularly use appropriate, documented processes for assessing and evaluating the extent to which both the program educational objectives and the student outcomes are being attained. The results of these evaluations must be systematically utilized as input for the continuous improvement of the program. Other available information may also be used to assist in the continuous improvement of the program.”

14

SACS

The institution identifies expected outcomes, assess the extent to which theses outcomes, and provides evidence of improvement based on analysis of the results in each of the following areas:

Educational programs, to include student learning outcomes.

15

Assessment

“A systematic process of looking at student achievement within and across courses by gathering, interpreting and using information about student learning for educational improvement”American Association of Higher Education

16

Nuestra definición de Assessment

Assessment es la evaluación sistemática de los programas académicos con base en resultados del aprendizaje (learning outcomes*) y utilizando los resultados de la evaluación para la mejora continua

*En el Tecnológico de Monterrey las denominamos competencias de egreso

17

Evaluación a nivel curso

Semestres1er 2d

o 3er 4to 5to …. 9no

M11

M12

M13

M14 …. …. M1

9M21

M22

M23

M24 …. …. M2

9M31

M32

M33

M34 …. …. M3

9… … … … … ... …Mn1

Mn2

Mn3

Mn4 …. …. Mn

9

Evaluación de programa y ciclos de mejora

Logros esperadosAl momento de graduarse

Competencias de Egreso(CE’s):

Alumnos• Generales• Comunes del área• De la especialidad

• En cada materia, los profesores y departamentos académicos evalúan objetivos de aprendizaje del curso: conocimientos, habilidades, actitudes y valores.

• Para ser evaluadas las CE´s, tienen que ser expresadas en criterios de desempeño.

Esto es lo que ya se hace Esto se añade

Evaluación de programas18

Definición

Acciones educativa

s

Cursos, actividadesco-curriculares,

programas de apoyo, recursos de aprendizaje

Directa Indirecta

Valoración

Medición

Evaluación

Decisión de mejora continua

Plan de Evaluació

n

Competencias de egreso

Criterios de desempeño

Proceso de evaluación de programas 19

Etapa 1. Perfil de egreso basado en competencias

Etapa 2. Plan de evaluación del programa

Etapa 3. Evaluación y Resultados

Etapa 4. Acciones de mejora

Etapas del proceso de evaluación de programas20

Etapa 1.Perfil de Egreso basado en

Competencias

21

Etapa 1. Perfil de Egreso basado en competencias

Profesionales:• Básicas de la Profesión

• Administración• Ingeniería• Ciencias Sociales y

Humanidades• Ciencias de la

Salud

Profesionales:• De la Especialidad

• Mecánico Administrador

• Mecatrónica• Biotecnología• Médico Cirujano• Psicología Laboral• Arquitecto• Ciencia Política• Etc.

Personales:1. Dominio del Inglés2. Ética3. Ciudadanía4. Capacidad

emprendedora y de innovación

5. Liderazgo6. Confianza en sí

mismo7. Compromiso con el

medio ambiente 8. Comunicación oral y

escrita9. Perspectiva global

22

Combinación de atributos — con respecto al conocimiento y su aplicación, a las actitudes

y a las responsabilidades— que hacen referencia a las capacidades que un

estudiante debe haber desarrollado al momento de su graduación.

Competencias de Egreso (CEs)

Etapa 1. Perfil de Egreso basado en competencias23

Criterios de Desempeño (CDs)

Enunciados específicos medibles que identifican comportamientos

observables que evidencian el desarrollo de una competencia.

Se definen al menos 2 por cada CE

Etapa 1. Perfil de Egreso basado en competencias24

Objetivos de Programa

Los objetivos de un programa son declaraciones amplias que describen los logros de un egresado de un programa después de cierto tiempo de su graduación

La medición de los objetivos puede utilizarse para determinar el progreso del programa hacia el cumplimiento de su oferta académica

Típicamente, un programa tiene alrededor de 5 a 7 objetivos

25

Objetivos de Programa

Deben reflejar las necesidades de los grupos de interés a los que sirve el programaDeben ser consistentes con la Misión de la institución y estar publicadosDeben medirse para evaluar el programa en función de su cumplimientoSe deben revisar periódicamente para reflejar posibles cambios en las necesidades del entornoEl proceso de definición, medición, evaluación y mejora debe estar documentado

26

Ejemplo:Carrera Ingeniero en Sistemas Computacionales

Objetivos del programa

1. Los egresados basan, consistentemente, en criterios éticos las decisiones que toman en relación con su persona, su práctica profesional y su entorno.1.1 Los egresados basan, consistentemente, en criterios éticos las decisiones que toman en relación con su persona, su práctica profesional y su entorno y reportan que generalmente o la mayoría de las veces, aplican un razonamiento que les permite asegurar que su decisión será válida o justificable en el futuro y no sólo en el momento presente.2. Los egresados consideran las consecuencias de su actuación personal, social y profesional para las personas y su entorno.3. Los egresados se mantienen actualizados sobre el acontecer social, económico y político.4. Los egresados participan en organizaciones o actividades que contribuyen al mejoramiento de su comunidad.

27

1. El alumno diseñará, desarrollará, implementará, probará y mantendrá proyectos de software de acuerdo a criterios de cumplimiento previamente establecidos. <<>>

Ejemplo:Carrera Ingeniero en Sistemas Computacionales

Competencia de egreso:

Criterios de desempeño:1.1 El alumno aplica los conceptos del ciclo de vida de sistemas en el desarrollo de proyectos de software. Tendrá la habilidad de hacer un análisis de la problemática, modelar una solución, desarrollar y probar el producto de software, cuidando que se satisfaga la problemática inicial1.2 El alumno será capaz de aplicar de manera adecuada, diferentes modelos del ciclo de vida del desarrollo de software.1.3 El alumno define la problemática de TI, realiza un diagnóstico para identificar requerimientos y genera alternativas de solución.1.4 El alumno modela, diseña y codifica satisfactoriamente la solución de un problema de tecnología de información aplicando herramientas de diseño y desarrollo

28

Etapa 2.Plan de Evaluación de cada carrera

29

Es la guía para realizar la evaluación del programa.

Para cada criterio de desempeño de cada una de las competencias de egreso, identificar:

o Frecuencia de la medicióno Método de medicióno Dónde mediro Forma de cumplimiento y metaso Responsable de la medición

Etapa 2. Plan de Evaluación de cada carrera30

Etapa 2. Plan de Evaluación de cada carrera

Semestre Método de evaluación Cuándo Dónde Responsable Meta

Agosto - Diciembre, 2011

Rúbrica Anual TC2011 Sistemas Inteligentes Carlos Ramiírez Gutiérrez 80%

31

Etapa 2. Plan de Evaluación de cada carrera

Rúbrica Niveles de desarrollo

1 2 3 4

Propuestas de mejora de soluciones existentes mediante el uso de IA.

Es incapaz de proponer o juzgar mejoras a soluciones ya existentes de problemas, mediante el uso de técnicas y algoritmos de IA.

Propone mejoras parciales a soluciones ya existentes de problemas, mediante el uso de técnicas y algoritmos de IA.

Propone mejoras efectivas a soluciones ya existentes de problemas, mediante el uso de técnicas y algoritmos de IA.

Propone, justifica y critica mejoras efectivas a soluciones ya existentes de problemas, mediante el uso de técnicas y algoritmos de IA.

Desarrollo de reportes técnicos y artículos científicos para conferencia en el área de Inteligencia Artificial y afines, a partir de los proyectos desarrollados.

Es incapaz de analizar, documentar formalmente y juzgar teorías de solución a problemas reales, que involucran estrategias y algoritmos de IA.

Analiza pero es incapaz de documentar formalmente y juzgar teorías de solución a problemas reales, que involucran estrategias y algoritmos de IA.

Analiza, elabora y documenta formalmente teorías de solución a problemas reales, que involucran estrategias y algoritmos de IA.

Elabora, documenta formalmente y critica teorías de solución a problemas reales, que involucran estrategias y algoritmos de IA.

Utilización efectiva de técnicas y algoritmos de Inteligencia Artificial en la solución de problemas teóricos y en el desarrollo de proyectos.

Es incapaz de aplicar técnicas y algoritmos de IA en sus proyectos.

Aplica de forma muy limitada técnicas y algoritmos de IA en los proyectos del curso.

Aplica en la mayoría de los casos técnicas y algoritmos efectivos de IA los proyectos del curso.

Aplica consistentemente técnicas y algoritmos efectivos de IA en los proyectos del curso.

32

Consideraciones metodológicas:

Es una tarea adicional a la evaluación del curso pero puede hacerse sobre el producto de un curso (course embedded assessment)

También es posible realizarlo en un evento especial (assessment center)



Se evalúa el programa académico, y no al alumno o al profesor en lo individual, a través de evidencias del desarrollo de las competencias a nivel programa.



Se pueden utilizar los siguientes métodos de medición:

o Métodos indirectos: mediante los resultados de encuestas. Ejemplo: Instrumento de Competencias Éticas y Ciudadanas

o Métodos directos: se observa de primera mano el desempeño del alumno. Ejemplos:• Examen estandarizado (EGEL, TOEFL).• Aplicación de rúbrica (evaluación de un ensayo, proyecto,

presentación oral).



No se requiere medir todo, ni todo el tiempo: o La medición puede ser semestral o anualo La medición se realiza sobre una muestra

aleatoria


Etapa 3.Evaluación y Resultados

37

Ejecutar el plan de evaluación

Realizar la medición de las competencias de egreso de acuerdo con el plan de evaluación.

Integrar reportes para el análisis colegiado y la toma de decisiones de mejor.

Etapa 3. Evaluación y resultados38

Etapa 4.Documentación de Acciones de Mejora

39

Realizar el análisis de resultados de la medición y la definición de acciones de mejora y su implementación (se recomienda integrar esas actividades dentro del plan semestral de trabajo departamental)

Documentar y dar seguimiento a los acuerdos

Asegurar el inicio de un nuevo ciclo de medición y mejora

Etapa 4. Documentación de Acciones de Mejora40

Sistema para Administrar la Evaluación de Programas

Académicos (SAEP)

Tecnológico de MonterreyVicerrectoría Académica

Junio 2012

41

Herramienta de apoyo para administrar la evaluación: Sistema en líneaPermite dar seguimiento a la evaluación de programaEnlaza los resultados de evaluaciones oficiales (pruebas

nacionales, encuestas institucionales y externas) con criterios de desempeño

Facilita la evaluación de evidencias a través de rúbricas Documenta los resultados del desarrollo de competencias

y las acciones de mejora establecidas

SAEP42

Proceso de evaluación

enSAEP

Etapa 1: Perfil

Etapa 2:Plan de

evaluación

Etapa 3: Evaluació

n

Etapa 4: Acciones

de mejora

SAEP como herramienta de ayuda en el proceso de evaluación de programas académicos

• Se define el plan de evaluación por carrera-campus:• Métodos de evaluación (encuestas, rúbricas y exámenes)

• Formas de cumplimiento, responsables y metas

• Permite generar reportes en word o html

• Se visualiza el perfil de egreso por carrera

• Permite generar reportes en word o html

• Permite a los profesores evaluar trabajos de alumnos a través de rúbricas

• Obtiene de fuentes oficiales resultados de exámenes (TOEFL, CENEVAL) y encuestas (Trayectoria, ICEC, NSSE)

• Permite generar reportes de avance en word o html

• Funcionalidad de exportar a Excel los resultados

• Permite agregar por criterio de desempeño acciones de mejora

• Funcionalidad de documentar información adicional

43

¿Comentarios o preguntas?

Teófilo J. Ramos

[email protected]

44

Programas basados en competencias y su evaluación

Documents

Transcript of Programas basados en competencias y su evaluación