VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

30
Gloria Angélica Valenzuela Ojeda DISEÑO Y VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN CURRICULAR EN EDUCACIÓN SUPERIOR

Transcript of VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

Page 1: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

Gloria Angélica Valenzuela Ojeda

DISEÑO Y VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN CURRICULAR EN EDUCACIÓN

SUPERIOR

Page 2: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

OBJETIVO GENERAL:

Diseñar y validar una propuesta de evaluación curricular en educación superior.

OBJETIVOS PARTICULARES:

a) Propiciar un vínculo entre la evaluación curricular generada al interior de las IES y los procesos de evaluación y acreditación externos.

b) Contar con una estrategia de evaluación curricular que aporte información integrada y significativa para apoyar los procesos formativos de los currículos universitarios.

Page 3: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

Representación gráfica del trabajo desarrollado

Experiencia previa Fundamentación de Propuesta de evaluación de la investigadora la propuesta curricular en educación superior

Marco contextual y normativo

Metodología Indicadores de de evaluación funcionalidad, curricular Marco teórico eficacia y en educación eficiencia superior Selección Propuesta teórica (estrategia específica de evaluación inicial ) Banco de de autores curricular

indicadores validez de expertos

Procesamiento y Redacción delanálisis de la documentoinformación final

   

Page 4: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

FUNDAMENTACION TEÓRICA DE LA PROPUESTAEvolución de los conceptos de currículo y plan de

estudios.

Teoría de sistemas y planeación interactiva de Ackoff (Ackoff, 1986).

Modelo CIPP de Stufflebeam (Stufflebeam y Shinkfield, 1985/1993).

Modelo para evaluar la calidad universitaria de De la Orden (De la Orden, 1995).

Page 5: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

EVOLUCIÓN DE LOS CONCEPTOS DE PLAN DE ESTUDIOS, CURRICULUM Y PROGRAMA

PLAN DE ESTUDIOS. Expresión latina ratio studiorum que significa organización racional de los estudios y se transformó al término plan de estudios. Se utilizó desde el inicio de las universidades en Europa continental (Furlán, 1991).

CURRICULUM. Curso de la pista en que se efectuaban las carreras de carros en el mundo romano. Metáfora utilizada para representar el recorrido que se esperaba que el alumno efectuara para obtener el grado o concluir el ciclo escolar. Se utilizó en el medio anglosajón (Furlán, 1991).

PROGRAMA. Término empleado en el contexto de la evaluación y acreditación en E.U. para diferenciar los procesos relativos a un programa o carrera en particular (De Allende, 1996).

Page 6: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

De acuerdo a Furlán 1991, hasta finales del siglo XIX plan de estudios y curriculum significaban lo mismo.

Con las aportaciones de Dewey y Bobbit a principios del siglo XX en Estados Unidos se genera la teoría curricular en donde se concibe un significado diferente del término curriculum.

Dewey consideraba que el curriculum debería responder a las necesidades e intereses de los estudiantes (niños de educación básica).

Bobbit pensaba que el curriculum debería basarse en las acciones del mundo adulto: perfil profesional y mercado de trabajo.

La influencia de Dewey y Bobbit da como resultado un concepto

diferente de curriculum.

Page 7: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

CONCEPTOS DE CURRICULUM EN LA TEORÍACURRICULAR DE ESTADOS UNIDOS

Furlán, 1991

* Instrumento o medio para la modificación de las características del proyecto de enseñanza – aprendizaje.

* Conjunto de experiencias formativas que viven los alumnos.* Conjunto de oportunidades educativas que ofrece la escuela.

CAMBIOS:*De la noción de plan a la noción de práctica y sus resultados.*Se amplìa la idea de curriculum al conjunto de experiencias

formativas y a la actividad global de la escuela.

REPERCUSIONES: Distintas miradas sobre el alcance del curriculum, plan de estudios y

programa de estudios que dan como resultado formas diferentes de evaluarlo.

Page 8: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

Diferentes concepciones de currículo

Plan de estudios Currículo formal

Programa de estudios Contexto de las políticas de evaluación y acreditación

(interacción entre variables institucionales)

Currículo (vivido) Conjunto de experiencias

(Dewey y Bobbit , formativas que viven los teoría curricular) sujetos educativos

Page 9: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

SISTEMA

De acuerdo a Ackoff 1986, un sistema es un conjunto de elementos que satisface las siguientes tres condiciones:

1. La conducta de cada elemento tiene un efecto sobre la conductadel todo.

2. La conducta de los elementos y sus efectos sobre el todo son interdependientes.

3. Sin importar como se forman los subgrupos de elementos, cada uno tiene un efecto sobre la conducta del todo, y ninguno tiene un efecto independiente sobre él.

Page 10: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

Aplicación de la planeación interactiva de Ackoff (1986), a la evaluación:

Reactivistas: orientación al pasado. Inactivistas: orientación al presente.Preactivistas: orientación al futuro. Interactivistas: consideran los estudios del pasado, el presente y

el futuro.

Evaluación interactiva

Modelo CIPP de Stufflebeam (1971):

• Contexto• Insumos• Procesos• Productos

Page 11: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

Figura Modelo para evaluar la calidad universitaria de Arturo de la Orden Hoz

Fuente: De la Orden, A. (1995). Hacia un modelo para evaluar la calidad universitaria. Ponencia presentada en el

Seminario sobre Evaluación de la Calidad Universitaria. Centro Anáhuac de Investigación y Servicios Educativos. Facultad de Educación. Universidad Anáhuac, México.

Contexto sociocultural y económico de la educación universitaria

A

Necesidades, aspiraciones y expectativas *Profesionalización al más alto nivel sociales a que responde la educación *Desarrollo tecnológico

universitaria. *Desarrollo económico *Desarrollo científico * Desarrollo cultural *Otros B

Metas y objetivos de la educación /institución universitaria

C Productos de la educación universitaria

Aprendizaje y equipamiento intelectual de los estudiantes Incremento de la ciencia

D Procesos de educación universitaria

* Organizativos * Directivos y de liderazgo * Curriculares * Administrativos y gerenciales * Instructivos * Recursos humanos * Investigadores * Recursos económicos * Evaluativos * Recursos materiales

E

Entradas en el sistema de educación universitaria

Estudiantes: Número y características

Recursos asignados

Page 12: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

CONCEPTOS UTILIZADOS Currículo entendido como:

Programa académico, de docencia, de estudios o de formación profesional derivado de las políticas de evaluación y acreditación .

Interacción del plan de estudios con las variables institucionales con las que tiene mayor vinculación para propiciar las experiencias formativas de los estudiantes.

Calidad de un programa académico es la que reúne los criterios de funcionalidad, eficacia y eficiencia de acuerdo al Modelo de De la Orden (1995).

Evaluación curricular es un proceso de reflexión, análisis crítico y síntesis valorativa que por su naturaleza es compleja, pero que permite conocer, comprender y valorar el diseño, la estructura y el desarrollo de una propuesta curricular (De Alba, 1991).

Page 13: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

PROPUESTA DE EVALUACIÓN Y ACREDITACIÓN DE PROGRAMAS ACADÉMICOS EN EDUCACIÓN SUPERIOR

• Da una respuesta a la necesidad de realizar un proceso de evaluación desde el interior de las IES.

• Sirve de apoyo para efectuar una evaluación vinculada e integral como respuesta a los procesos de evaluación desintegrados que se realizan en la actualidad.

• Aporta una guía para profesores, administradores y directivos

interesados en realizar un proceso continuo y formativo del currículo cuyos resultados sirvan de base para fundamentar acciones de fortalecimiento y mejora de los programas académicos que puedan ser preparatorios y previos a los procesos de evaluación y acreditación externa.

• Es alternativa y complementaria a la realizada por los CIEES, el

PNP y los organismos acreditadores.

Page 14: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

Alcances de la propuesta

Propuesta teórica de evaluación de programas académicos.

Conjunto de indicadores de funcionalidad, eficacia y eficiencia.

Page 15: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS
Page 16: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS
Page 17: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS
Page 18: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS
Page 19: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

Tabla Indicadores de la variable estudiantes por criterio de evaluación: funcionalidad, eficacia y eficiencia.

FUNCIONALIDAD EFICACIA EFICIENCIA

2. Estudiantes inscritos en el programa académico en relación a los inscritos en otros programas académicos similares de las diferentes instituciones locales en donde se ofrece el mismo programa

36. Congruencia entre el perfil de egreso descrito en el plan de estudios y las características reales del perfil de los egresados

79. Correspondencia entre el perfil de ingreso de los estudiantes y los servicios de apoyo que define el programa académico para atender las necesidades de los mismos

27. Congruencia entre el perfil de los egresados expresado en términos de conocimientos, habilidades, actitudes y valores y el contexto sociocultural

37. Congruencia entre la práctica profesional del egresado descrita en el plan de estudios y las características reales en donde se desempeñan los egresados

83. Porcentaje de estudiantes que cambian de carrera o de institución educativa

Page 20: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

Validez de expertos

• Se considera que el estudio es un tipo de validación por juicio de expertos.

• Se aplicó una adaptación de la técnica delphi a partir de comentarios abiertos con los jueces-expertos .

• Se aplicaron los siguientes tres cuestionarios: • 1) Evaluación de la propuesta aplicando los criterios de utilidad,

viabilidad, honradez y precisión propuestos por el Comité de Estándares de Evaluación Educativa de E.U. (1988 y 1994);

• 2) Ponderación de las variables dentro del programa académico

• 3) Importancia y viabilidad de 138 indicadores de funcionalidad, eficacia y eficiencia a través de los cuales se hace operativa la propuesta.

Page 21: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

INSTITUCIÓN EDUCATIVA LUGAR 1°. ETAPA 2°. ETAPA

(1er.

momento)

2°. ETAPA

(2º.

momento)

3°.

ETAPA

Benemérita Universidad Autónoma de Puebla Puebla 10 9 8 24

Universidad Iberoamericana, Plantel Golfo - Centro Puebla 4 6 5 2

Universidad de las Américas, Puebla. Puebla 5 5 4 2

Colegio de Postgraduados, Campus Puebla. Puebla 10 8 6 5

Universidad Autónoma de Tlaxcala Tlaxcala 4 2 1 10

Universidad del Altiplano Tlaxcala 2 2 2 4

Instituto Tecnológico Agropecuario No. 29 Tlaxcala 1 1 1 0

UNAM México 2 2 0 1

Universidad Autónoma del Estado de México. Toluca, México.

0

1

1

0

Instituto Tecnológico Agropecuario No. 5 Campeche 0 1 1 0

Universidad Autónoma de Baja California Ensenada, B. C. 0 1 0 0

Universidad de Riverside Riverside,

California.

1

1

1

0

Universidad Tecnológica de Puebla Puebla 0 0 0 2

Universidad Tecnológica de Tlaxcala Tlaxcala 0 0 0 1

Escuela Normal Jaime Torres Bodet Puebla 0 0 0 1

Totales

12 IES

5 Estados, el

Distrito Federal y

una ciudad de

E.U.

39

39

30

52

Page 22: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

Resultados• Se identificaron sugerencias que permitieron fortalecer la

propuesta y hacerla más operativa.

• Se identificó que la propuesta teórica de evaluación de programas académicos reúne los criterios de utilidad, viabilidad, honradez y precisión recomendados por el Comité de Estándares de Evaluación Educativa de E.U. (1988 y 1994).

• Se confirmó que las 11 variables consideradas en la propuesta de evaluación curricular tienen un peso importante y heterogéneo en el programa académico: plan de estudios, estudiantes, profesores, aprendizaje, enseñanza, investigación, vinculación y difusión, normatividad, infraestructura y apoyo académico, gestión académico-administrativa y clima académico.

Page 23: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

VARIABLES QUE TIENEN MAYOR IMPORTANCIA EN EL PROGRAMA ACADÉMICO:

* Profesores* Plan de estudios* Enseñanza

VARIABLES QUE TIENEN MENOR IMPORTANCIA EN EL PROGRAMA ACADÉMICO:

* Clima académico* Vinculación y difusión* Gestión académico-administrativa* Normatividad* Infraestructura

Page 24: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

VARIABLES QUE DEBERÍAN TENER MAYOR IMPORTANCIA EN EL PROGRAMA ACADÉMICO:

* Aprendizaje* Estudiantes* Investigación* Plan de estudios

VARIABLES QUE DEBERÍAN TENER MENOR IMPORTANCIA EN EL PROGRAMA ACADÉMICO:

* Normatividad* Gestión académico-administrativa* Infraestructura y apoyo académico

Page 25: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

• De los 138 indicadores evaluados, se identificaron 119 como aceptables para ser considerados en la propuesta por su nivel de importancia y 90 por su nivel de viabilidad para conseguir la información.

Page 26: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

Conclusiones• El tema que aquí se desarrolla es muy amplio, complejo,

interesante y controvertido, caracterizado por una gran producción de literatura en donde predominan las ideas encontradas, los desacuerdos de opinión y las diversas orientaciones y enfoques para su análisis.

• Al realizar el trabajo de validez de la propuesta se encontró un ambiente propicio con los especialistas educativos para hablar de los procesos de evaluación y de la influencia de los contextos en el ámbito educativo.

• Se considera que es un momento muy oportuno para trabajar en pro de elevar la calidad de los currículos con procesos formativos en donde participen diferentes instancias y personas.

Page 27: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

• Se constató la importancia de que las instituciones educativas cuenten con procesos de evaluación realizados desde el interior de las propias IES como producto de un ejercicio responsable, consciente y reflexivo de sus alcances y limitaciones.

• Los expertos educativos consideraron que la propuesta de evaluación de programas académicos es una herramienta importante para las instituciones interesadas en mejorar sus procesos educativos y llegar a la acreditación de los programas debido a que percibe el conjunto de variables institucionales como un todo las cuales interaccionan de manera coordinada para obtener los resultados deseados.

• Se reflejó en una aceptación generalizada por realizar una evaluación integrada como respuesta a una práctica aislada y desvinculada de la evaluación.

Page 28: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

Variable: aprendizaje

Nivel de programa académico:

¿El proceso de aprendizaje de los estudiantes es activo, dinámico, variado y comprometido en el desarrollo del programa académico y se apoya en diferentes modalidades de trabajo: estancias, vinculación con el mercado laboral, investigación, intercambios académicos, etc.?

¿El programa académico cuenta con la infraestructura y las estrategias de apoyo para ayudar a los estudiantes a encontrar sus mejores formas de aprender y estudiar?

Page 29: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

Nivel de las áreas del conocimiento del plan de estudios:

¿Existen reuniones de profesores y estudiantes por áreas del conocimiento para buscar las mejores formas de aprendizaje, materiales de apoyo, etc. y proyectar los escenarios deseados de acuerdo a la orientación disciplinaria del plan de estudios?

¿Se identifican y proyectan los principales problemas que caracterizan el aprendizaje y sus posibles soluciones en cada una de las áreas de conocimiento que integra el plan de estudios ?

¿Se diseñan materiales y estrategias de apoyo para fortalecer el aprendizaje de los estudiantes?

Page 30: VALIDEZ DE UNA PROPUESTA DE EVALUACIÓN DE PROGRAMAS

Nivel del curso:

¿Se tiene claridad sobre las características del proceso de aprendizaje y de estudio de los estudiantes en los últimos años, así como identificadas las formas de aprendizaje y estudio que pretenden caracterizar los cursos en los próximos años?

¿Se tienen identificados los cursos que han constituido y constituyen el problema fundamental del aprendizaje de los estudiantes y se han puesto en práctica soluciones para atender las deficiencias encontradas?

¿Los estudiantes trabajan de manera integrada con los profesores durante el desarrollo del curso (proceso enseñanza-aprendizaje, investigación, vinculación y difusión, etc.) ?