73

8 _____________

No. 8 enero 1º de 1993

Promoción de la calidad en la educación superior en Inglaterra: Auditoría de la calidad en las universidades.

Inspectorado de su Majestad Británica

Esta serie de "Materiales de Apoyo a la Evaluación Educativa” la iniciamos hace cuatro meses con la publicación de uno de los materiales que el Inspectorado de su Majestad Británica presentó en el Taller Nacional de Evaluación Universitaria, realizado en Cocoyoc, Morelos en junio de 1992. En esta ocasión publicamos otro material del mismo origen que estamos seguros será de utilidad para todos los interesados en la evaluación de la educación superior. Contiene una serie de preguntas específicas que son aplicables a la evaluación, independientemente del tipo de Institución o país de que se trate

* Documento preparado por el Inspectorado de su Majestad para el Taller Nacional de Evaluación Universitaria. Cocoyoc, Morelos, junio de 1992.

75

PROMOCIÓN DE LA CALIDAD EN LA EDUCACIÓN SUPERIOR EN INGLATERRA:

AUDITORÍA DE LA CALIDAD EN LAS UNIVERSIDADES*

INTRODUCCIÓN

1. Quisiéramos iniciar expresando nuestra satisfacción por haber sido invitados a participar en este importante taller organizado por la Secretaría de Educación Pública y el Inspectorado de su Majestad. El propósito principal de este taller es analizar la experiencia inglesa en materia de evaluación universitaria y ponderar su utilidad en el escenario de la educación superior en México. 2. A continuación se ofrece la definición que para efectos de este trabajo se ha adoptado de los siguientes términos: - Promoción de la calidad: Provee a los usuarios del sistema educativo la garantía de que las instituciones, los programas y los egresados cumplen con ciertos criterios mínimos. - Control de calidad: Mecanismos empleados por la institución para mantener y elevar su calidad. - Auditoría de la Calidad: Análisis externo enfocado a garantizar que las instituciones poseen en operación mecanismos adecuados de control de calidad. - Validación: Dictamen favorable otorgado por un organismo evaluador a un programa de estudios para que expida títulos y otros

reconocimientos. - Acreditación: Delegación de la responsabilidad a las instituciones para que realicen la validación de sus programas de estudios conducentes a la expedición de títulos y de otros reconocimientos. - Evaluación de la calidad: Revisión externa y formulación de juicios acerca de la calidad de la enseñanza y el aprendizaje, y los criterios mínimos cubiertos por las instituciones. 3. En este taller el Inspectorado de su Majestad presentará tres documentos. Éste, en particular, describe la auditoría de la calidad, los doctores Clarke y Cox abordarán el tema de la evaluación de calidad. PROMOCIÓN DE LA CALIDAD 4. Las universidades inglesas han diseñado una organización propia para promover su calidad, la cual descansa en tres elementos para su funcionamiento: i Auditoría de la calidad ii Mejoramiento de la calidad

76

iii Ingreso de estudiantes y administración de créditos académicos. La unidad de auditoría: - examina los sistemas de promoción de la calidad de las universidades y otras instituciones de educación superior con capacidad para ofrecer títulos académicos. - publica los reportes de las evaluaciones - supervisa los procedimientos empleados por las instituciones para el desarrollo de sus funciones de validación, así como la revisión de los acuerdos que de ellas se derivan. - publica un reporte anual que describe el trabajo realizado e identifica tendencias y prácticas relevantes en el sistema de educación superior. - lleva a cabo, en un período de cuatro años, un programa de visitas a todas las instituciones de educación superior. 5. La unidad de mejoramiento de la calidad desarrolla las siguientes funciones principales: - promover y divulgar información sobre desempeños óptimos. - desarrollar y publicar indicadores de desempeño académico. - trabajar junto con los responsables de la superación y capacitación del personal académico y administrativo.

6. El programa para el mejoramiento de la calidad puede incluir además: - mantener actualizado un directorio de asesores especializados y/o examinadores externos y hacer sugerencias para su superación, así como satisfacer sus necesidades de capacitación. - promover el intercambio de información sobre la oferta de servicios académicos. - desarrollar programas autofinanciados para el mejoramiento de la calidad. 7. La unidad de ingreso estudiantil y de la administración de créditos académicos es la responsable del diseño e instrumentación de los programas, a nivel de la educación superior, para la acumulación y la transferencia de créditos y de los asuntos relacionados con la calidad académica requerida para el ingreso de las instituciones de educación superior. AUDITORÍA DE LA CALIDAD. 8. La unidad de auditoría de la calidad de las universidades inglesas examina y hace recomendaciones en cuatro áreas principales de actividad: - mecanismos para promover la calidad en el diseño y aplicación de los programas de estudios; - mecanismos para promover la calidad en

77

la enseñanza y el aprendizaje; - mecanismos para promover la calidad del personal académico; - mecanismos para promover la calidad tomando en cuenta el papel desempeñado por los examinadores externos y sus reportes, los puntos de vista de los estudiantes sobre los programas de estudios y los de grupos externos (organismos profesionales de acreditación, empleadores, instituciones acreditadas, etc.). 9. Un examen más detallado de estos puntos se ofrece en la guía general que se proporciona a los auditores (véase anexo). EL REPORTE DE AUDITORÍA 10. Se espera que los reportes de auditoria ofrezcan una apreciación completa, precisa y justa de las estructuras y mecanismos empleados por la institución para promover su calidad. Deberán destacar los casos en los que sea evidente un desempeño óptimo y que puedan ser objeto de recomendación para otras instituciones, asimismo deberán incluir las razones por las cuales se considera inadecuado el funcionamiento de algunos de estos sistemas. Todos los reportes deberán redactarse siguiendo un formato, que en términos generales, incluye lo siguiente: - breve información sobre los antecedentes de la institución, su control administrativo, tamaño, características académicas y ambientales; - una descripción de los procedimientos de

auditoría empleados; - una apreciación de los propósitos, objetivos y misión, formalmente establecidos por la institución, junto con las políticas y las estrategias específicas que tengan relación con la calidad y los estándares académicos; - un resumen de los procedimientos formales empleados por la institución en cada una de las áreas enlistadas en el párrafo 4. así como una apreciación, por parte del equipo auditor, sobre su efectividad. Esta sección debe incluir también especiales que pueden afectar a la institución, tales como: disponibilidad de recursos, grado de desarrollo e instrumentación de programas para promover la calidad, etc. - un punto de vista sobre el grado en el que la actividad académica de la institución responde de manera efectiva y perseverante al compromiso por alcanzar sus metas y objetivos en materia de calidad y estándares académicos; - una lista de recomendaciones, sometida a la consideración de la institución, para el mejoramiento de los mecanismos y estructuras empleados para promover la calidad. 11. Los equipos de auditores tienen libertad para añadir otras observaciones que consideren relevantes acerca de la institución visitada. 12. Se proporcionarán durante el taller copias de los reportes de auditoría para ser analizados por los participantes.

78

ANEXO GUÍA GENERAL PARA AUDITORES Esta es la guía general preparada por la unidad de auditoría de la calidad de las universidades a ser empleadas por los auditores académicos. MECANISMOS PARA PROMOVER LA CALIDAD DE LA OFERTA Y DISEÑO DE PROGRAMAS ACADÉMICOS Análisis y revisión de nuevos programas de estudio propuestos. 1. ¿Cómo decide una institución la apertura de un nuevo programa de estudios? ¿de qué manera los procedimientos empleados permiten incorporar recomendaciones tanto del interior de la institución (v.g. innovaciones departamentales, revisiones especiales en función de los avances del conocimiento, reestructuración institucional, discusiones interdepartamentales o consultas a estudiantes) y del exterior de la institución (v.g. derivadas de prioridades nacionales o locales, de la industria, el comercio o de colegios profesionales, información sobre la demanda estudiantil, sugerencias gubernamentales, consejos de investigación y financiamiento, otros organismos nacionales o de universidades)? 2. ¿Qué información es requerida en las propuestas sobre nuevos programas de estudios? ¿En qué medida los

procedimientos empleados para evaluar las propuestas analizan los siguientes aspectos? a) el propósito del programa de estudios, incluyendo información sobre demanda estudiantil y la medida en que responde a una necesidad nacional; b) los objetivos de aprendizaje, los contenidos académicos, la estructura y el nivel del programa de estudios; c) líneas de responsabilidad para la operación de programa de estudios; d) el balance existente entre el conocimiento, la comprensión y las habilidades que se alcanzarán mediante el programa de estudios; e) los medios de evaluación a ser empleados en relación con los objetivos de aprendizaje señalados; f) el lugar que ocupa el programa propuesto dentro del proyecto académico institucional; g) la disponibilidad de recursos para apoyar el programa de estudios; h) la demanda de recursos institucionales que ejerce el nuevo programa y su relación con los gastos actuales o previsibles de la institución. 3. ¿Cómo obtiene la institución información sobre la calidad del programa propuesto, independientemente de la proporcionada por quienes lo someten a consideración?

79

4. ¿Con qué frecuencia las propuestas para la apertura de nuevos programas se rechazan o precisan ser reconsideradas? Análisis del diseño de los cursos en relación con el egreso estudiantil 5. ¿En qué medida se toma en cuenta, dentro del proceso de planeación de los cursos, los cambios ocurridos en los perfiles de los estudiantes de nuevo ingreso, particularmente de aquellos considerados como no tradicionales tales como estudiantes de edad avanzada y cambios nacionales en las currícula escolares? Supervisión central de los programas de estudios existentes 6. ¿Cómo asegura la institución de que se emplean mecanismos apropiados para la supervisión de los programas de estudio existentes y que éstos funcionan eficazmente? 7. ¿Cómo revisa la institución sus programas de estudios? ¿Son normales estas revisiones? ¿Qué forma toman dichas revisiones? 8. ¿Cómo asegura la institución que se llevan a cabo acciones derivadas de los resultados de dichas revisiones? 9. ¿Cómo se revisa y analiza, a nivel institucional, la supervisión departamental de

los programas de estudio? Es posible que a los jefes de departamento se les solicite enviar reportes a un organismo superior de revisión. Si ese es el caso, ¿qué incluyen dichos reportes? ¿Qué otras fuentes de información son accesibles para ese organismo evaluador? ¿cómo se hacen llegar las recomendaciones del organismo evaluador a los departamentos y cómo se da seguimiento a las recomendaciones? 10. ¿Cómo asegura la institución que la distribución de recursos es la apropiada para el logro de los programas y el mantenimiento de los estándares? ¿Cómo atiende la institución las alteraciones en el suministro de recursos por fuentes de financiamiento en función de cambios como, por ejemplo, en las variaciones en el número de estudiantes? 11. ¿Cómo supervisa la institución el funcionamiento de los servicios de apoyo académico en relación a los requerimientos de sus programas de estudio (v.g. administración, biblioteca, tecnología educativa, servicios de cómputo, etc.)? 12. ¿Qué mecanismos existen para decidir sobre la cancelación de los programas de estudios? MECANISMOS PARA PROMOVER LA CALIDAD EN LA ENSEÑANZA, EL APRENDIZAJE Y LA COMUNICA- CIÓN Supervisión de los programas de estudios existentes.

80

13. ¿Cómo supervisa la institución la aplicación de estándares en la enseñanza? Si se dispone de un comité central para promover la calidad de la enseñanza ¿quiénes lo integran? ¿cómo permite este mecanismo analizar los estándares en la enseñanza dentro de la institución y llevar a cabo las acciones apropiadas? 14. ¿Cuáles son los procedimientos empleados por la institución para supervisar la eficacia de la enseñanza en los programas de estudios existentes? ¿cómo define la institución la eficacia en la enseñanza? 15. ¿Qué información sobre el rendimiento estudiantil y la enseñanza se obtiene y analiza regularmente para cada programa de estudios? 16. ¿Qué uso se da a esa información para supervisar la calidad en la prestación de los servicios? ¿Cómo se atienden los problemas y las anomalías encontradas? Supervisión del progreso de los estudiantes. 17. ¿Qué previsiones toma la institución en relación a los programas de inducción estudiantil, por ejemplo, en el desarrollo de habilidades para el aprendizaje? 18. ¿Qué procedimientos emplea la institución para supervisar el progreso y el desempeño académico de los estudiantes? ¿Cómo se asegura la institución que estos procedimientos se emplean a nivel departamental y cómo se asegura que se

llevan a cabo medidas de mejoramiento en los casos que así se requieran? 19. ¿Qué procedimientos emplea la institución para supervisar el progreso de aquellos estudiantes que poseen perfiles y características diferentes (v.g. estudiantes jóvenes y de mediana edad, aquellos que poseen características tradicionales y no tradicionales, hombres y mujeres, y estudiantes de razas diferentes)? 20. ¿Qué procedimiento emplea la institución para informar a los estudiantes sobre su progreso y desempeño académico? ¿cómo se asegura la institución que dichos procedimientos se llevan a cabo al nivel de los departamentos? 21. ¿Qué procedimientos emplea la institución para atender las apelaciones de los estudiantes de licenciatura en relación con su trabajo? 22. ¿Qué mecanismos existen para asegurar que los procedimientos de admisión de los estudiantes al posgrado son satisfactorios? 23. ¿Qué reglamentos operan en relación al papel y funciones desempeñadas por los tutores? ¿cómo se asegura que se cumple con dichas disposiciones? 24. ¿Cómo asegura la institución que los estudiantes y los tutores están conscientes de sus responsabilidades respectivas?

81

25. ¿Cómo asegura la institución que el desempeño de los profesores y de los departamentos en relación con los estudiantes y los tutores, es congruente con las políticas institucionales? 26. ¿Qué procedimientos se emplean para evaluar si el progreso de los estudiantes es satisfactorio y qué se hace cuando éste no lo es? 27. ¿De qué procedimientos disponen los estudiantes de posgrado para plantear sus quejas, y cómo supervisa la institución tales planteamientos? 28. ¿Qué procedimientos existen para asegurar una conducta adecuada en el examen final? 29. ¿Cuáles son los procedimientos institucionales para atender las apelaciones de los estudiantes de posgrado? 30. ¿Cómo revisa la institución los procedimientos de apelación de los estudiantes de posgrado y cómo lleva a cabo las recomendaciones para su cambio? La promoción para la innovación en la enseñanza y la evaluación, el aprendizaje y la comunicación. 31. ¿Cómo se estimula el mejoramiento de la calidad de la enseñanza y la evaluación

mediante el uso de nuevos métodos y técnicas? ¿cómo supervisan y evalúan tales métodos y técnicas y cómo se difunde la experiencia obtenida al interior de la institución? ¿qué contribuciones se espera que los estudiantes hagan al proceso de evaluación? MECANISMOS PARA PROMOVER LA CALIDAD DEL PERSONAL ACADÉMICO Previsiones para el desarrollo del personal académico. 32. ¿Cuáles son las políticas y la oferta de programas institucionales para el desarrollo del personal académico? En particular, ¿qué previsiones se toman para que el personal de nuevo ingreso adquiera habilidades para la enseñanza? ¿qué facilidades existen para la actualización de las habilidades del personal más experimentado y para el impulso de prácticas innovadoras? ¿se obliga o se alienta a los profesores a participar en dichas actividades? 33. ¿Cómo identifica y responde la institución a las necesidades de capacitación de su personal académico derivadas de políticas nacionales, tales como la ampliación del acceso de estudiantes a los estudios superiores y aquellas relacionadas con la planeación institucional a largo plazo? 34. ¿Cómo promueve la institución que sus programas de estudios se beneficien de los

82

programas de investigación que poseen niveles de excelencia? Revisión del desempeño y trayectoria del personal académico. 35. ¿Qué obligaciones se impone a los miembros del personal académico para ser profesores eficaces? ¿cómo se asegura la institución que se cumplen con dichas obligaciones? ¿cómo se define la eficacia en la enseñanza? 36. ¿Cómo se lleva a cabo la supervisión del compromiso y de las habilidades instruccionales del personal docente? 37. ¿Cómo funciona el sistema institucional para la supervisión del personal docente? 38. Cuando se encuentra que el desempeño de un profesor es de un nivel de calidad especialmente óptimo, ¿qué reconocimiento otorga la institución a dicho miembro? 39. ¿Qué peso se otorga a la calidad de la enseñanza en los criterios empleados para la promoción laboral del personal académico? ¿con qué frecuencia ha sido éste el elemento de mayor peso en la promoción? 40. Cuando se detecta que el desempeño de un profesor no es satisfactorio, ¿qué procedimientos se siguen? 41. ¿En qué medida se considera, si es que se toma en cuenta, la opinión de los estudiantes

en el sistema de supervisión del personal docente? MECANISMOS PARA PROMOVER LA CALIDAD EN EL USO DE LOS SISTEMAS DE RETROALIMEN-TACIÓN. El papel de los examinadores externos y el de sus reportes. 42. ¿Cuáles son las funciones y el papel desempeñado por los examinadores externos de la institución? 43. ¿Cuál es la naturaleza de la relación contractual formal de la institución con los examinadores externos? 44. ¿Qué reglamentación institucional existe sobre el número de examinadores externos por programas de estudios? 45. ¿Cuáles son las disposiciones existentes acerca de la designación de los examinadores externos? ¿Cómo se propone a los examinadores externos? ¿cuántos puestos de esta naturaleza pueden ser ocupados por una sola persona? ¿cuál es el período formal de servicio de los examinadores externos? ¿qué información posee el organismo de designación sobre un examinador externo propuesto? 46. Una vez designado, ¿qué documentos le envía la institución a sus examinadores externos? Por ejemplo, le proporciona:

83

a) una comunicación escrita sobre el lugar que ocupa ese programa en relación a la oferta educativa de la institución, y sobre la organización del programa de estudios; b) información acerca de la función y el papel de los examinadores externos, tal y como la percibe la institución en cuestión, así como los profesores en lo particular; c) los objetivos y las metas del programa: d) los contenidos de los programas de estudios sobre los cuales se formulan los exámenes; e) si se considera conveniente, una copia del reporte formulado por un examinador externo al finalizar su período de servicio. 47. ¿Se solicita a los examinadores externos redactar informes anuales y al finalizar sus períodos de servicio? ¿qué forma adoptan estos reportes? 48. ¿Condiciona la institución el pago a los examinadores externos a la entrega de dichos reportes? 49. ¿Se envían los reportes de los examinadores externos a la máxima autoridad encargada de los asuntos académicos y administrativos? 50. ¿Le comunica la institución a los examinadores externos que sus reportes serán analizados en sesiones abiertas, pero que pueden hacer llegar un reporte

independiente de carácter confidencial a dicha autoridad si así lo desean? 51. ¿Qué procedimientos se emplean para promover la difusión adecuada de los reportes de los examinadores externos? 52. ¿Qué medios emplea la institución para asegurarse que se actúa sobre aquellos puntos de interés derivados de los reportes de los examinadores externos? 53. ¿Qué se pretende que los examinadores externos analicen sobre la estructura y contenido del programa de estudios, y sobre la enseñanza y los estándares alcanzados por los estudiantes? ¿se les alienta a incluir en sus reportes finales cambios significativos observados en los estándares durante el período de sus labores? ¿se informa a los estudiantes acerca de estos puntos de vista? 54. ¿Qué criterios se emplean para determinar los sueldos de los examinadores externos? ¿en qué medida se relaciona el sueldo con la complejidad del trabajo a desarrollar y la necesidad de asegurar que los examinadores reconozcan que sus deberes contractuales son con la institución y no con sus pares académicos del departamento que administra el programa evaluado? Puntos de vista de los estudiantes de licenciatura y posgrado 55. ¿Cómo asegura la institución que los

84

departamentos emplean sistemas adecuados de retroalimentación estudiantil? 56. ¿Cómo se aprovechan los puntos de vista de los estudiantes? ¿cómo se evalúan? ¿quién es responsable de tomar decisiones para que la institución lleve a cabo las acciones pertinentes? ¿cómo se asegura la institución que se atienden de manera adecuada los puntos de vista de los estudiantes? 57. ¿Con qué frecuencia se reúnen los órganos representativos de profesores y alumnos? ¿qué asuntos se ventilan en esas reuniones y en qué medida se emplea la retroalimentación proporcionada por los estudiantes en esas discusiones? 58. ¿Qué esfuerzos se llevan a cabo para obtener los puntos de vista de los estudiantes de posgrado y de egresados después de haber teminado sus programas de estudios? Puntos de vista de organizaciones externas empleadores, organismos profesionales de acreditación, etc 59. ¿Cómo busca la institución los puntos de vista de los empleadores acerca de la calidad de los programas de estudios y de sus egresados? ¿cómo se buscan los puntos de vista de los empleadores que aceptan a estudiantes provenientes de programas de estudios orientados al ejercicio profesional? 60. ¿Cómo busca la institución los puntos de vista de organismos profesionales de acreditación sobre los estudiantes y

programas de estudios? 61. ¿Cómo responde la institución a la retroalimentación de los organismos externos? SUPERVISIÓN DEL RECONOCIMIEN- TO QUE LLEVAN A CABO LAS UNIVERSIDADES ACERCA DE PROGRAMAS DE ESTUDIOS EN INSTITUCIONES ASOCIADAS. 62. En este apartado reconocimiento significa "el proceso mediante el cual una universidad considera adecuado el programa de estudios, su evaluación, la planta de profesores y los recursos disponibles de una institución asociada a la universidad, para otorgarle su reconocimiento". 63. ¿Lleva a cabo la universidad un acuerdo formal con la institución objeto de reconocimiento respecto de las responsabilidades y deberes de cada una de ellas para el establecimiento de expectativas claras y mutuas en esa relación de reconocimiento? de ser así, ¿qué forma asume este acuerdo y de qué manera se asegura la universidad que estas responsabilidades y deberes se cumplen? 64. ¿Cómo se asegura la universidad que el programa de estudios propuesto es una institución asociada se desarrollará en un ambiente adecuado?

85

65. Durante el curso de un programa de, por ejemplo, tres años de duración, ¿cómo se asegura la universidad que el ambiente institucional permanece adecuado? Si la universidad considera que existen aspectos institucionales susceptibles de mejoría, ¿cómo lleva hacia adelante esta propuesta y cómo se asegura que sus recomendaciones son atendidas? 66. ¿Qué información solicita la universidad de las instituciones para atender propuestas de reconocimiento? ¿cómo se analiza dicha información? 67. Si una solicitud de reconocimiento es enviada a la universidad para su análisis tanto por un grupo que examina la estructura global del programa, como por un comité especializado integrado por miembros del personal académico de la universidad, ¿cómo opera el proceso de análisis? 68. Si la universidad no tiene contratada a una persona lo suficientemente calificada en un campo particular del conocimiento, ¿se solicita la opinión de especialistas externos para el análisis del programa sujeto a reconocimiento? 69. ¿Cuál es la frecuencia y naturaleza de las revisiones de los programas de estudios reconocidos por la universidad? ¿cómo se asegura la universidad que los resultados de dichas revisiones son tomadas en cuenta? 70. ¿Qué organismos dentro de la universidad son los responsables de los programas que poseen reconocimiento? ¿de

qué manera se lleva a cabo dicha responsabilidad? 71. ¿Cuáles son las responsabilidades del director del área académica y ante quién es responsable para el mantenimiento de los estándares académicos? 72. ¿La integración del comité académico incluye a representantes de la universidad y de la institución reconocida? 73. ¿En qué forma aconseja la universidad a la institución reconocida, en caso de que lo haga? 74. ¿Cómo asegura la universidad que los estándares académicos alcanzados por los estudiantes en las instituciones reconocidas, se miden y reconocen de la misma forma que los alcanzados por los estudiantes de la propia universidad? 75. ¿Cómo asegura la universidad que los examinadores externos para los programas de estudios reconocidos son externos tanto a la universidad como a la institución reconocida? 76. ¿Son idénticos los procedimientos

86

empleados por los examinadores externos de las instituciones reconocidas a los que operan para sus propios programas de estudios? Si no lo son en, ¿qué difieren? 77. ¿Cómo asegura la universidad la difusión adecuada de los reportes de los examinadores externos al interior de las instituciones reconocidas? 78. ¿Cómo asegura la universidad que se atienden los aspectos derivados de los reportes de los examinadores externos? 79. ¿Qué retroalimentación busca la universidad sobre el proceso de reconocimiento por parte de las instituciones reconocidas?