Laurentino Salvador. José M. Osoro. Evaluación de programas...

Evaluación de la Calidad

2

CONTENIDO:

1. Concepto y sistema de calidad

2. Modelos de calidad

3. Calidad y educación

4. Enlaces a webs sobre calidad

3

Conjunto de características de un producto o servicio, que lo convierte en satisfactorio

para el cliente o consumidor.

¿Qué es calidad? ¿Qué es calidad?

Conjunto de cualidades que constituyen la manera de ser de

una persona o cosa.

4

¿Por qué es ahora más necesaria la calidad?¿Por qué es ahora más necesaria la calidad?

Razones Externas

Razones Internas

Globalización.

Clientes exigentes.

Competitividad.

Costes de mala calidad.

Implicación del personal.

Nuevas tecnologías.

5

INSATISFACCION INEVITABLE

CALIDAD IDEALSATISFACCION

PLENA

SATISFACCIÓN DEL TRABAJO ÚTIL PARA EL

CLIENTE

INSATISFACCIONEVITABLE

ESFUERZOSINÚTILES DE

DISEÑO

CALIDADAMENAZADA

SATISFACCIÓNCASUAL

TRABAJOREALIZADO

INUTILMENTE

CALIDAD QUE DESEA EL CLIENTE

CA

LID

AD

PRO

GR

AM

AD

A

CA

LIDA

D

REA

LIZAD

A

CALIDAD TOTAL: LAS TRES CALIDADESCALIDAD TOTAL: LAS TRES CALIDADES

6

Logrando la satisfacción de los clientes.

Con la formación permanente.

Con el apoyo incondicional de la dirección.

Con la participación y cooperación de todos.

Mejorando e innovando de forma continua.

¿Cómo se consigue?¿Cómo se consigue?

7

tiempo

nivel decalidad

MEJORA CONTINUA

Ciclo PDCA (rueda de Shewhart o de Deming)

P

Plan: Planifique lo que va a realizar Identifique los grupos de interés Analice sus necesidades o expectativas Defina características para satisfacerlas Diseñe un proceso adecuado

D

Do: Desarrolle lo que planificó

C

Check: Compruebe los resultados de su acción

A

Act: Actúe para modificar lo que hace o para asegurar los resultados con mayor calidad

Planificar, Desarrollar, Comprobar y Actuar

8

Del control de la calidad a la excelencia organizacionalDel control de la calidad a la excelencia organizacional

Excelencia

Gestión

Sistema

Proceso

Producto

Normas UNE-EN ISO 9000:2000

9

CONSISTE ENCONSISTE EN

CONJUNTO DE ESTRUCTURAS DE LA ORGANIZACIÓN, DE CONJUNTO DE ESTRUCTURAS DE LA ORGANIZACIÓN, DE

RESPONSABILIDADES, DE PROCEDIMIENTOS, DE PROCESOS RESPONSABILIDADES, DE PROCEDIMIENTOS, DE PROCESOS

Y DE RECURSOS QUE SE ESTABLECEN PARA LLEVAR A CABO Y DE RECURSOS QUE SE ESTABLECEN PARA LLEVAR A CABO

LA GESTIÓN DE LA CALIDAD.LA GESTIÓN DE LA CALIDAD.

LA DEFINICIÓN Y EJECUCIÓN DE UN MÉTODO DE TRABAJO QUE ASEGURE QUE EL PRODUCTO O

SERVICIO CUMPLE CON UNAS ESPECIFICACIONES PREVIAMENTE ESTABLECIDAS PARA SATISFACER

LAS NECESIDADES DEL CLIENTE.

¿Qué es un sistema de calidad?¿Qué es un sistema de calidad?

10

DARSE CUENTA (sensibilización “cultura de la calidad”).

DECISIÓN (ANTES FORMARSE E INFORMARSE).

COMPROMISO.

ELEGIR UN MODELO DE REFERENCIA: ¿ISO 9000:2000?.

¿BENCHMARKING DE UNA ORGANIZACIÓN SIMILAR CONSIDERADA EXCELENTE?.

¿MODELO EUROPEO DE GESTIÓN DE LA CALIDAD TOTAL?.

ACTUACIÓN (SISTEMA; MÉTODO; OBJETIVOS; PLANIFICACIÓN;

ORGANIZACIÓN; CALENDARIO; PERSONAS Y MEDIOS).

CONTROL. MEJORA CONTINUA. Contratos-programa y planes estratégicos

¿Cómo implantar un sistema de calidad?¿Cómo implantar un sistema de calidad?

11

Funciones de los sistemas de calidad y mejora Funciones de los sistemas de calidad y mejora

Preparar los mecanismos para la acreditación de instituciones o programas.Preparar los mecanismos para la acreditación de instituciones o programas.

Mejorar la docencia, la investigación y la gestión.Mejorar la docencia, la investigación y la gestión.

Servir de instrumento para rendir cuentasal gobierno y a la sociedadServir de instrumento para rendir cuentasal gobierno y a la sociedad

Suministrar información pública y transparenteal estudiante y al mercado laboral.

Suministrar información pública y transparenteal estudiante y al mercado laboral.

Operar como mecanismos para decidir unafinanciación diferencial de los centros.Operar como mecanismos para decidir unafinanciación diferencial de los centros.

12

13

ES UNA ESTRATEGIA O MODELO DE GESTIÓN DE UNA

ORGANIZACIÓN

ES UNA ESTRATEGIA O MODELO DE GESTIÓN DE UNA

ORGANIZACIÓN

MODELO ISO 9000MODELO ISO 9000MODELO ISO 9000MODELO ISO 9000 MODELO DE EXCELENCIAMODELO DE EXCELENCIAMODELO DE EXCELENCIAMODELO DE EXCELENCIA

CUALQUIER PROCESO DE IMPLANTACIÓN DE UN SISTEMA DE CALIDAD, QUE NO IMPLIQUE LOS PRINCIPIOS DE LA CALIDAD TOTAL, CORRE EL RIESGO DE QUEDARSE EN MERO GASTO

ES UN SISTEMA PARA ES UN SISTEMA PARA VERIFICAR LA CALIDAD DEL VERIFICAR LA CALIDAD DEL

PRODUCTO O SERVICIOPRODUCTO O SERVICIO

ES UN SISTEMA PARA ES UN SISTEMA PARA VERIFICAR LA CALIDAD DEL VERIFICAR LA CALIDAD DEL

PRODUCTO O SERVICIOPRODUCTO O SERVICIO

Dos enfoques de la Calidad TotalDos enfoques de la Calidad Total

14

Modelo ISO 9000:2000Modelo ISO 9000:2000

15

16

LiderazgoLiderazgo ProcesosProcesos Resultadosclaves

Resultadosclaves

Gestión del Personal

Gestión del Personal

Política y Estrategia

Política y Estrategia

Alianzas yRecursos

Alianzas yRecursos

Resultados en las personas

Resultados en las personas

Resultados enlos cliente

Resultados enlos cliente

Resultados en la sociedad

Resultados en la sociedad

Agentes facilitadoresAgentes facilitadores ResultadosResultados

Innovación y aprendizajeInnovación y aprendizaje

Modelo Europeo de Gestión de la Calidad Total (EFQM)Modelo Europeo de Gestión de la Calidad Total (EFQM)

17

EL MODELO EUROPEO DE GESTIÓN DE CALIDAD

Agentes 500 puntos (50%) Resultados 500 puntos (50%)

Liderazgo 100 Puntos (10%)

Gestión de personal 90 puntos (9%)

Planificación y estrategia 80 puntos (8%)

Recursos 90 puntos (9%)

Procesos 140 Puntos 14%

Satisfaccióndel personal 90 puntos (9%)

Satisfacción del cliente 200 puntos (20%)

Impacto en la sociedad 60 puntos (6%)

Resultados del centro educativo 150 puntos (15%)

EFQM

18

Evaluación de la calidadEvaluación de la calidad

Debate político

Control Evaluación

Decisión sumatoria

Autorregulación

Debate técnico

¿Cómo? ¿Para qué?

Indicadores De rendimientoJuicios de

expertos

Decisión sumatoria

Mejora y Apoyo a la

unidad

19

� Que no hay clientes propiamente dichos

� Que la educación tiene una importanciarelativa en muchos sectores

� Que los productos finales son difusos

� Que los procesos son variables

� Que podemos contemplarlo (endeterminados niveles) como un serviciopúblico al margen de los resultados.

José M. Osoro - Dept. Educación UC

20

Comparación PNECU-PCU y ANECA

PNECU-PCU ANECAObjetivos Mejora continua Homologación

Metodología Cuantitativa y cualitativa Cuantitativa

Datos Evidencias: datos, opiniones contrastadas…

Evidencias: indicadores y documentos

Aspectos a evaluar Dimensiones Criterios

Proceso Evaluación interna y externa

Externa

Papel de los evaluadores “cómplices” de la mejora Auditores

Resultados Propuestas de mejora

contratos-programa Plan estratégico

Informe Acreditación

Agencias responsables Agencias autonómicas ANECA MEC

21

Programa de Evaluación Institucional Programa de Evaluación Institucional

EtapasEtapas

Autoevaluación

Evaluación Externa

Final

Informe de autoevaluación

Informe de Evaluación Externa

Plan de Mejoras

Comité de Autoevaluación, Unidad Técnica, Comunidad Universitaria

Comité de Autoevaluación, Unidad Técnica, Comité de Evaluación Externa, Comunidad Universitaria

Comité de Autoevaluación, Unidad Técnica, Equipo de Gobierno

Agentes implicadosAgentes implicados ResultadosResultados

Asesoramiento de la ANECA

22

PLAZOS PARA LA EJECUCIÓN DEL PEI 2004-2005

Momentos clave del proceso PlazosResponsabilidad

Fase de AutoevaluaciónDel 21 de

octubre al 31 de marzo

Unidad evaluada

Envío Informe de Autoevaluación a la ANECA

Hasta el 31 de marzo

Unidad evaluada

Visitas de Evaluación ExternaDel 1 de abril al 15 de mayo

Unidad evaluada-ANECA

Envío del informe de Evaluación Externa

Antes del 15 de junio

ANECA

Período para la realización de comentarios al Informe de Evaluación

Externa, en su caso

Del 15 de junio al 1 de

julioUniversidad

Revisión del Informe de Evaluación Externa y realización de las

modificaciones oportunas, en su caso

Del 1 de julio hasta el 15 de

julioANECA

Envío del Plan de MejorasHasta el 15 de

noviembreUniversidad

Programa de Evaluación InstitucionalPrograma de Evaluación Institucional

23

Visión Global del ProcesoVisión Global del Proceso

DIAGNÓSTICO DE LA SITUACIÓN ACTUAL DE LA TITULACIÓNDIAGNÓSTICO DE LA SITUACIÓN ACTUAL DE LA TITULACIÓNDIAGNÓSTICO DE LA SITUACIÓN ACTUAL DE LA TITULACIÓNDIAGNÓSTICO DE LA SITUACIÓN ACTUAL DE LA TITULACIÓN

Recursos Recursos HumanosHumanos

Recursos Recursos MaterialesMateriales

OrganizaciónOrganización de lade la

EnseñanzaEnseñanza

Proceso Proceso FormativoFormativo

Programa Programa FormativoFormativo ResultadosResultados

Plan de MejorasPlan de Mejoras

VISITA A LA TITULACIÓN VISITA A LA TITULACIÓN DEL COMITÉ EXTERNODEL COMITÉ EXTERNO

VISITA A LA TITULACIÓN VISITA A LA TITULACIÓN DEL COMITÉ EXTERNODEL COMITÉ EXTERNO

Informe de Autoevaluación

Informe de Evaluación Externa

Áreas de Mejora

Comité de AutoevaluaciónComité de Autoevaluación

Fuentes de información

FASE FASE

AUTOEVALUACIÓNAUTOEVALUACIÓN

FASE FASE

EVALUACIÓN EVALUACIÓN

EXTERNAEXTERNA

FASEFASE

FINALFINAL

Comité de AutoevaluaciónComité de Autoevaluación

Miembros de la Comunidad Universitaria

Documentación, Informes y estudios

24

COMUNICACIÓNCOMUNICACIÓN Y DIFUSIÓNY DIFUSIÓN

COMUNICACIÓNCOMUNICACIÓN Y DIFUSIÓNY DIFUSIÓN

Modelo de Evaluación de la ANECA Modelo de Evaluación de la ANECA

PLANIFICACIÓN PLANIFICACIÓN DEL P.F.DEL P.F.

PLANIFICACIÓN PLANIFICACIÓN DEL P.F.DEL P.F.

OBJETIVOS

Proceso de captación y selección de alumnos

ALUMNO DE NUEVO

INGRESO

Perfil de ingreso: conocimientos y competencias

PROGRAMA FORMATIVO

ORGANIZACIÓN DE LA ENSEÑANZA

Gestión plan de estudios (contenido, coherencia, flexibilidad, factibilidad, revisión y actualización)

Proceso enseñanza -aprendizaje

Metodología enseñanza - aprendizaje

Metodología evaluación

Programas de acción tutorial

Prácticas externas Movilidad

Formación integral

Programas de acogida

Programas apoyo al aprendizaje

Programas orientación profesional

Actividades formación integral

RESULTADOS

EGRESADO

SOCIEDAD

Perfil de egreso: conocimientos y competencias

RECURSOS

HUMANOS

RECURSOS

MATERIALES

Aulas

Bibliotecas

Espacios de trabajo alumnos

Espacios de trabajo RRHH

Infraestructuras destinadas a prácticas externas

Laboratorios, talleres y espacios experimentales

PDI

PAS

Resultados de I+D+I

Gestión de horarios de

clase

- ESQUEMA DEL MODELO DE EVALUACIÓN -

MMEEJJOORRAA

CCOONNTTÍÍNNUUAA

Gestión de recursos

Gestión de procesos

25

FUNDAMENTACIÓNDE LOS JUICIOS DE VALOR

* Estadísticas de Gestión: Alumnos, Profesores, Recursos, ....

* Documentos: Planes de Estudio, Guías Académicas, Reglamentos, Protocolos de exámenes, Actas órganos de gobierno,Encuestas de opinión, memorias, estudios, ...

* Opiniones de implicados:Dirección Centro/Departamentos, alumnos,profesores, graduados, empleadores, ...

* Conocimiento del propio Comité

EVIDENCIA: Datos objetivos - Consenso intersubjetivo

26

Contenido del Autoinforme

LO DESCRIPTIVO1. Información objetiva (cuantitativa o cualitativa)2. Información documentada basada en opiniones

miembros comunidad

LO VALORATIVO3. Inferencias/juicios apoyados en datos y/o

documentación. + / - EVIDENCIA

4. Inferencias/juicios sin apoyo en datos y/o documentación. + / - CONSENSO

LO DESCRIPTIVO1. Información objetiva (cuantitativa o cualitativa)2. Información documentada basada en opiniones

miembros comunidad

LO VALORATIVO3. Inferencias/juicios apoyados en datos y/o

documentación. + / - EVIDENCIA

4. Inferencias/juicios sin apoyo en datos y/o documentación. + / - CONSENSO

27

ACREDITACIÓNACREDITACIÓN

1. Programa formativo: 1. Programa formativo: objetivos y plan de estudiosobjetivos y plan de estudios

2. Organización2. Organización de la enseñanza:de la enseñanza:• Dirección y planificaciónDirección y planificación• Gestión y organizaciónGestión y organización

3. Recursos humanos:3. Recursos humanos:• Personal académicoPersonal académico• PASPAS

4. Recursos materiales:4. Recursos materiales:Aulas, espacios de trabajo, laboratorios, bibliotecaAulas, espacios de trabajo, laboratorios, biblioteca

5. Proceso formativo:5. Proceso formativo:• Atención al alumno yAtención al alumno y formación integralformación integral• Proceso enseñanza-aprendizajeProceso enseñanza-aprendizaje

ACREDITACIÓN DE LAS TITULACIONESACREDITACIÓN DE LAS TITULACIONESCRITERIOS - ANECACRITERIOS - ANECA

ACREDITACIÓN DE LAS TITULACIONESACREDITACIÓN DE LAS TITULACIONESCRITERIOS - ANECACRITERIOS - ANECA

6. Resultados:6. Resultados:• del programadel programa• de los egresadosde los egresados• en la sociedaden la sociedad

El proceso de acreditación

28

Descripción de la situación

El programa formativo tiene definidos sus objetivos entre los que se encuentran los conocimientos y las capacidades que los alumnos debe tener al concluir sus estudios.

1.1. Objetivos del programa formativo

Protocolo para la elaboración del IAProtocolo para la elaboración del IA

29

Valoración semicuantitativa

1. PROGRAMA FORMATIVO

A B C D EI

1.1. Objetivos del programa formativo

El programa formativo tiene definidos sus objetivos entre los que se encuentran los conocimientos y las capacidades que los alumnos deben tener al concluir sus estudios.

Protocolo para la elaboración del IAProtocolo para la elaboración del IA

30

Fortalezas, debilidades y propuestas de mejora

1. PROGRAMA FORMATIVO

FORTALEZAS DEBILIDADES PROPUESTAS DE MEJ ORA URGENCIA IMPORTANCI A

Protocolo para la elaboración del IAProtocolo para la elaboración del IA

31

1.- Asociación Española de la Calidad, www.aec.es 2.- European Foundation for Quality Management (EFQM). www.efqm.org 3.- International Standardizaron Organization (ISO), www.iso.ch 4.- Entidad Nacional de Acreditación (ENAC). www.enac.es 5.- Asociación Española de Normalización (AENOR). www.aenor.es 6.- Proyecto Norma de Calidad. www.ongconcalidad.org 7.- Comunidades autónomas:

•Fundación Vasca para la Calidad, www.esukalit.net •Fundación Navarra para la Calidad, www.gnavajra.com •Fundación Valenciana para la Calidad, http://turia.gva.es/fvq •Club Asturiano de Calidad, www.club-calidad.es •Institut Balear de Desenvolupament Industrial, www.idi.es

8.- Investors in People. www.investorsinpeople.com 9.- European Organization for Quality (EOQ). www.eoq.org 10.- TÜV Rheinland. www.tuv.es 11.- Bureau Veritas. www.bureauveritas.com 12.- Club de Gestión de la Calidad, http://www.clubcalidad.es/ 13.- Instituto de la Calidad Turística Española (ICTE). www.icte.com 14.- Madrid Excelente, www.madridexcelente.com 15.- Un buen glosario de temas de calidad lo encontrareis en www.qualityadvisor.com 16.- Observatorio de Calidad para los Servicios Públicos, www.ocsp.arrakis.es 17.- European Society for Quality in Health Care. http://www.esqh.net/ 18.- Fundació Avedis Donabedian, www.fadg.org 19.- La página del proyecto de Responsabilidad Social. www.accountability.org 20.- La página del proyecto Sphere. www.sphereproject.org21.- La página del proyecto de la ONU. www.unglobalcompact.org 22.- ANECA. www.aneca.es

23.- The European Network for Quality Assurance in Higher Education (ENQA). http://www.enqa.net/ 24.- Instituto Nacional de evaluación y calidad del sistema educativo. http://www.ince.mec.es/25.- Consejo de Coordinación Universitaria. http://www.mec.es/consejou/calidad/index.html

Enlaces Web sobre calidad: