¿CÓMO EVALUAMOS LA FORMACIÓN CONTINUADA SANITARIA?
PROPUESTA DE UN INDICADOR DE EFICIENCIA
Mª Pilar Serrano Casarrubio
UNIVERSITAT D´ALACANT
UNIVERSIDAD DE ALICANTE
¿CÓMO EVALUAMOS LA FORMACIÓN CONTINUADA SANITARIA?. PROPUESTA DE UN INDICADOR DE EFICIENCIA.
Mª Pilar Serrano Casarrubio
Tesis doctoral Alicante, enero de 2016
¿CÓMO EVALUAMOS LA FORMACIÓN CONTINUADA SANITARIA?
PROPUESTA DE UN INDICADOR DE EFICIENCIA
UNIVERSITAT DÁLACANT
UNIVERSIDAD DE ALICANTE
DEPARTAMENTO DE PSICOLOGÍA EVOLUTIVA Y DIDÁCTICA
FACULTAD DE EDUCACIÓN
¿CÓMO EVALUAMOS LA FORMACIÓN CONTINUADA SANITARIA?.PROPUESTA DE UN INDICADOR DE EFICIENCIA.
Mª PILAR SERRANO CASARRUBIO
Tesis presentada para aspirar al grado deDOCTORA POR LA UNIVERSIDAD DE ALICANTE
DISEÑO, ORIENTACIÓN, E INTERVENCIÓN PSICOPEDAGÓGICA
Dirigida por:
Dra. Raquel Gilar Corbí.Dra. Cristina Vilaplana Prieto.
¿CÓMO EVALUAMOS LA FORMACIÓN CONTINUADA SANITARIA?
PROPUESTA DE UN INDICADOR DE EFICIENCIA
Tesis presentada para aspirar al grado de
A mi familia, en
especial, a mi padre y
abuelo que desde el
cielo me protegen y a
mi madre, abuela y
hermano, por todo lo
que significan para mí.
A Daniel por sus incesantes
ánimos y a Cristina por su
apoyo incondicional.
AGRADECIMIENTOS: En primer lugar agradezco a Francesc Molina, Coordinador de Desarrollo Profesional de
la Dirección General de Recursos Humanos del Servicio Murciano de Salud, que haya
impulsado este proyecto, y autorizado la utilización de los datos que se presentan. Él ha
sabido poner luz a mis tinieblas psicopedagógicas y alumbrado el camino con sus sabios
consejos. Es un privilegio trabajar con él.
Agradezco al Departamento de Psicología Evolutiva y Didáctica de la Universidad de
Alicante, en especial a sus Directores de Departamento, Juan Luís Castejón y Raquel Gilar
su acogida, ayuda, disponibilidad y orientación en la elaboración de este proyecto.
Agradezco a toda mi familia el haberme dado ánimo en los momentos más difíciles, en
especial a mi madre y abuela, porque ellas me motivan a mirar hacia delante.
Agradezco a Cristina Vilaplana sus desvelos durante todo este proceso. Su implicación,
diligencia, profesionalidad, paciencia, ayuda y ánimos han sido vitales para mí durante
todo este tiempo.
Agradezco a Daniel Sáez, sus incesantes ánimos, y su apoyo durante todo este tiempo.
Ahora comienza una nueva etapa. (SEC 2 ).
ÍNDICE DE CONTENIDOS OBJETIVO DE LA TESIS ................................................................................................. 13
1.CAPÍTULO I. REVISIÓN TEÓRICA MODELOS DE EVALUACIÓN .................... 15
1.1 Concepto de evaluación. ........................................................................................... 15
1.2 Modelos de evaluación conductistas: ....................................................................... 16
1.2.1 Modelo de evaluación basado en la consecución de objetivos de Ralph W. Tyler. ... 16
1.2.2.Modelo de evaluación CIPP (Contexto, Input, Proceso, Producto) de Stufflebeam. . 32
1.2.3 Modelo de evaluación respondiente de Robert E. Stake. ........................................... 42
1.3 Modelos de evaluación humanísticos ...................................................................... 46
1.3.1 Modelo de evaluación al cliente de Michael Scriven ................................................. 46
1.3.2 Modelo de evaluación como crítica artística de Elliot W. Eisner ............................ 51
1.4 Modelos de evaluación holísticos. ........................................................................... 55
1.4.1 Modelo de evaluación iluminativa de M.Parlett y D.Hamilton. ................................. 55
1.4.2 Modelo de evaluación democrática de Barry MacDonald. ........................................ 58
1.4.3 Modelo de evaluación estratégica de Fred David R. .................................................. 58
1.4.4 Modelo de evaluación EFQM..................................................................................... 64
1.5 Otros modelos basados en la calidad: ...................................................................... 72
1.5.1 Modelo de evaluación de la calidad Seis Sigma (6σ) de Jack Welch ....................... 72
1.5.2 Modelo Relacional de Calidad de De la Orden .......................................................... 78
1.5.3 Modelo de evaluación de la calidad de Le Boterf, Barzucchetti y Vincent .............. 80
1.5.4 Modelo Enfoque de Inversión de Pilar Mamolar ....................................................... 83
1.5.5 Modelo de Jean- Marie Barbier .................................................................................. 85
1.5.6 Modelo de calidad orientado a la satisfacción de Martínez-Tur y Tordera ........ 88
1.5.7 Modelo de Evaluación de la Gestión de Ángel José Olaz ......................................... 89
2.CAPÍTULO II. REVISIÓN TEÓRICA MODELOS DE EVALUACIÓN DEL
IMPACTO EN FORMACIÓN ........................................................................................... 93
2.1 Aspectos generales en la evaluación del impacto en formación ............................. 93
2.2 Modelos de evaluación de impacto en la formación: .............................................. 98
2.2.1 Modelo de evaluación orientado a los resultados de Jackson .................................... 98
2.2.2 Modelo de Evaluación del Impacto de Chang .......................................................... 100
2.2.3 Modelo de evaluación de Grotelueschen .................................................................. 102
2.2.4 Modelo de Cervero y Rottet ..................................................................................... 104
2.2.5 Modelo de evaluación del impacto de la formación de Robinson y Robinson . 106
2.2.6 Modelo de Wade ....................................................................................................... 108
2.2.7 Modelo de Evaluación de Cuatro Niveles de Kirkpatrick .................................. 109
2.2.8 Modelo de Phillips .................................................................................................... 118
2.2.9 Modelo de medición del ROTI de Liliana Rodríguez y Andrés Mosteiro ............... 121
2.3 Modelos de evaluación de impacto en el ámbito sanitario ............................. 123
2.3.1 Modelo SM/PI (System Model of Policy Indicators) de Thomas R. Doy ............... 123
2.3.2 Modelo QSP-INC (Fornell, Universidad de Michigan) ....................................... 124
2.3.3 Modelo de Ubillos .................................................................................................... 125
2.3.4 Otros modelos: .......................................................................................................... 125
2.4 Beneficios en formación. ........................................................................................ 128
2.5 Costes en formación. .............................................................................................. 130
2.6 Algunos resultados de investigaciones en indicadores de eficiencia .................... 132
3. CAPÍTULO III. REVISIÓN TEÓRICA: MARCO LEGAL ....................................... 149
3.1 Contextualización de la formación continuada de las profesiones sanitarias. .... 149
3.2 Regulación de la formación continuada de las profesiones sanitarias a nivel
europeo. ......................................................................................................................... 151
3.3 Regulación de la formación continuada de las profesiones sanitarias a nivel
nacional. ........................................................................................................................ 152
3.4 Regulación de la formación continuada de las profesiones sanitarias a nivel
regional ......................................................................................................................... 159
3.5 Beneficios de la formación continuada en la Comunidad Autónoma de la Región
de Murcia. ..................................................................................................................... 161
4. CAPÍTULO IV. PARTE EMPÍRICA .......................................................................... 165
4.1 Planteamiento general y objetivos. ......................................................................... 165
4.2 Método ..................................................................................................................... 166
4.2.1 Participantes ........................................................................................................ 166
4.2.2 Medidas ................................................................................................................ 167
4.2.3 Procedimiento ...................................................................................................... 168
4.2.4 Diseño y Análisis de datos ................................................................................... 168
4.3 Resultados. .............................................................................................................. 169
4.3.1 Primera parte: indicador de eficiencia. .............................................................. 169
4.3.1.1 Tasa de cobertura ................................................................................................... 171
4.3.1.2 Cálculo de la tasa de cobertura estandarizada ....................................................... 179
4.3.1.3 Coste ...................................................................................................................... 180
4.3.1.4 Cálculo del coste estandarizado:............................................................................ 182
4.3.1.5 Aforo ...................................................................................................................... 186
4.3.1.6 Cálculo del aforo estandarizado ............................................................................ 193
4.3.1.7 Beneficio ................................................................................................................ 194
4.3.1.8 Cálculo del beneficio estandarizado: ..................................................................... 201
4.3.1.9 Cálculo del indicador de eficiencia: ...................................................................... 204
4.3.1.10 Indicador Cualitativo ........................................................................................... 209
4.3.1.11 Cálculo del indicador cualitativo estandarizado .................................................. 213
4.3.2 Segunda parte: análisis econométrico. ............................................................... 217
4.3.2.1 Modelo econométrico ............................................................................................ 217
4.3.2.2 Idoneidad de la utilización de datos de panel ........................................................ 218
4.3.2.3 Estimación con datos de panel............................................................................... 220
4.3.2.4 Resultados .............................................................................................................. 232
4.4. DISCUSIÓN Y CONCLUSIONES ........................................................................... 252
5. BIBLIOGRAFÍA .......................................................................................................... 267
6. ANEXOS ....................................................................................................................... 285
Anexo 1. Estimación del coste indirecto de formación ............................................... 285
Anexo 2. Satisfacción de los pacientes con la atención recibida ................................ 288
Anexo 3. Descripción de la base de datos de panel ..................................................... 292
ÍNDICE TABLAS Tabla 1. Taxonomía de Bloom revisada. ........................................................................... 17
Tabla 2. Fases del modelo propuesto por Ralph W. Tyler ................................................ 21
Tabla 3. Clasificación de las actividades según modelo de Tyler. .................................... 27
Tabla 4. Ventajas e inconvenientes del modelo de Tyler: ................................................. 30
Tabla 5. Estrategia de intervención y elementos de análisis según modelo de
Stufflebeam ......................................................................................................................... 37
Tabla 6. Ventajas e inconvenientes del modelo de Stufflebeam. ...................................... 41
Tabla 7. Ventajas e inconvenientes del modelo de Stake. ................................................. 45
Tabla 8. Análisis indicadores modelos de Scriven. ........................................................... 48
Tabla 9. Ventajas e inconvenientes del modelo de Scriven: ............................................. 50
Tabla 10. Ventajas e inconvenientes del modelo de Eisner .............................................. 54
Tabla 11. Resumen momentos claves según el modelo de evaluación iluminativa ......... 56
Tabla 12. Diferencias entre sistema de enseñanza y sistema de aprendizaje ................... 57
Tabla 13. Ventajas e inconvenientes del modelo de Parlett y Hamilton ......................... 57
Tabla 14. Ventajas e inconvenientes del modelo de Fred David R. .................................. 63
Tabla 15. Resumen de las principales características de los criterios de modelo EFQM 67
Tabla 16. Ventajas e inconvenientes del modelo EFQM .................................................. 71
Tabla 17. Características de la variable dependiente e independiente. ............................ 72
Tabla 18. Ventajas e inconvenientes del 6σ ...................................................................... 77
Tabla 19. Criterios de calidad según modelo de Le Boterf. .............................................. 81
Tabla 20. Principales elementos del enfoque basado en la inversión de Pilar Mamolar
(2000) .................................................................................................................................. 83
Tabla 21. Adaptación del modelo de Barbier al campo de formación continuada. ......... 85
Tabla 22. Tipos de evaluación de los resultados según modelo de Barbier ..................... 86
Tabla 23. Ventajas e inconvenientes del Modelo de evaluación orientado a los resultados
de Jackson ......................................................................................................................... 100
Tabla 24. Principales fases del modelo IDEAMS .......................................................... 101
Tabla 25. Ventajas e inconvenientes del modelo evaluación del impacto de Chang ..... 102
Tabla 26. Modelo de evaluación de Grotelueschen ......................................................... 103
Tabla 27. Ventajas e inconvenientes del modelo de Grotelueschen ............................... 104
Tabla 28. Ventajas e inconvenientes del modelo de Robinson y Robinson .................... 108
Tabla 29. Ventajas e inconvenientes del modelo de Wade .............................................. 109
Tabla 30. Resumen de fases del modelo de Phillips (2003) ............................................ 119
Tabla 31. Beneficios de la formación según Horton (2001) ........................................... 126
Tabla 32. Diferentes tipos de beneficios en formación. .................................................. 128
Tabla 33. Propuesta de indicadores del proceso de enseñanza/aprendizaje.Andrés
Fernández, Miguel A. (2005). .......................................................................................... 136
Tabla 34. Resultados impacto de formación en ocupaciones relacionadas con la
soldadura en el acceso a empleo. ..................................................................................... 144
Tabla 35. Relación entre gasto formación y gasto en sanidad en la Región de Murcia
2009-2014 .......................................................................................................................... 163
Tabla 36. Relación del gasto formación y el gasto en sanidad respecto al Producto
Interior Bruto en la Región de Murcia 2009-2014 ......................................................... 164
Tabla 37. Cálculo de la tasa de cobertura para 2009. ..................................................... 171
Tabla 38. Cálculo de la tasa de cobertura para 2010 ...................................................... 172
Tabla 39. Cálculo de la tasa de cobertura para 2011 ...................................................... 173
Tabla 40. Cálculo de la tasa de cobertura para 2012 ...................................................... 174
Tabla 41. Cálculo de la tasa de cobertura para 2013 ...................................................... 174
Tabla 42. Cálculo de la tasa de cobertura para 2014 ...................................................... 175
Tabla 43. Cálculo de la tasa de cobertura sin estandarizar 2009-2014. ......................... 176
Tabla 44. Cálculo de la tasa de cobertura estandarizada 2009-2014 ............................. 180
Tabla 45. Cálculo del coste por hora estandarizado 2009-2014. .................................... 183
Tabla 46. Cálculo de la tasa de variación del coste (€/hora) de los cursos de formación
........................................................................................................................................... 184
Tabla 47. Media anual y variación de servicios médicos generales 2008-2014 ............. 184
Tabla 48. Media anual y variación de educación universitaria y otras enseñanzas 2008-
2014 ................................................................................................................................... 185
Tabla 49. Participantes y ediciones 2009 ......................................................................... 186
Tabla 50. Participantes y ediciones 2010 ......................................................................... 187
Tabla 51. Participantes y ediciones 2011 ......................................................................... 188
Tabla 52. Participantes y ediciones 2012 ......................................................................... 188
Tabla 53. Participantes y ediciones 2013 ......................................................................... 189
Tabla 54. Participantes y ediciones 2014. ........................................................................ 190
Tabla 55. Cálculo del aforo 2009-2014 ............................................................................ 191
Tabla 56. Cálculo del aforo estandarizado 2009-2014 .................................................... 194
Tabla 57. Participantes, horas y ediciones 2009 ............................................................. 195
Tabla 58. Participantes, horas y ediciones 2010 ............................................................. 196
Tabla 59. Participantes, horas y ediciones 2011 ............................................................. 197
Tabla 60. Participantes, horas y ediciones 2012 ............................................................. 197
Tabla 61. Participantes, horas y ediciones 2013 ............................................................. 198
Tabla 62. Participantes, horas y ediciones 2014 ............................................................. 199
Tabla 63. Cálculo del beneficio 2009-2014 ..................................................................... 200
Tabla 64. Cálculo del beneficio estandarizado 2009-2014.............................................. 202
Tabla 65. Cálculo de la eficiencia 2009-2014 ................................................................. 207
Tabla 66. Ejemplo componente cualitativo (CCL) .......................................................... 211
Tabla 67. Indicador cualitativo 2009-2014 ...................................................................... 212
Tabla 68. Cálculo del Indicador Componente cualitativo estandarizado 2009-2014 ... 214
Tabla 69. Cálculo de la eficiencia ponderada 2009-2014 ............................................... 215
Tabla 70. Estimación del modelo de datos de panel con efectos fijos ............................ 237
Tabla 71. Estimación del modelo de efectos aleatorios ................................................... 241
Tabla 72. Test de Hausman .............................................................................................. 242
Tabla 73. Estimaciones adicionales por efectos aleatorios (incluyendo variables
constantes en el tiempo) ................................................................................................... 245
Tabla 74. Estimación mediante el método de Hausman y Taylor .................................. 249
Tabla 75. Test de Hausman para comparar modelo de efectos aleatorios y modelo
Hausman y Taylor ............................................................................................................ 250
Tabla 76. A1. Promedio coste laboral por hora en actividades sanitarias (€/hora) ....... 285
Tabla 77. A1. Costes indirectos hora formación 2009-14 ............................................... 287
Tabla 78. A2. Valoración de pacientes en relación con los médicos de Atención Primaria
........................................................................................................................................... 289
Tabla 79. A3. Valoración de pacientes en relación con la Atención Especializada ...... 290
Tabla 80. A1. Descripción de la base de datos de panel .................................................. 292
ÍNDICE FIGURAS Figura 1. Síntesis de paradigmas, modelos y teorías de evaluación ................................. 15
Figura 2. Diferencias en la clasificación de la taxonomía de Bloom original y la
actualización en 2001. ........................................................................................................ 19
Figura 3. Resumen de las principales fases y elementos según el modelo CIPP de
Stufflebeam. ........................................................................................................................ 34
Figura 4. Modelo CIPP de Stuffebeam. ............................................................................ 39
Figura 5. Modelo CIPP de Stuffebeam: contexto. ........................................................... 39
Figura 6. Modelo CIPP de Stuffebeam: inputs. ................................................................ 40
Figura 7. Modelo CIPP de Stuffebeam: proceso. ............................................................. 40
Figura 8. Modelo CIPP de Stuffebeam: producto ............................................................ 40
Figura 9. Ejemplo de modelo matricial propuesto por Stake. .......................................... 42
Figura 10. Modelo matricial de Stake ............................................................................... 44
Figura 11. Principales elementos que aporta el modelo de Scriven. ................................ 51
Figura 12. Modelo de evaluación estratégica de Fred David R. ...................................... 62
Figura 13. Modelo EFQM ................................................................................................. 65
Figura 14. Cambio de un proceso con calidad tres sigma a seis sigma. .......................... 73
Figura 15. Principales etapas de DMAIC. ........................................................................ 73
Figura 16. Modelo relacional de la calidad del profesor de la Orden. ............................. 79
Figura 17. Tipos de evaluación según diferentes criterios. .............................................. 95
Figura 18. Fases en la evaluación del impacto según Tejada. ......................................... 97
Figura 19. Principales fases en el Modelo de evaluación orientado a los resultados de
Jackson. ............................................................................................................................... 98
Figura 20. Esquema del modelo de Cervero y Rottet ...................................................... 105
Figura 21. Fases del modelo de formación para el impacto de Robinson, D.G. y
Robinson, J. (1989) ........................................................................................................... 107
Figura 22. Niveles del modelo de Wade. .......................................................................... 108
Figura 23. Principales etapas del Modelo de evaluación de Kirkpatrick ....................... 110
Figura 24. Niveles de evaluación de Kirpatrick .............................................................. 116
Figura 25. Cálculo del ROI según modelo planteado por Phillips. ............................... 119
Figura 26. Elementos que integran el modelo SM/PI .................................................... 123
Figura 27. Tasa de cobertura 2009-14. ........................................................................... 177
Figura 28. Coste por Hora 2009-14. ................................................................................ 181
Figura 29. Aforo 2009-14. ................................................................................................ 192
Figura 30. Beneficio 2009-14. ......................................................................................... 201
Figura 31. Eficiencia 2009-2014 ..................................................................................... 208
Figura 32. Componente cualitativo 2009-2014 ............................................................... 213
Figura 33. Coste laboral hora efectiva sanidad 2008-2014 ............................................ 286
Objetivo de la Tesis
13 | P á g i n a
OBJETIVO DE LA TESIS
El objetivo de esta tesis consiste en presentar una propuesta de indicador de eficiencia
de un Plan de Formación Continuada en el ámbito sanitario, contemplando los modelos
explicativos del impacto de la formación continuada en el ámbito sanitario.
El esquema que conceptualmente se seguirá, abarcará definiciones más holísticas o
globales, tales como la evaluación de programas de formación y su impacto, que servirán
no sólo como base para explicar el resultado de los diferentes modelos existentes
recopilados en la búsqueda bibliográfica, sino también para asentar las bases en las que se
fundamentará y concretará la propuesta de un indicador de eficiencia.
Una vez explicado el modelo, tanto de evaluación como de impacto, sobre el que se basará
la tesis, se procederá a la contextualización de la formación continuada, ya que el indicador
de eficiencia propuesto versa sobre formación continuada en las profesiones sanitarias de
la Región de Murcia. En este punto, se esbozará la normativa legal que sustenta la
formación continuada sanitaria tanto a nivel nacional, como a nivel autonómico, y más
concretamente a nivel de la Región de Murcia, que es de donde se han extraído los datos de
la parte empírica.
Los datos se analizarán con un modelo de panel de datos donde se buscará el efecto de las
variables consideradas en el indicador de eficiencia, buscando la precisión, que en lenguaje
econométrico se traduce en insesgadez y consistencia. Entre las variables explicativas no
sólo se incluyen aquellas que de forma intuitiva se pueden considerar como determinantes
de la eficiencia, tales como el porcentaje de participantes a cursos de formación respecto al
total de empleados, el coste por hora de formación y el tamaño promedio de los grupos que
Objetivo de la Tesis
14 | P á g i n a
reciben cursos de formación. También se considerarán otras variables potencialmente
significativas, que hasta el momento no han recibido atención en los modelos empíricos
revisados: carga de trabajo de los empleados a los que van dirigidos los cursos de
formación (en términos de número de pacientes atendidos) y distribución de hospitales,
Centros de salud y consultorios por áreas de salud (tanto en términos absolutos, como
relativos en proporción a la superficie que comprende cada área de salud).
Se compararán las diferentes variables conforme a un modelo de efectos fijos vs. efectos
aleatorios, justificando cuál de los modelos explica mejor las variables consideradas y
representa el modelo más preciso en relación al indicador de eficiencia propuesto.
Adicionalmente, también se considerará un modelo con variable dependiente retardada
para explorar la posibilidad de que el nivel de eficiencia del año anterior ejerza una
influencia significativa sobre el nivel de eficiencia del año en curso. Tanto la utilización de
datos de panel como la especificación econométrica de los modelos planteados constituyen
una clara innovación en el campo de la eficiencia aplicada a la formación continuada.
Capítulo I. Revisión Teórica Modelos de Evaluación.
15 | P á g i n a
1.CAPÍTULO I. REVISIÓN TEÓRICA MODELOS DE
EVALUACIÓN
1.1 Concepto de evaluación.
El primer punto de inexcusable abordaje es el de la evaluación, ya que éste es el pilar sobre
el que se sustenta el trabajo que se presenta.
Tras la revisión de la literatura existente acerca de los modelos de evaluación, puede
concluirse que son muchos los modelos y versiones que surgen en torno al tema de la
evaluación, pudiendo identificar tres paradigmas fundamentales: cuantitativo, cualitativo y
mixto, sobre los que se basan los modelos conductistas, humanísticos y holísticos.
De todos ellos, se han seleccionado los que no sólo han tenido una mayor repercusión en el
campo de la Educación, sino los que, además, están más estrechamente relacionados con la
presente tesis doctoral.
A modo de resumen, estos serán los principales métodos o teorías que se abordarán,
ubicándose cada una de ellas en un modelo concreto, que a su vez se encuadra en uno de
los tres grandes paradigmas.
Figura 1. Síntesis de paradigmas, modelos y teorías de evaluación Fuente: Elaboración propia.
Capítulo I. Revisión Teórica Modelos de Evaluación.
16 | P á g i n a
1.2 Modelos de evaluación conductistas:
1.2.1 Modelo de evaluación basado en la consecución de objetivos de Ralph
W. Tyler.
Tras la revisión bibliográfica de los paradigmas conductuales puede concluirse que con
Ralph W. Tyler, al que podríamos denominar “padre de la evaluación”, comienzan a
desarrollarse los primeros modelos de evaluación en torno a 1930. Antes de dicha fecha no
se hablaba de evaluación, más bien existía la “medición”.
A partir de esta fecha es cuando Tyler rodeado de otros célebres estudiosos pertenecientes
al campo de la Pedagogía, de la Psicología y de la Educación empiezan a desarrollar un
modelo conductista de evaluación, cuya repercusión se extenderá hasta mediados de los
años 60.
Es por lo tanto, un paradigma conductista el germen u origen desde el que surge la
evaluación. En este paradigma prima fundamentalmente el resultado obtenido, siendo un
elemento fundamental la definición de objetivos. En este sentido, el mayor aporte lo realiza
Bloom (1948) con la formulación de una taxonomía que clasifica los objetivos en función
de su complejidad y grado de abstracción.
Concretamente en esta taxonomía se distinguen 6 categorías:
1) Conocimiento (Recoger información)
2) Comprensión (Confirmación, aplicación)
3) Aplicación (Hacer uso del conocimiento)
4) Análisis (Orden superior: dividir, desglosar)
5) Sintetizar (Orden superior: reunir, incorporar)
Capítulo I. Revisión Teórica Modelos de Evaluación.
17 | P á g i n a
6) Evaluar (Orden superior: evaluar el resultado)
Esta taxonomía se revisó posteriormente en 2001 (Anderson y Krathwohl), manteniendo 3
categorías y apareciendo otras tres nuevas:
1) Recordar (nueva categoría)
2) Comprender.
3) Aplicar.
4) Analizar (nueva categoría)
5) Evaluar
6) Crear (nueva categoría).
De forma esquemática ésta sería la descripción de cada una de las categorías existentes:
Tabla 1. Taxonomía de Bloom revisada.
RECORDAR
COMPRENDER
APLICAR
ANALIZAR
EVALUAR
CREAR
Reconocer y
evocar
información
relevante de la
memoria a largo
plazo
Dotar de
significado al
material
educativo con
lecturas o
explicaciones del
docente
Aplicación de
un proceso
aprendido a
una situación
concreta.
Dividir el
conocimiento en
partes y
establecer
relaciones
respecto a la
estructura
global.
Comprobación
y crítica del
conocimiento
adquirido.
Planificar y
generar nuevo
conocimiento.
Fuente: Elaboración propia a partir de (Anderson y Krathwohl, 2001)
Capítulo I. Revisión Teórica Modelos de Evaluación.
18 | P á g i n a
Esta revisión no fue la única realizada, ya que en 2008, en la que se ha denominado
“Taxonomía de Bloom para la era digital”, Churches realiza una nueva revisión en la que
no incorpora ninguna categoría más, pero sí amplía el repertorio de verbos utilizados hasta
el momento, adaptándolos a la utilización de las TICs (Tecnologías de la Información y
Comunicación). En este sentido, aparecen verbos como “filmar”, “animar”, “bloguear”,
“programar”, entre otros.
A la vista de las tres nuevas categorías puede concluirse que la evaluación es un pilar
fundamental a la hora de determinar cuál ha sido el resultado de la planificación prevista, si
bien es cierto, que con la aparición de las nuevas tecnologías, la taxonomía se ha
actualizado para permitir la evaluación de actividades de aprendizaje cuyo desarrollo tiene
lugar a través de una modalidad no presencial, bien se trate de actividades mixtas u on-line.
A modo gráfico en la figura 2 se compara la taxonomía de Bloom original y la
actualización de 2001, cuya diferencia más significativa estriba en la posición que ocupa la
categoría de “evaluación” en la pirámide. Esta diferencia también puede encontrarse en la
actualización de Churches en 2008.
Capítulo I. Revisión Teórica Modelos de Evaluación.
19 | P á g i n a
Figura 2. Diferencias en la clasificación de la taxonomía de Bloom original y la
actualización en 2001. Fuente: https://www.google.es/search?q=taxonomia+de+bloom&biw=1280&bih=579&sour
Características del modelo de Ralph W. Tyler:
El modelo de los objetivos de aprendizaje desarrollado por Ralph W. Tyler, también
conocido como Modelo de congruencia de objetivos, se centraba, sobre todo, en medir los
resultados, y verificar el logro de los objetivos. Para construir el currículum se necesitaba
concretar cuáles serían las conductas deseables, siendo el cambio de dichos patrones
conductuales lo que llevaba a hablar de educación. Es, precisamente, esta premisa la que
hace que en 1969 Ralph W. Tyler cambie el foco de la evaluación, y no se centre en las
habilidades de los individuos sino en el diseño del currículum. La evaluación dejó de ser
una forma para reconocer el aprendizaje de los individuos y se convirtió en un medio para
conocer el grado en que las intenciones del currículum se alcanzaban en la práctica.
La evaluación no se centraba ya en la consecución de los objetivos por parte del alumno,
sino en el alcance de los mismos a través del programa del currículum y la enseñanza. Los
Capítulo I. Revisión Teórica Modelos de Evaluación.
20 | P á g i n a
exámenes servían como medio para verificar el alcance de los objetivos curriculares, pero
no eran el fin en sí mismos.
En un primer momento, Tyler, se centró en mejorar el trabajo en un contexto
universitario, ya que formaba parte del Comité Exploratorio para la Evaluación del
Progreso Educacional, pero posteriormente, su método se centró en el contexto escolar,
priorizando todas las iniciativas que pudieran surgir a nivel local así como la construcción
de un currículum basado en las necesidades de la comunidad, en el que era primordial la
implicación de todos los maestros. Estos principios tuvieron su repercusión años más tarde
en las primeras evaluaciones de programas de acción social así como evaluaciones de
iniciativas innovadoras.
Para Tyler los programas educativos, es decir, los currículum deben ser el resultado del
proceso de indagación en las “fuentes”, es decir: necesidades de los alumnos, sociedad,
tareas, contexto cultural, así como en el planteamiento de los contenidos.
Tras considerar e indagar en las mismas, se hace preciso “filtrar” el resultado, para lo que
se precisa recurrir a la filosofía y psicología del centro educativo. De esta manera, se
pueden articular objetivos acordes con los principios filosóficos y factibles dentro del
proceso de aprendizaje.
Capítulo I. Revisión Teórica Modelos de Evaluación.
21 | P á g i n a
Fases del Modelo de congruencia de objetivos de Ralph W. Tyler.
A modo de resumen estos son los pasos más relevantes del modelo propuesto por Tyler:
Tabla 2. Fases del modelo propuesto por Ralph W. Tyler Fase Tareas
1. Identificación de objetivos en el programa
educativo
Formular objetivos en función de:
Necesidades de los alumnos
Características del contexto sociocultural
Contenidos
2. Clasificación de objetivos Relacionar los objetivos y ubicarlos en la categoría
más acorde, en función de su finalidad:
Hábitos de trabajo y conductas de estudio.
Actitudes sociales
Desarrollo del pensamiento.
Desarrollo de la creatividad
Desarrollo de la sensibilidad social
Desarrollo de la salud física
Desarrollo de una filosofía vital
Fomento de ampliación de intereses
Desarrollo de un mayor ajuste social
Fomento de la adquisición de información
3. Operativizar cada objetivo en términos de conducta Formular los objetivos teniendo en cuenta el
logro deseado en relación al mismo,
ubicándolo en una de las categorías de la
taxonomía de Bloom.
4. Identificar situaciones de logro de los objetivos Demostrar el alcance del objetivo, por parte
del alumno.
5. Diseñar metodología de evaluación Analizar la validez y fiabilidad de los
métodos propuestos
Capítulo I. Revisión Teórica Modelos de Evaluación.
22 | P á g i n a
Fase Tareas
6. Implementar técnicas de evaluación Desarrollar técnicas que permitan evaluar el
alcance de los objetivos propuestos, ya sean a
nivel cognoscitivo o actitudinal
7. Valorar los objetivos alcanzados
Interpretar los resultados conseguidos en
función de los objetivos planteados.
Fuente: Elaboración propia a partir del Modelo de congruencia de objetivos de Ralph W. Tyler (1948)
Principios básicos en la “Justificación de Tyler”:
Son cuatro las preguntas que Tyler se formuló y que aparecen en su obra “Educational
evaluation: new roles and new means” publicado por la Universidad de Chicago en 1969,
y cuyas respuestas, hoy en día, siguen siendo un punto de partida en materias como
Psicología de la Instrucción, cuando se trata de formular planteamientos curriculares.
Las preguntas son las siguientes:
1. ¿Qué fines educativos debería alcanzar la escuela? Definición de objetivos de
aprendizaje adecuado.
2. ¿Qué experiencias de aprendizaje útiles se pueden seleccionar para alcanzar estos
objetivos? Aprendizaje significativo basado en la experiencia.
3. ¿Cómo pueden organizarse experiencias de aprendizaje para una instrucción
eficaz? Aprendizaje eficaz.
4. ¿Cómo se puede evaluar la eficacia de experiencias de aprendizaje? Evaluación
del proceso y valoración de fortalezas y debilidades.
A continuación, de manera esquemática, se expondrán los puntos más relevantes de las
cuatro preguntas clave formuladas en la teoría de Tyler:
Capítulo I. Revisión Teórica Modelos de Evaluación.
23 | P á g i n a
Pregunta 1: ¿Qué fines educativos debería alcanzar la escuela?
La primera pregunta que se plantea Tyler tiene que ver con la reflexión acerca de los fines
que la escuela desea alcanzar, ya que él llega a constatar que existen Centros donde los
programas no se corresponden con ningún propósito previamente definido, lo cual es un
claro óbice para la planificación y mejora de un programa. Esta definición de objetivos
será la que sirva de guía en la selección de material, contenido del programa, elaboración
de los procedimientos de enseñanza y preparación de las pruebas y exámenes para la
superación de los mismos.
A la hora de determinar las metas educativas, éstas adquirirán sentido cuando se comparen
los datos obtenidos en cuanto a la consecución de objetivos con los niveles deseables.
En el proceso de planificación del currículum la formulación de objetivos de manera
precisa, coherente y pertinente es vital en la selección del desarrollo del programa,
concretamente, en la descripción de las actividades de aprendizaje. Para la organización de
la lista de los objetivos importantes, conviene enumerarlos en forma tal que resulten
útiles para seleccionar la actividad de aprendizaje y orientar el mismo.
La contextualización en la formulación de objetivos adquiere un importante papel, ya que
es preciso considerar las características socioculturales que rodean al individuo así como
sus necesidades educativas particulares.
Capítulo I. Revisión Teórica Modelos de Evaluación.
24 | P á g i n a
Pregunta 2: ¿Qué experiencias de aprendizaje útiles se pueden seleccionar para alcanzar
estos objetivos?
Las experiencias del aprendizaje constituyen el medio a través del cual pueden alcanzarse
los objetivos planificados. Aprendemos en base a lo que somos y a lo que sabemos
previamente. Este argumento explica la significatividad del aprendizaje que promueven las
teorías constructivistas.
La expresión “experiencia de aprendizaje” alude a la interacción que se establece entre el
estudiante y las condiciones del medio en el cual interacciona y aprende.
El papel del estudiante deja de ser un papel pasivo, ya que es la conducta activa,
materializada en el aprendizaje, la que otorga un papel activo al mismo. Se aprende con lo
que se hace y se experimenta.
Por lo tanto, el responsable de la educación debe establecer las condiciones y estructurar la
situación para ofrecer una experiencia que fomente el aprendizaje, adaptándola, en la
medida de lo posible, al perfil de dicho alumno, lo que implica el conocimiento de los
intereses y personalidades de los alumnos, a fin de generar reacciones estimulantes que les
motiven para aprender. Por ello, para Tyler era fundamental disponer de filtros como la
filosofía y la psicología con los que contara el Centro a la hora de “filtrar” los
aprendizajes, entendiendo “filtrar” como la adecuación de los objetivos al contexto
sociocultural y necesidades educativas del que aprende.
Tyler establece una serie de premisas básicas para poder seleccionar experiencias de
aprendizaje significativas, que se resumen en las siguientes:
Capítulo I. Revisión Teórica Modelos de Evaluación.
25 | P á g i n a
a) Relación de los objetivos, contenidos y actividades de aprendizaje:
Una vez se plantea la necesidad de seleccionar unas actividades concretas de aprendizaje,
se ha de considerar que hay determinadas actividades que pueden responder a unos mismos
objetivos. A la hora de seleccionar las actividades de aprendizaje éstas pueden agruparse
teniendo en cuenta los objetivos generales comunes a algunas de ellas, así como los
objetivos específicos, propios de algunas de las mismas. En el planteamiento de estas
actividades influirá de qué tipo de objetivo concreto se trata.
Por lo tanto, la definición del objetivo, según la teoría propuesta por Tyler abarcaría
además del enunciado completo según el tipo de conducta, el contenido con el que dicha
conducta se relaciona, siendo las actividades concretas de aprendizaje los medios a través
de los que el estudiante trabajaría los contenidos acorde con los propósitos que se
pretenden conseguir.
Éste es un principio básico útil en la selección de experiencias de aprendizaje y válido para
todo tipo de objetivos.
b) Motivación implícita.
Una premisa para la selección de experiencias según Tyler, es conseguir que las
actividades propuestas permitan al estudiante sentirse satisfecho tras la realización de las
mismas. Por lo tanto, será fundamental, tener en cuenta las características particulares de
dicho alumno así como sus necesidades educativas como punto de partida.
c) Adecuación de las actividades a las posibilidades del alumno.
Esta premisa básicamente intenta centrar la atención en la importancia de planificar unos
contenidos que tengan en cuenta los recursos físicos y materiales que se encuentran
Capítulo I. Revisión Teórica Modelos de Evaluación.
26 | P á g i n a
disponibles o están al alcance del alumno, ya que lo contrario coadyuvaría a un escenario
donde no existen posibilidades de concluir con éxito el alcance de los objetivos propuestos.
d) Selección dentro de un repertorio de actividades establecido.
Esta premisa intenta poner el foco de atención en la multitud de actividades que pueden
planificarse para conseguir los objetivos, y en esta especie de “base de actividades” es
donde el docente debería seleccionar aquellas más acordes con la finalidad que se persigue.
Con esta premisa Tyler intenta seleccionar y organizar todo un conjunto de actividades y
experiencias y unificar criterios, y no dejar al azar la selección de las mismas.
e) Resultados diferentes a los planificados.
Esta última premisa sostiene que no siempre el planteamiento de una misma actividad
genera los mismos resultados en los estudiantes, ya que son diferentes las motivaciones
con las que cuentan los mismos a la hora de llevar a cabo las diferentes actividades. De
esta manera un alumno, con la resolución de un problema matemático, además de adquirir
conocimientos en el campo del cálculo, puede encontrar una motivación adicional por
temas económicos, o por el uso racional de recursos.
En relación al tipo de actividades que Tyler plantea, éstas pueden clasificarse en varios
tipos, en función del número y tipo de objetivos:
Capítulo I. Revisión Teórica Modelos de Evaluación.
27 | P á g i n a
Tabla 3. Clasificación de las actividades según modelo de Tyler. TIPOS DE ACTIVIDADES DE APRENDIZAJE PRINCIPIOS BÁSICOS
Actividades de desarrollo de
pensamiento/razonamiento hipotético-deductivo.
o Intentan desarrollar el pensamiento
general partiendo de un supuesto concreto y
específico mediante el que desarrollar la
lógica a través de premisas y supuestos para
llegar a conclusiones.
Actividades para adquisición de conocimientos
o Incluyen objetivos centrados en la
comprensión de hechos concretos. Es
importante la selección de la información
más relevante, y la utilización en diversos
contextos.
Actividades de aprendizaje que fomenten actitudes
sociales
o Son determinadas materias las que
contribuyen a adquirir las actitudes sociales,
tales como la literatura, o aquellas
relacionadas con el campo artístico y
educación física, entre otras.
Actividades de aprendizaje con la finalidad de dar
respuesta a motivaciones.
o Estas actividades ejemplifican la
adecuación de la planificación a las
necesidades e intereses de los alumnos.
Fuente: Elaboración propia a partir del Modelo de congruencia de objetivos de Ralph W. Tyler (1948)
Capítulo I. Revisión Teórica Modelos de Evaluación.
28 | P á g i n a
Pregunta 3: ¿Cómo pueden organizarse experiencias de aprendizaje para una instrucción
eficaz?
Dado que en la programación curricular debe existir coherencia entre los objetivos,
contenidos y actividades de aprendizaje, el siguiente paso es el de dotar de una
organización lógica en cuanto a unidades, cursos y programas se refiere.
Dentro de los criterios lógicos para una organización curricular efectiva se ha de tener en
cuenta:
a) Continuidad
b) Secuencia
c) Integración
A la hora de organizar las actividades de aprendizaje es importante atender a dichos
criterios. Estos criterios están referidos no sólo a la secuenciación vertical de los
contenidos sino a la organización en función de los contenidos, y por supuesto, a la
coherencia en relación al conjunto total. De esta forma, la programación adquiere sentido
vista desde una perspectiva global y no sólo como una suma de actividades aisladas.
Igualmente, es importante considerar la presencia de nexos organizativos que articulen los
diferentes componentes del currículum. A mayor extensión en la programación, mayor
dificultad para establecer el nexo de unión entre las distintas partes que la integran.
Capítulo I. Revisión Teórica Modelos de Evaluación.
29 | P á g i n a
Pregunta 4: ¿Cómo se puede evaluar la eficacia de experiencias de aprendizaje?
La respuesta a esta última pregunta está estrechamente relacionada con la evaluación de los
objetivos propuestos en relación con las experiencias de aprendizaje realizadas.
Se hace preciso corroborar si se han alcanzado otros objetivos, que tienen más que ver con
los filtros psicológicos y filosóficos de la institución.
En el contexto real, son muchas las variables que pueden presentarse y que están
relacionadas con la individualidad propia de cada estudiante, los factores ambientales
donde tiene lugar la docencia y el perfil competencial del docente, entre otros.
Es preciso, por lo tanto, determinar varios procedimientos de evaluación, sometidos a
revisión continua, en aras a una mejora del proceso de planificación y evaluación posterior.
Estos procedimientos de evaluación tendrán como misión determinar en qué medida los
objetivos inicialmente planificados se han cumplido, qué tipo de conductas ha alcanzado el
alumno en relación a cada uno de los objetivos propuestos e identificar los aciertos y
errores, así como la mejora de estos últimos.
Capítulo I. Revisión Teórica Modelos de Evaluación.
30 | P á g i n a
Tabla 4. Ventajas e inconvenientes del modelo de Tyler: VENTAJAS
Algunos aspectos más relevantes contemplados en el modelo son:
Sistematización del concepto de evaluación. Hasta el momento sólo se habla de medición.
Para Tyler los aprendizajes siempre han de estar relacionados con el planteamiento de unos
objetivos bien definidos cuya coherencia con los resultados o logros alcanzados habrán de
ser verificados por el docente.
Sistematización del proceso curricular, estableciendo diversas partes diferenciadas:
objetivos, contenidos, actividades (lo que en su modelo denomina “experiencias de
aprendizaje”), y evaluación.
Diversidad educativa, ya que se contempla la existencia de diversas metodologías de
aprendizaje, diversidad en cuanto a las necesidades de los alumnos, así como diferentes
métodos de evaluación, dependiendo del tipo de pensamiento que se quiera fomentar.
Relación sociedad-educación, al contemplar en el proceso de planificación educativa las
necesidades del alumno y las características socioculturales que le rodean, que habrán de
tenerse en cuenta en la selección de las experiencias del aprendizaje.
Verificación del logro alcanzado, mediante la comparación de los objetivos y los
resultados. Éste, además, es uno de los principios básicos, de la planificación curricular, ya
que la evaluación siempre ha de estar relacionada con los objetivos planteados, de lo
contrario el proceso educativo estaría abocado al fracaso, y precisamente hoy en día, pueden
encontrarse planificaciones cuyos objetivos no guardan coherencia con la evaluación, por lo
que esta ventaja, aunque planteada a mediados del siglo XX, sigue gozando de una vigencia
plena en la actualidad.
Capítulo I. Revisión Teórica Modelos de Evaluación.
31 | P á g i n a
INCONVENIENTES:
Entre los inconvenientes más relevantes se han de destacar:
Falta de autonomía docente y discente. El hecho de enfatizar los cambios conductuales en
los alumnos e intentar predecir los mismos contradice el principio de autonomía del
discente. Además, el modelo no reconoce que hay conductas que son impredecibles, y por lo
tanto, al no contemplar este aspecto no tiene en cuenta medidas para hacer frente a los
efectos secundarios que pudieran derivarse. En relación al docente, no se enfatiza su propio
desarrollo y con ello queda relegada a un segundo plano la faceta más crítica. Puede
afirmarse que es un modelo un tanto inflexible en cuanto a planteamiento curricular se
refiere.
Ausencia de innovación en detrimento de la eficacia. Tyler plantea un modelo propio del
pensamiento tecnocrático. El papel del docente no se basa en la investigación activa tras la
revisión de los resultados obtenidos.
Ausencia de multidimensionalidad en las pruebas de evaluación, puesto que la atención
se centra exclusivamente en el resultado de los exámenes y no tanto en la mejora de los
cursos. En relación, a este aspecto algunos autores como Lee J. Cronbach en su obra
“Course improvement through evaluation” publicada en 1963 han sido especialmente
críticos, afirmando que los exámenes eran insuficientes y que era necesario que la
evaluación se centrara en aspectos basados en la innovación y no exclusivamente en las
pruebas escritas.
Predominio de la evaluación sumativa frente a la formativa, debido a que el valor
fundamental estriba en el resultado final y no en el proceso formador llevado a cabo. En
definitiva, predomina el producto antes que el proceso.
Fuente: Elaboración propia a partir del Modelo de congruencia de objetivos de Ralph W. Tyler (1948)
Capítulo I. Revisión Teórica Modelos de Evaluación.
32 | P á g i n a
1.2.2.Modelo de evaluación CIPP (Contexto, Input, Proceso, Producto) de
Stufflebeam.
Siguiendo dentro del paradigma conductista, a mediados de los años 60 surge un nuevo
modelo de evaluación que desbanca al modelo tradicional propuesto por Tyler. Existe un
elemento que fomenta este cambio y tiene que ver con la aparición en Estados Unidos de
una nueva legislación que afecta a los estudios de Primaria y Secundaria, denominada
ESEA (Elementary and Secondary Education Act).
Los docentes pasan a un segundo plano en el proceso evaluativo, adquiriendo esta
responsabilidad evaluadores externos, y dando paso, de esta manera, a la aparición de las
primeras agencias de evaluación y Universidades encargadas de crear programas para
apoyar y asesorar en relación a estas evaluaciones. Se ha de destacar que el interés en
conseguir el alcance de los objetivos era máximo, ya que la asignación de los fondos
federales sólo podía llevarse a cabo en aquellos Centros donde se constatara que con los
proyectos curriculares propuestos se habían alcanzado los objetivos. Y es en este contexto,
donde aparece el modelo de Daniel Stufflebeam orientado a la toma de decisiones. Se ha
de destacar que él fue el fundador del Centro de Evaluación de la Universidad de Ohio en
1965, Centro que dirigió hasta el 2002. En su análisis para diagnosticar el estado de la
evaluación se encontró que ésta contaba con una situación crítica, llegando a afirmar en el
National Study Committee on Evaluation en 1971 que “la evaluación educacional es
víctima de una grave enfermedad”.
La aportación más significativa del modelo de Stufflebeam es considerar la posibilidad de
cambios dentro del proceso. Ya no hablamos de la evaluación como una estructura lineal
objetivos/resultados sino de un proceso que se pueda retroalimentar con información útil y
descriptiva sobre el valor y mérito de las metas, la planificación, la ejecución y el impacto
Capítulo I. Revisión Teórica Modelos de Evaluación.
33 | P á g i n a
con la finalidad de servir de guía en la toma de decisiones, y poder así solucionar
problemas de responsabilidad y promover la compresión de los fenómenos implicados.
El primer paso previo a la evaluación es el análisis de los objetivos deseados, así como de
la información necesaria a tener en cuenta en el contexto en el que van a ser utilizados los
resultados. Además es preciso determinar cuál es el perfil de los estudiantes, para poder
configurar un mapa con todos los elementos implicados y establecer una planificación que
vaya retroalimentándose, para posteriormente, valorar el impacto de la ejecución llevada a
cabo.
La toma de decisiones se va realizando sujeta al continuo cambio y modificación de los
criterios, dentro de unos parámetros caracterizados por una dualidad, ya que se trata de un
modelo abierto por un lado y cerrado por otro. Es un modelo abierto porque es posible
tomar nuevas decisiones no previstas en función del contexto, inputs o entradas, proceso y
producto, permitiendo orientar el proceso hacia el cambio deseado. Por otro lado, es un
modelo cerrado ya que se nutre de los propios elementos internos de los que se va
retroalimentando.
Además de esta dualidad, se ha de tener en cuenta que una vez finalizado el proceso,
nuevamente, hay que situarse en el punto de partida. La figura del docente ha de tomar
conciencia de su papel e intervenir de manera dinámica, ya que es él quien tras realizar el
análisis ha de determinar el momento oportuno para actuar, así como establecer las áreas
donde se ha de instaurar el cambio y herramientas a utilizar.
Lo más importante de este modelo es el carácter dinámico, ya que una entrada o input,
dependiendo de las condiciones, puede influir en el proceso y orientar éste hacia otros
resultados. El feedback o retroalimentación del proceso influye para que la situación de
Capítulo I. Revisión Teórica Modelos de Evaluación.
34 | P á g i n a
logro final no sea inevitablemente la asumida desde un primer momento considerando este
resultado como valioso para docente, alumno y evaluador, al ampliar el repertorio de
elementos docentes a tener en cuenta en el proceso de planificación curricular y utilizarlos
como un elemento de mejora.
A modo de resumen, éstas serían las principales fases y los principales elementos
planteados en el modelo CIPP planteado por Stufflebeam.
Figura 3. Resumen de las principales fases y elementos según el modelo CIPP de
Stufflebeam.
Fuente: Elaboración propia a partir del modelo Stufflebeam.
Capítulo I. Revisión Teórica Modelos de Evaluación.
35 | P á g i n a
A continuación se procederá a explicar de manera resumida cuáles son las características
principales de cada una de las evaluaciones descritas en el modelo de Stufflebeam:
Contexto, Input, Proceso y Producto (CIPP)
1. Contexto:
La pregunta básica a la que se intentaría responder es ¿qué necesitamos hacer?. A la hora
de dar respuesta se han de tener en cuenta las fortalezas y debilidades del programa,
identificando las características del entorno
Según Rodgers (1979), las finalidades que persigue son:
a) Definir las características y parámetros del entorno donde se desarrolla el programa
b) Determinar las metas generales y los objetivos específicos.
c) Identificar y diagnosticar los problemas u obstáculos que pudieran impedir el logro
de metas y objetivos.
Esta evaluación se centraría en definir el entorno, no sólo el real, sino el deseado,
identificando las necesidades que no se han alcanzado, así como las oportunidades y los
obstáculos.
La metodología incluye entrevistas, reuniones y lectura de informes. El procedimiento
utilizado se basa en:
a) Análisis conceptual en aras a determinar los límites del entorno donde se desarrolla
el programa.
b) Estudios empíricos para determinar cuáles son las necesidades que no se han
resuelto, así como establecer nuevas oportunidades para alcanzarlas.
Capítulo I. Revisión Teórica Modelos de Evaluación.
36 | P á g i n a
c) Emisión de juicios o valoraciones por parte de un grupo de expertos. sobre las
metas y objetivos que se desean alcanzar.
2. Evaluación del input o entrada.
Lo más importante en esta fase de evaluación es determinar los recursos disponibles para
alcanzar las metas y objetivos del programa. La principal premisa en la evaluación del
input intenta dar respuesta a la pregunta ¿es posible llevar a cabo el programa?. A través de
esta pregunta habría que determinar no sólo qué recursos, sino también qué estrategias de
programas alternativos, dentro del contexto de necesidades que se haya definido, van a ser
de utilidad para alcanzar los objetivos.
Dentro de las principales acciones a seguir se encontrarían:
a) Diseñar un programa para satisfacer objetivos
b) Definir recursos necesarios que han de utilizarse en el programa.
c) Valorar la adecuación de los recursos humanos y materiales.
Las estrategias de intervención contemplan los siguientes elementos:
Capítulo I. Revisión Teórica Modelos de Evaluación.
37 | P á g i n a
Tabla 5. Estrategia de intervención y elementos de análisis según modelo de Stufflebeam ESTRATEGIA ELEMENTOS DE ANÁLISIS
Estrategia para lograr objetivos
Temporalidad
Recursos físicos
Recursos materiales
Recursos económicos
Capacidad de cobertura de necesidades
Obstáculos potenciales
Estrategia para definir las capacidades y los
recursos del equipo
Revisión del desarrollo del programa en
función de objetivos planteados.
Valoración de soluciones viables
Escucha activa de agentes de evaluación
Estimación realista de los recursos
Búsqueda bibliográfica
Revisión de programas ejemplares
Fuente: Elaboración propia a partir del modelo planteado por Stufflebeam
3. Evaluación del proceso.
La pregunta que tendríamos que formularnos para dar respuesta a esta evaluación sería
¿cómo se realiza la comprobación del proceso para garantizar que éste se lleve a cabo de
manera adecuada?. En el fondo, la evaluación del proceso consiste en la verificación de la
realización del plan. Es una parte muy importante, ya que proporciona información sobre
la eficacia y la eficiencia de las estrategias llevadas a cabo. Permite decidir si el programa
tal y como se está llevando a cabo contaría con aceptación o es necesario modificar algún
aspecto. Se trata, por lo tanto, de comprobar cuál es la diferencia que existe entre el diseño
final y la implementación real.
Capítulo I. Revisión Teórica Modelos de Evaluación.
38 | P á g i n a
La metodología se basa en la revisión y la supervisión por parte del evaluador que verifica
las características del contexto, los elementos del programa llevados a cabo en la realidad,
las fortalezas y las debilidades con la finalidad de poder establecer una toma de decisiones
adecuada. El soporte que aparece es un registro con todas las incidencias surgidas al
respecto, que será vital para la toma de decisiones en la etapa siguiente.
4. Evaluación del producto
Si bien en la evaluación del proceso se registraban datos durante el mismo, en esta etapa
es esencial la valoración a posteriori, utilizando el estudio de caso y el análisis de
eficiencia medida en tiempo/coste. Se trata de determinar hasta qué punto las necesidades
inicialmente contempladas han sido cubiertas, cuáles fueron los imprevistos a los que hubo
que hacer frente, así como el análisis de resultados positivos no contemplados inicialmente.
Esta última parte es la que entraña una mayor dificultad, ya que la evaluación del producto
necesita un claro establecimiento de criterios derivados de un análisis completo de los
objetivos conseguidos y planificados, además de la comparación de la información
recogida, relacionándola con la evaluación del contexto, input y proceso a la vez.
De manera resumida, el modelo CIPP proporciona información referida a:
Necesidades existentes /Necesidades cubiertas.
Descripción del programa de intervención propuesto y alcance de los objetivos que
lo integran.
Capítulo I. Revisión Teórica Modelos de Evaluación.
39 | P á g i n a
Grado de realización del plan de intervención, tras la retroalimentación llevada a
cabo en el proceso.
Resultados obtenidos.
A modo de gráfico, éstas son las principales fases incluidas en el modelo CIPP propuesto
por Stuffebeam.
Figura 4. Modelo CIPP de Stuffebeam. Fuente: Elaboración propia
Figura 5. Modelo CIPP de Stuffebeam: contexto. Fuente: Elaboración propia
Capítulo I. Revisión Teórica Modelos de Evaluación.
40 | P á g i n a
Figura 6. Modelo CIPP de Stuffebeam: inputs. Fuente: Elaboración propia
Figura 7. Modelo CIPP de Stuffebeam: proceso. Fuente: Elaboración propia
Figura 8. Modelo CIPP de Stuffebeam: producto Fuente: Elaboración propia
Capítulo I. Revisión Teórica Modelos de Evaluación.
41 | P á g i n a
De manera resumida las principales ventajas e inconvenientes del modelo de evaluación
CIPP son las siguientes:
Tabla 6. Ventajas e inconvenientes del modelo de Stufflebeam. VENTAJAS
Proceso como elemento fundamental de la planificación curricular, en detrimento del
modelo de Tyler que sólo tenía en cuenta el alcance de los logros (producto).
Retroalimentación o feedback de los elementos que intervienen en el proceso, analizados
en las fases de evaluación del contexto, input, proceso y producto, como medida de
modificación y mejora. Puede afirmarse que es un proceso cíclico.
Toma de decisiones tras el análisis de la información registrada después de la fase de
evaluación del proceso.
Eficiencia como elemento a valorar tras el análisis del programa educativo, y revisión del
coste/tiempo invertido así como de los recursos físicos y materiales empleados.
Registro de información analizada, así como empleo de metodologías que intentan
sistematizar la información tales como estudio de caso, informe, o técnica Delphi, entre
otros.
Evaluación que tiene en cuenta la opinión no sólo del evaluador sino la de las personas
encargadas de tomar decisiones en el proceso educativo.
INCONVENIENTES:
Escasa especificación en la manera en la que se procederá a la toma de decisiones.
Papel tecnócrata del evaluador, relegando a un segundo plano la opinión de los discentes,
y en general, de la comunidad. El planteamiento es excesivamente técnico.
Ausencia de detección de necesidades sentidas, no considerando la opinión de los
estudiantes.
Evaluaciones exclusivamente cuantitativas, en las que se mide el impacto mediante un
grupo control comparándolo con el grupo que se ha de beneficiar del programa educativo.
Sesgo en la información final ofrecida por los agentes de la evaluación encargados de dar
información al evaluador.
Fuente: Elaboración propia a partir del modelo CIPP propuesto por Daniel Stufflebeam (1967)
Capítulo I. Revisión Teórica Modelos de Evaluación.
42 | P á g i n a
1.2.3 Modelo de evaluación respondiente de Robert E. Stake.
Robert E. Stake formula su modelo de evaluación en 1967. Para Stake la evaluación es “un
proceso interactivo para adquirir información sobre una institución, un programa o
proyecto, que identifica o define los problemas correspondientes, atendiendo la fuerza o
debilidad de estos problemas” (Gagné R.M y Briggs, L.J, 1987).
Para Stake lo más importante en un programa no son en sí los objetivos, sino las
actividades llevadas a cabo dentro del mismo, destacando tres elementos de gran
importancia:
a) Antecedentes: condiciones existentes previas a la aplicación del programa.
b) Procesos o transacciones: actividades que van a llevarse a cabo con el desarrollo del
programa.
c) Resultados: logros obtenidos con el programa, tanto planificados, y por lo tanto,
esperados como no planificados.
Figura 9. Ejemplo de modelo matricial propuesto por Stake. Fuente: Stake(1967)
ANTECEDENTES
RESULTADOS
PROCESOS
Matrices propuestas por R.Stake en la Evaluación Respondiente
Intenciones / Observaciones Standards Juicios
MATRIZ DE DESCRIPTIVA
MATRIZ DE JUICIOS
Capítulo I. Revisión Teórica Modelos de Evaluación.
43 | P á g i n a
Estos 3 elementos constituyen la base sobre la que se articula la estructura funcional, que
cuenta con 12 pasos:
1. Hablar con los clientes, personal del programa y audiencias.
2. Identificar el alcance del programa.
3. Describir una panorámica de las actividades que conforman el programa.
4. Descubrir los propósitos e intereses.
5. Conceptualizar las cuestiones y problemas.
6. Identificar los datos necesarios para investigar los problemas.
7. Seleccionar, siempre que exista posibilidad: observadores, jueces e instrumentos de
evaluación.
8. Observar los antecedentes, procesos o transacciones y resultados.
9. Desarrollar temas, preparar descripciones y estudiar casos concretos.
10. Validar y buscar evidencias para la confirmación de las mismas.
11. Determinar cuál va a ser el papel de la audiencia.
12. Reunir y analizar los informes.
El modelo de Stake, como puede apreciarse, implica la evaluación de diferentes variables e
indicadores elaborados para observar antecedentes, procesos o transacciones y resultados.
Para ello se aplican criterios e indicadores, lo que explica su modelo basado en matrices.
La valoración de dichos criterios puede llevar a establecer juicios absolutos si se compara
con los estándares establecidos dentro del propio programa, o relativos si se compara con
programas que guarden alguna similitud.
Capítulo I. Revisión Teórica Modelos de Evaluación.
44 | P á g i n a
Figura 10. Modelo matricial de Stake Fuente: Stenhouse, L. La investigación y desarrollo del currículo. Ed Morata. Madrid, 1984 y adaptado por Restrepo Ramírez , P.(1990)
Capítulo I. Revisión Teórica Modelos de Evaluación.
45 | P á g i n a
Las ventajas e inconvenientes del modelo de Stake pueden resumirse en las siguientes:
Tabla 7. Ventajas e inconvenientes del modelo de Stake. VENTAJAS:
Evaluación orientada al cliente, centrada en las actividades, pero no exclusivamente en la
consecución de objetivos.
Flexible, ya que tiene en cuenta el análisis de los problemas del programa.
Permite recoger gran cantidad de datos de información organizados en las distintas
matrices.
Establece comunicación entre evaluador y cliente para solucionar problemas.
INCONVENIENTES:
Requiere una compleja organización de datos.
Datos imprecisos, dado el carácter cualitativo de las metodologías empleadas en su registro.
Los agentes implicados en la evaluación siguen estando centrados en los evaluadores y
clientes, sin tener en cuenta a los alumnos ni a la comunidad educativa y a la sociedad.
Fuente: Elaboración propia
Capítulo I. Revisión Teórica Modelos de Evaluación.
46 | P á g i n a
1.3 Modelos de evaluación humanísticos
1.3.1 Modelo de evaluación al cliente de Michael Scriven
El modelo de Scriven (2000) es conocido también como modelo libre de metas. Dentro de
sus características más importantes se halla la de estar orientado a las necesidades del
cliente y no centrado exclusivamente en los objetivos. Es más, según Scriven el evaluador
no debería conocer los objetivos que se pretenden alcanzar para poder valorar con más
objetividad los resultados alcanzados, tanto los esperados como los no previstos, paliando
así un posible sesgo por parte del evaluador.
La evaluación formativa está presente en todas las etapas educativas, tomando cada vez
más protagonismo en la etapa universitaria, tal y como aparece en el artículo publicado
sobre medios, técnicas e instrumentos de evaluación formativa (Hamodi, 2015).
Algunas características del modelo de Scriven son:
Los programas se evalúan como si se tratase de una investigación en la que se ha de
valorar el alcance de hechos planificados e imprevistos y no de intenciones. Éste es
otro punto clave, el emitir juicios de valor y no tanto evaluar el logro.
Las necesidades vienen determinadas por el propio evaluador, quien determina si su
consecución conlleva una satisfacción para quien lo alcanza.
El verdadero valor del programa estriba en la satisfacción de las necesidades del
consumidor. El evaluador debe identificar y ordenar los programas y valorar
opciones alternativas en base a su coste y en función de las necesidades sociales.
Capítulo I. Revisión Teórica Modelos de Evaluación.
47 | P á g i n a
Aparece por primera vez el concepto de “conciencia social informada”, algo que está
estrechamente ligado con la ética del evaluador. De hecho, Scriven analiza la influencia de
cuatro ideologías en el proceso evaluativo: separatista, positivista, administrativa y
relativista.
La ideología más relacionada con los aspectos éticos es la separatista, ya que para Scriven
es fundamental minimizar las resistencias a evaluar las propias evaluaciones. En relación al
resto de ideologías se ha de comentar que en todas ellas Scriven enfatiza un aspecto
concreto. En el caso del positivismo consiste en dar valor a los estados de evaluación,
razón por la que en algunas referencias bibliográficas, este modelo está asociado a una
evaluación de “mérito o valor”. En relación a la ideología administrativa, existe una
tendencia a realizar controles rígidos y a establecer informes favorables, poniendo de
manifiesto una vez más la importancia de la ética del evaluador. Por último, en relación a
la ideología relativista, que es opuesta a la positivista, para Scriven hay una realidad
objetiva.
Centrándonos más en las fases mediante las que se construye el “estado de valor” propio
de este modelo de evaluación pueden destacarse:
Fase 1: Selección de un criterio de valor.
Fase 2: Descripción de los estándares de desempeño.
Fase 3: Medición del desempeño.
Fase 4: Síntesis de los resultados acorde con el criterio de valor establecido.
Uno de los aportes de Scriven fue la utilización de las listas de control, lo que hoy,
salvando diferencias, vendrían a ser los check-list. Dichas listas de control de indicadores
ponen de manifiesto el concepto de evaluación como un proceso multidimensional.
Capítulo I. Revisión Teórica Modelos de Evaluación.
48 | P á g i n a
A continuación, se resumen los indicadores del modelo multidimensional de evaluación.
Tabla 8. Análisis indicadores modelos de Scriven. LISTA DE CONTROL DE
INDICADORES
PREGUNTA QUE PUEDE
FORMULARSE PARA SU
ELABORACIÓN.
TIPO DE
EVALUACIÓN
Descripción ¿Qué hay que evaluar? ¿Cuáles son
los elementos clave?
Evaluación formativa
Cliente ¿Quién ha encargado la evaluación? Evaluación formativa
Antecedentes y contexto
¿Qué circunstancias rodean a quien
ha encargado la evaluación y a
quien va a ser evaluado?
Evaluación formativa
Recursos ¿Qué recursos tiene a su disposición
quien va a ser evaluado? ¿Cuáles
son los recursos disponibles para el
evaluador?
Evaluación formativa
Función ¿Cuál es la actividad del evaluado? Evaluación formativa
Sistema de distribución ¿Cómo llega el evaluado al
mercado? ¿Existe algún mecanismo
de control seguimiento o
perfeccionamiento del mismo?
Evaluación formativa
Consumidor ¿A quién afectan los resultados del
evaluador?
Evaluación formativa
Capítulo I. Revisión Teórica Modelos de Evaluación.
49 | P á g i n a
LISTA DE CONTROL DE
INDICADORES
PREGUNTA QUE PUEDE
FORMULARSE PARA SU
ELABORACIÓN.
TIPO DE
EVALUACIÓN
Necesidades y valores ¿Cuáles son las necesidades y
valores de los consumidores?
Evaluación formativa
Normas ¿Existen normas acerca del mérito o
valor que deba aplicarse? ¿Cuáles
de ellas provienen del cliente y
cuáles del consumidor?
Evaluación formativa
Proceso ¿Cuáles son las limitaciones y
beneficios que aparecen en el
proceso?
Evaluación formativa
Resultados ¿Cuáles son los logros alcanzados
por el evaluado?
Evaluación sumativa
Posibilidad de generalización ¿Es posible extrapolar los
resultados y aplicarlos a otros
programas /contextos/ personas?
Evaluación sumativa
Costes ¿Cuál ha sido la inversión
económica llevada a cabo?
Evaluación sumativa
Comparaciones ¿Existen otras alternativas para
evaluar?
Evaluación sumativa
Fuente: Elaboración propia a partir del modelo planteado por Michael Scriven (2000)
A esta lista hay que añadir las recomendaciones, la elaboración del informe así como un
elemento novedoso hasta el momento: la metaevaluación, la cual ha de llevarse a cabo
Capítulo I. Revisión Teórica Modelos de Evaluación.
50 | P á g i n a
antes del inicio de la evaluación, antes de que el proceso haya concluido y el informe se
haya redactado y difundido.
La metaevaluación, también aparece en la actualidad como aspecto y propósito del proceso
evaluativo (Rosales, 2015).
Tabla 9. Ventajas e inconvenientes del modelo de Scriven VENTAJAS:
Promueve la autoevaluación, muy importante en una primera etapa para fomentar la
creatividad y dar paso en una segunda etapa a la evaluación profesional
Considera la evaluación sin metas orientada a las necesidades del consumidor, como
elemento de evaluación diagnóstica y adaptación de las mismas durante el proceso.
Promueve la evaluación formativa y sumativa.
Aporta conceptos clave tales como las listas de control de evaluación, la metaevaluación y
la efectividad con la valoración del coste-beneficio.
Ética profesional, a la hora de obtener la información precisa y de intervenir en el proceso
de evaluación.
Evaluador como profesional informado que ha de servir de ayuda tanto a los
profesionales, considerando su opinión, para proporcionar servicios de calidad, como a los
consumidores a la hora de identificar propuestas alternativas.
INCONVENIENTES:
Necesidades del consumidor como punto primordial en el proceso evaluativo, ya que
puede ser que dichas necesidades no sean reales sino sentidas.
No proporciona una metodología concreta, por ejemplo, en cuanto a la manera en la que
van a ser tenidas en cuenta las necesidades del consumidor.
Subjetividad en la valoración de las necesidades del consumidor, aún cuando éstas
obedezcan a necesidades reales.
Sesgo en la valoración del programa, al considerar la capacidad de satisfacer sus
necesidades únicamente, sin tener en cuenta los propósitos para los que se diseñó.
Fuente: Elaboración propia a partir del modelo planteado por Scriven (2000)
Capítulo I. Revisión Teórica Modelos de Evaluación.
51 | P á g i n a
En síntesis, algunas de las aportaciones de manera gráfica del modelo de Scriven son:
Figura 11. Principales elementos que aporta el modelo de Scriven. Fuente: Elaboración propia a partir del modelo de Scriven.
1.3.2 Modelo de evaluación como crítica artística de Elliot W. Eisner
Este modelo humanista que comienza a desarrollarse a partir de 1970 intenta explicar la
evaluación estableciendo una comparación entre ésta y el mundo del arte, así como entre el
evaluador y un artista. Su precursor fue Elliot W. Eisner (1985).
Para Eisner es fundamental la comprensión del contexto, de los símbolos, reglas y
tradiciones de los que participa cualquier persona, objeto o fenómeno.
Son tres los elementos a tener en cuenta:
1. Carácter descriptivo, referido a una relación detallada de hechos y valores. En
relación a los hechos, o la parte fáctica del proceso, pueden servir como ejemplo las
interacciones entre alumno y profesor, lo que en el modelo de Stufflebeam serían
las transacciones. En relación a la parte relacionada con los valores habría que
aludir a lo artístico, lo metafórico o literario. El docente motivaría a los alumnos a
participar en acontecimientos de los que no han tenido una experiencia directa,
jugando las emociones un importante papel.
Capítulo I. Revisión Teórica Modelos de Evaluación.
52 | P á g i n a
2. Carácter interpretativo, basado en el empleo de la teoría para poder explicar
aspectos prácticos relacionados con acontecimientos diarios, estableciendo así un
nexo entre la teoría y la práctica, mejorando la misma. Bajo este proceso tienen
lugar las inferencias al ir más allá de lo observable.
3. Juicios de valor sobre el mérito educativo, utilizando criterios adecuados, para lo
que se hace preciso valorar el contexto prestando especial atención a las
particularidades de cada situación educativa.
Asimismo, pueden establecerse varias dimensiones del currículum:
a) Apreciación (aprender a ver, saber comprender y valorar).
b) Productividad (hacer, representar y transformar).
c) Emocional (disfrutar de forma sensible).
La sensibilización perceptual se basa, sobre todo, en hablar de lo observado, percibido, y
realizado. Es muy importante opinar sobre lo expresado, ya que ello coadyuva a generar un
ambiente de tolerancia, flexibilidad y sensibilidad.
Los objetivos propuestos son de 3 tipos:
a) Educativos
b) Expresivos
c) Experienciales, relacionados con las aptitudes y la sensibilidad.
Algunas de las características más importantes son:
Su lenguaje se centra en la utilización de formas expresivas. Priman los
sentimientos sobre los hechos.
Capítulo I. Revisión Teórica Modelos de Evaluación.
53 | P á g i n a
Requiere el uso de capacidades, tales como la creatividad, la empatía, la
comprensión y la intuición.
Requiere una formación artística y literaria. Desde el punto de vista del docente,
demanda un entrenamiento adecuado, así como una gran experiencia directa con
la realidad.
La fiabilidad y validez se logran a través de un proceso de corroboración
estructural, para lo que es necesario la puesta en común de los puntos de vista de
los participantes, así como la reformulación de criterios, surgiendo nuevos
significados y nuevos conceptos.
Además de corroboración estructural, ha de llevarse a cabo otro complementario
denominado “adecuación referencial”, referido a la posibilidad de identificar las
características a las que apunta la crítica en el programa evaluado, es decir,
contrastar empíricamente la crítica con el fenómeno. En palabras de Eisner
(1981), “Una crítica educativa es válida y fiable cuando capacita a alguien con
menor especialización que el crítico para ver lo que de otro modo permanecería
oculto”.
Capítulo I. Revisión Teórica Modelos de Evaluación.
54 | P á g i n a
La tabla 10 resume las principales ventajas e inconvenientes del modelo de Eisner:
Tabla 10. Ventajas e inconvenientes del modelo de Eisner VENTAJAS:
Fomenta la reflexión y el pensamiento crítico.
La educación está basada en la creatividad y no en el entrenamiento.
Fomenta habilidades sociales.
Fomenta la creatividad sin limitar las potencialidades del estudiante.
INCONVENIENTES:
Requiere un perfil de evaluador con amplia formación en arte y literatura.
No especifica parámetros en cuanto a metodología se refiere.
Insuficiente desarrollo de búsqueda de evidencias, así como de consecución de validez y
fiabilidad, pese a establecer los procesos de corroboración estructural y adecuación
referencial.
Fuente: Elaboración propia
Capítulo I. Revisión Teórica Modelos de Evaluación.
55 | P á g i n a
1.4 Modelos de evaluación holísticos.
1.4.1 Modelo de evaluación iluminativa de M.Parlett y D.Hamilton.
Los modelos holísticos se caracterizan por representar un compendio de los paradigmas
cuantitativos y cualitativos, aunque primen estos últimos y exista una débil línea que
separa ambos modelos. De hecho, algunos autores como McDonald pueden aparecer como
referentes tanto del paradigma cualitativo como del modelo holístico. En los modelos
holísticos se han de abordar de manera global elementos que tienen que ver con el alcance
de los resultados, propios del modelo tyleriano, junto con otros relacionados con el proceso
evaluativo, propios de modelos humanístico tales como el propuesto por Scriven, entre
otros.
El modelo de evaluación iluminativa, fue propuesto por Parlett y Hamilton en 1972. El
foco de atención de este modelo es la descripción e interpretación del proceso evaluativo,
con la finalidad de establecer un esquema claro en cuanto a innovación se refiere.
En este modelo es muy importante describir las fases y características, así como las
herramientas empleadas para su aplicación en los procesos de enseñanza aprendizaje.
El programa se concibe como un “todo”, priorizando la descripción cualitativa del
programa sobre la cuantitativa.
En este modelo se distinguen tres momentos claves: observación, investigación y
explicación.
Capítulo I. Revisión Teórica Modelos de Evaluación.
56 | P á g i n a
- El procedimiento utilizado se basa en: observación, entrevistas, tests,
cuestionarios y análisis documental.
- La finalidad de la investigación es analizar los procesos de negociación que
se dan en el aula, comprender el contexto, así como las múltiples
interrelaciones entre los agentes intervinientes.
- El papel del evaluador se centra en recopilar datos, sugerencias,
alternativas, estudiar los antecedentes, así como fomentar nuevas
iniciativas orientadas al cambio.
Tabla 11. Resumen momentos claves según el modelo de evaluación iluminativa OBSERVACIÓN INVESTIGACIÓN EXPLICACIÓN
Centrada en las variables que
afectan a la innovación del
programa.
Se basa en la selección de los
aspectos más relevantes en
relación con el contexto.
Justifican el procedimiento
llevado a cabo en cuanto a
aspectos organizativos del
programa se refiere. Se
establece un modelo causa-
efecto.
Fuente: Elaboración propia
Se diferencian 2 entornos: por un lado, el sistema de enseñanza, y por otro, el sistema de
aprendizaje. El primero se caracteriza por ser más estático, en detrimento del dinamismo
del segundo. A modo de resumen, éstas serían las características más relevantes:
Capítulo I. Revisión Teórica Modelos de Evaluación.
57 | P á g i n a
Tabla 12. Diferencias entre sistema de enseñanza y sistema de aprendizaje SISTEMA DE ENSEÑANZA SISTEMA DE APRENDIZAJE
Es un modelo inicialmente definido, pero sujeto
a interpretación por la intervención de
profesores, evaluadores o administradores,
técnicos o estudiantes.
Es un modelo interactivo entre profesor y
alumno donde es de vital importancia considerar
las características del entorno sociocultural, así
como las características psicológicas de los
estudiantes.
Fuente: Elaboración propia Las ventajas e inconvenientes del modelo de Parlett y Hamilton son las siguientes:
Tabla 13. Ventajas e inconvenientes del modelo de Parlett y Hamilton VENTAJAS
Contextualización, sobre todo, en cuanto a la observación de los antecedentes se refiere y a
la selección de aquellos aspectos más relevantes.
Los resultados del programa tienen como antecedentes el análisis e interpretación del
proceso.
Flexibilidad. No describe las causas y efectos de un programa en un contexto concreto, sino
que trabaja la manera de mejorarlo.
Basado en la negociación.
INCONVENIENTES
Criterios de evaluación poco definidos.
Subjetividad en las técnicas abiertas empleadas, tales como la entrevista y la observación,
entre otras.
Fuente: Elaboración propia
Capítulo I. Revisión Teórica Modelos de Evaluación.
58 | P á g i n a
1.4.2 Modelo de evaluación democrática de Barry MacDonald.
La premisa fundamental de este modelo se basa en reforzar la naturaleza política de la
evaluación. Si bien es cierto que este tema no es totalmente nuevo y autores como House
en 1973 o Weiss en 1975 ya hablan sobre la misma, Barry MacDonald es el primer
evaluador que la sitúa como el factor más importante. Elabora la primera clasificación
política de los estudios de evaluación en 1974 y realiza una propuesta curricular acorde con
dichos principios democráticos.
1.4.3 Modelo de evaluación estratégica de Fred David R.
Este modelo es uno de los más importantes sobre todo a nivel de empresa. El modelo de
Fred David R.(2008) es uno de los más representativos dentro de la planificación
estratégica, aunque no es el único. En este sentido, pueden citarse los modelos de Kaplan y
Norton (Cuadro de Mando Integral), Goodstein, Nolan y Pfeiffer (Planeación Estratégica
Aplicada).
Si bien es cierto que el modelo de David está muy ligado al mundo de los negocios y
empresarial, sus principios son perfectamente extrapolables al ámbito curricular, pero eso
sí, a nivel global, es decir, no sólo proponen la evaluación curricular del programa teniendo
en cuenta el contexto, sino la evaluación de la organización y de todo un plan, así como de
la definición de sus líneas estratégicas.
En este modelo la importancia estriba, fundamentalmente, en la fase de planificación o
“planeación estratégica”, siendo fundamental la formulación de la misión y visión. De
Capítulo I. Revisión Teórica Modelos de Evaluación.
59 | P á g i n a
hecho, uno de los aportes más importantes de este modelo, es precisamente, definir la
misión y visión como paso fundamental obligatorio previo a cualquier planificación. La
formulación de la misión consiste en definir la propia identidad de la institución
respondiendo a las preguntas ¿quiénes somos? y ¿cuáles son los principios de identidad
con los que contamos?, algo así como cuál es nuestro “buque insignia”.
Existen investigaciones que afirman que un alto porcentaje de empresas, en torno al 60%
cuentan con una declaración de su misión, y los resultados son mejores en aquellas con una
misión mejor formulada. Por otro lado, la visión está centrada sobre todo a plantear los
objetivos a medio y largo plazo, pero especialmente, a largo plazo, para lo que es preciso
preguntarse ¿hacia dónde vamos? y ¿qué queremos conseguir?.
Asimismo, se ha de destacar que otra de las principales aportaciones de este modelo es la
identificación de amenazas, oportunidades, debilidades y fortalezas centradas tanto en un
nivel interno referido a la propia institución como en uno externo, lo que se conoce bajo
las siglas de DAFO. Tanto las debilidades como las fortalezas están referidas a un análisis
interno, donde el referente es la propia institución, mientras que las amenazas y
oportunidades corresponden al ámbito externo, es decir, la óptica en este caso está centrada
en el entorno que rodea a la institución.
Esta técnica es de gran valor como paso previo al inicio de un plan de formación, y resulta
vital para delimitar cuáles van a ser las estrategias a seguir.
Capítulo I. Revisión Teórica Modelos de Evaluación.
60 | P á g i n a
Las características más importantes son las siguientes:
- Formulación de objetivos anuales y a largo plazo.
Los objetivos se plantean como logros específicos que la organización pretende alcanzar de
acuerdo con su misión. La temporalidad establece un mínimo de un año, siendo su
“objetivo”, marcar la dirección hacia la que se pretende ir y servir de guía en la evaluación.
Son fruto de una priorización y marcan la base para la realización de las actividades, la
organización, la dirección y el control.
En cuanto a las características, los objetivos deben ser medibles, claros, consistentes y
también innovadores y hasta incluso suponer un desafío, dependiendo del entorno en el que
vayan a ser implementados. En una empresa multidimensional los objetivos deben
establecerse de manera global para todos, y de forma específica para cada una de las
divisiones existentes.
En el campo educativo, podríamos referirnos a unos objetivos generales para todos,
definidos no sólo por la identidad de la institución sino también marcados por las
directrices estratégicas de la organización. Por ejemplo, en el contexto de Sanidad, la
estrategia estaría definida por la Consejería, y a un nivel más macro por el Ministerio de
Sanidad y Política Social.
- Comunicación como factor de éxito en las interacciones llevadas a cabo en la
institución.
Una comunicación adecuada entre todos los agentes que intervienen en el proceso de
evaluación asegura una mayor participación, y servirá además, como impulso en el
aumento de la calidad y la productividad, al existir una mayor implicación. Para facilitar y
Capítulo I. Revisión Teórica Modelos de Evaluación.
61 | P á g i n a
vehicular dicha comunicación es fundamental la existencia del estratega, cuya misión es
generar un contexto que anime al cambio y genere una actitud comprometida y
responsable.
La información acerca de la misión y visión, así como de los objetivos, actividades y, en
definitiva, avances logrados, coadyuva en una mayor implicación y una mayor
corresponsabilidad por parte de todos los implicados.
- Proactividad ante los futuros cambios que pudieran aparecer.
El modelo estratégico tiene en consideración la globalización y el continuo cambio del
entorno, por lo que es fundamental desarrollar estrategias encaminadas a la adaptación ante
dichos cambios, y así poder garantizar la “supervivencia” del mismo y el éxito.
- Existencia de una política organizativa que marque las líneas estratégicas de
actuación.
- Realización de auditorías como medidas de autoevaluación interna del propio
proceso y del estado de la organización, en cuanto a cumplimento de objetivos se
refiere.
Entre los elementos que influyen en la planificación de los objetivos a alcanzar destacan:
El tamaño de la organización
El estilo de los gerentes
La complejidad del entorno
Capítulo I. Revisión Teórica Modelos de Evaluación.
62 | P á g i n a
La complejidad de los procesos de producción
La índole de los problemas
El propósito del sistema de planificación
Las características de estos elementos influirán también en los resultados obtenidos. Así
por ejemplo, no será lo mismo llevar este modelo de evaluación en una empresa pequeña
con un gerente con estilo integrador que otra que cuente con un gran número de
profesionales y un estilo burocrático.
A modo gráfico, la figura 12 muestra los principales pasos del modelo de evaluación
estratégica de David R. Fred, que han sido enumerados anteriormente, entre los que se
encuentran establecer la misión y visión como punto de partida.
Figura 12. Modelo de evaluación estratégica de Fred David R. Fuente: Conceptos de Administración Estratégica de Fred David R.( (2014)
FORMULACIÓN DE LA
ESTRATEGIA
IMPLANTACIÓN DE LA
ESTRATEGIA
EVALUACIÓN DE LA
ESTRATEGIA
DESARROLLAR LAS
DECLARACIONES DE LA VISIÓN Y
LA MISIÓN
ESTABLECER LOS
OBJETIVOS A LARGO PLAZO
GENERAR, EVALUAR Y
SELECCIONAR ESTRATEGIAS
ASUNTOS RELACIONADOS
CON LA GERENCIA
ASUNTOS RELACIONADOS
CON MERCADOTECNIA
,FINANZAS, CONTABILIDAD,
INVESTIGACIÓN Y DESARROLLO ADEMÁS DE
SISTEMAS DE INFORMACIÓN DE
LA GERENCIA
MEDIR Y EVALUAR EL
RENDIMIENTO
A U D I T O R I A S
Capítulo I. Revisión Teórica Modelos de Evaluación.
63 | P á g i n a
Las ventajas e inconvenientes del modelo de David (2014) son las siguientes: Tabla 14. Ventajas e inconvenientes del modelo de Fred David R. VENTAJAS
Permite detectar oportunidades, clasificarlas por prioridad y explotarlas mediante
DAFO.
Representa un marco para coordinar y controlar mejor las actividades
Permite mejor asignación de recursos
Permite tomar decisiones importantes que respaldan los objetivos establecidos, tras la
evaluación mediante auditorías.
Disminuye la cantidad de tiempo y recursos que se dedican a corregir decisiones
equivocadas
Constituye un marco para la comunicación interna
Contribuye a incorporar la conducta de los individuos al esfuerzo total, fomentando un
enfoque cooperativo.
Ofrece una base para delimitar las responsabilidades individuales
Propicia una actitud positiva ante los cambios
INCONVENIENTES
Análisis detallado del contexto a nivel interno y externo.
Rigurosa selección de los factores internos y externos que más influyen. Si esta
selección no se realiza adecuadamente, la dirección de las estrategias no llevará a
alcanzar los objetivos propuestos.
Ausencia de objetivos inmediatos o a corto plazo.
Implicación de todos los agentes que intervienen en el proceso de evaluación,
incluyendo los gerentes, que tienen un peso fundamental en la motivación de los
empleados.
Es un modelo centrado en la organización de manera exclusiva.
Fuente: Elaboración propia
Capítulo I. Revisión Teórica Modelos de Evaluación.
64 | P á g i n a
1.4.4 Modelo de evaluación EFQM
El modelo de EFQM (1988) se refiere a un modelo de evaluación de la calidad generalista
es decir, aplicable a cualquier organización, propuesto por la Fundación Europea para la
Gestión de la Calidad, de ahí sus siglas.
Este modelo al igual que el de planificación estratégica, aunque inicialmente surge en el
ámbito de la empresa, es perfectamente extrapolable a otros entornos, entre ellos el
sanitario.
De hecho, existen áreas de salud de la Región de Murcia que cuentan con Planes de
Gestión de la Calidad basados en el EFQM. Estos Planes también están presentes en otras
comunidades; ejemplo de ello es el Servicio Madrileño de Salud, cuya Dirección General
de Atención al Paciente cuenta con una publicación en marzo de 2014 sobre la guía de
aplicación de un modelo EFQM.
Este modelo europeo, surgido en Bruselas, se ha convertido en un referente para las
empresas públicas, especialmente porque implica que aquellas que reciben la certificación
EFQM realizan una gestión de calidad y de excelencia. Se puede afirmar, que contar con el
sello EFQM denota prestigio para la institución. Este modelo se basa en los principios de la
TQM, Gestión de la Calidad Total (del inglés Total Quality Management), que es una
estrategia de gestión desarrollada por las industrias japonesas en década de los 60, cuyo
objetivo era promover el control de la calidad. El pionero en este modelo fue Feigenbaum
en 1951, siendo uno de sus promotores W. Edwars Deming, autor de los “círculos de
Deming”. La TQM ha sido ampliamente utilizada en todos los sectores, desde la empresa
hasta la educación. Se le denomina “total” porque alude a la globalidad de la organización
así como de las personas que la integran.
Capítulo I. Revisión Teórica Modelos de Evaluación.
65 | P á g i n a
A modo ilustrativo, este sería el esquema base del funcionamiento de un modelo EFQM:
Figura 13. Modelo EFQM Fuente: López, A., Ruiz, J. y López, R.C. (s.f.) Cuestionario de autoevaluación adaptado a un servicio universitario siguiendo el modelo EFQM de excelencia. Universidad de Murcia.
Como puede apreciarse en la figura existe una división entre lo que se planifica, donde
intervienen los agentes o facilitadores y los resultados. Se puede establecer una relación
“causa-resultado”. De hecho, los agentes son las causas que originan los resultados, y están
referidas a los aspectos del sistema de gestión de la organización, y los resultados son el
producto llevado a cabo por parte de los agentes.
Los agentes han de estar integrados dentro del sistema en el que se implantan y contar con
una retroalimentación continua sobre aspectos derivados del propio sistema de gestión
interna, han de estar sometidos a una revisión periódica de la efectividad con la finalidad
de conseguir una mejora continua y su evaluación ha de ser sistemática. En este sentido, la
…..
Resu
ltad
os c
lave (
15
%)…
...
.Resultados en la sociedad.
(6%)
Resultados en las personas
(9%)
CRITERIOS AGENTES FACILITADORES …….CRITERIOS RESULTADOS…...
………
..P
ro
ceso
s (
14
%)………
...
..Colaboradores y recursos..
(9%)
.Resultados en los clientes.
(20%)
...………...Personas……………
(9%)
…...Política y estrategia……
(8%)
………
..Lid
erazg
o (
10
%)………
..
………...…....INNOVACIÓN Y APRENDIZAJE….………......
Capítulo I. Revisión Teórica Modelos de Evaluación.
66 | P á g i n a
metodología empleada consiste en la valoración de los resultados, enfoque, despliegue,
evaluación y revisión (REDER).
Los resultados no sólo están referidos al alcance de los objetivos propuestos, sino que han
de poder compararse con resultados de otras organizaciones.
En cada una de estas divisiones (agentes y resultados) existe a su vez una serie de criterios:
a) Criterios de los agentes: liderazgo, personas, política y estrategia, alianzas y
recursos y procesos.
b) Criterios de resultados: resultados en las personas, resultados en los clientes,
resultados en la sociedad, resultados clave.
En la figura 13 puede apreciarse la asignación de una ponderación del 50% en cada uno de
los bloques. A su vez, para cada criterio de los bloques hay asignado una ponderación
determinada, siendo diferente para cada uno de estos criterios. En este sentido, en relación
a los agentes, los criterios con más valor son los procesos (14%) y el liderazgo (10%), y en
relación a los resultados, destacan los clientes (20%) y los resultados clave (15%).
De manera resumida, éstos serían los principales criterios tanto de los agentes como de los
resultados:
Capítulo I. Revisión Teórica Modelos de Evaluación.
67 | P á g i n a
Tabla 15. Resumen de las principales características de los criterios de modelo EFQM CRITERIOS DE LOS AGENTES
CARÁCTERÍSTICAS MÁS RELEVANTES:
Liderazgo (10%) Alude a la persona o equipo responsable de impulsar y promover
el éxito de la organización. Debe contar con la actitud y aptitud
propia de un líder generando confianza y tomando decisiones
flexibles. Requerirá una gran capacidad ante la resolución de
problemas y en la gestión de relaciones humanas, reconociendo
logros y esfuerzos así como vehiculando mecanismos de relación
fluida entre todos los integrantes del equipo.
Personas (9%) La gestión adecuada de todos los agentes humanos implicados es
fundamental, así como la revisión del rendimiento llevado a cabo.
Igualmente es importante, el establecimiento de una política de
personal clara donde se reconozca el grado de formación
adecuado, funciones y niveles de responsabilidad.
La formación del personal acorde con la política global de la
organización es otro elemento clave, así como medidas que
puedan tomarse al respecto en relación con el desempeño
profesional (aumento de salario, cambios en las plantillas,
programa de formación y perfeccionamiento, entre otros).
Política y estrategia (8%) Análisis del tipo de planificación existente, es decir, si existe una
planificación estratégica (a medio plazo), o una planificación a
largo plazo, que puede ser una planificación para un año. En
ambos casos se supervisa el proceso, se realiza un seguimiento y
se analizan las estrategias de despliegue en cada uno de los
grupos de interés que las van a llevar a cabo.
Capítulo I. Revisión Teórica Modelos de Evaluación.
68 | P á g i n a
CRITERIOS DE LOS AGENTES
CARÁCTERÍSTICAS MÁS RELEVANTES:
Alianzas y recursos (9%) Gestión de una manera eficaz y eficiente de los recursos
materiales, económicos, humanos e informativos (información en
red de la que se disponga). Es fundamental establecer alianzas
tanto a nivel interno como externo de la organización. Aunque
todos son igualmente importantes, los recursos humanos en
ocasiones suplen determinadas carencias a nivel de recursos
materiales.
Procesos (14%) Hace referencia al:
1) Sistema de gestión adoptado.
2) Revisión de los procesos (aplicación de estándares, revisión de
indicadores y objetivos, eficacia de los procesos) que conforman
este sistema.
3) Medidas adoptadas para satisfacer a todos los grupos de
interés.
4) Integración de la mejora.
5) Establecimiento de medidas a adoptar para las “no
conformidades” que hayan surgido durante el proceso.
Capítulo I. Revisión Teórica Modelos de Evaluación.
69 | P á g i n a
CRITERIOS DE LOS
RESULTADOS
CARÁCTERÍSTICAS MÁS RELEVANTES:
Resultados en las personas (9%) Se ha de considerar la percepción que las personas que integran la
organización tienen de ésta, así como medidas a adoptar en
relación al rendimiento de las mismas.
Respecto al primer aspecto, es importante analizar la satisfacción,
comunicación, entorno de trabajo, salarios, formación, incentivos,
entre otros.
En relación al rendimiento, se han de considerar niveles de
formación, eficacia de la formación, absentismo e índice de
participación en grupos de mejora, entre otros.
Resultados en los clientes (20%) Está en función de lo que la organización entienda por cliente,
siendo frecuente incluir no sólo a quienes demandan el servicio,
sino también al usuario y beneficiario del mismo. Por ejemplo, en
el ámbito educativo, y más concretamente, en relación a un plan
de formación continuada, que es el contexto en el que se centra el
objeto de investigación, el cliente sería la propia institución, el
usuario sería el destinatario de la formación y el beneficiario sería
el paciente, porque es el destinatario en el que va a repercutir el
resultado de la formación del profesional llevada a cabo por parte
de la organización.
Medir la satisfacción de los beneficiarios es un punto clave en
este criterio. Algunos subcriterios a tener en cuenta son:
capacidad técnica, conducta, accesibilidad, comunicación y
empatía, entre otros.
Capítulo I. Revisión Teórica Modelos de Evaluación.
70 | P á g i n a
CRITERIOS DE LOS
RESULTADOS
CARÁCTERÍSTICAS MÁS RELEVANTES:
Resultados en la sociedad (6%) Valora la repercusión que tienen en la sociedad las actividades
llevadas a cabo. Para ello se tiene en cuenta:
a) Análisis de información cualitativa en relación a la
percepción que la sociedad tiene en términos de imagen
e índice de valoración, reflejados en encuestas, informes,
artículos de prensa, entre otros
b) Análisis de la información cuantitativa, que aunque es
más difícil de identificar, puede obtenerse atendiendo al
número de menciones en prensa, certificaciones, premios
recibidos, entre otros.
Resultados clave (15%) Está basada en la autoevaluación acerca de los conceptos clave
definidos previamente por la organización (cumplimento de
presupuesto, número de empleados que han recibido
formación…).
Fuente: Elaboración propia a partir del modelo EFQM
A través de la autoevaluación, el modelo EFQM pretende una gestión más eficaz y
eficiente. La identificación de las fortalezas y debilidades aplicadas a diferentes ámbitos de
la organización son el punto de partida para el proceso de mejora continua.
La Tabla 16 muestra las principales ventajas e inconvenientes del modelo EFQM.
Capítulo I. Revisión Teórica Modelos de Evaluación.
71 | P á g i n a
Tabla 16. Ventajas e inconvenientes del modelo EFQM VENTAJAS:
Posibilita una planificación estratégica de los procesos y áreas claves de éxito.
Permite sistematizar el proceso de evaluación y contemplar todos los agentes sociales, lo
que facilita la implicación de los mismos.
Fomenta un proceso continuo de mejora al analizar las no conformidades llevadas a cabo
durante la revisión del proceso.
Orienta la evaluación al contar con puntuaciones ponderadas en cada uno de los criterios.
Permite identificar cuáles son los puntos clave de actuación al disponer de una
clasificación perfectamente estructurada del proceso en torno a criterios y subcriterios que
incluyen elementos del proceso, pero también de los agentes que intervienen directa o
indirectamente en el mismo (clientes, beneficiarios, sociedad), que en el ámbito de la
formación sanitaria se traduciría en organización, profesionales y pacientes.
INCONVENIENTES:
Exige de una gran inversión de tiempo y dedicación en la elaboración de las estrategias a
seguir en relación a cada uno de los criterios.
Conlleva una alta disponibilidad e implicación de todos los agentes facilitadores. En el
caso de la formación sanitaria abarcaría desde los docentes hasta el equipo directivo
Requiere formación previa a la implantación del mismo.
Implica la existencia de un equipo que supervise el proceso de implantación del sistema de
calidad.
Pueden existir resistencias a la evaluación de determinados agentes sociales (profesorado,
por ejemplo), así como de procesos y resultados del Centro.
Fuente: Elaboración propia
Capítulo I. Revisión Teórica Modelos de Evaluación.
72 | P á g i n a
1.5 Otros modelos basados en la calidad:
1.5.1 Modelo de evaluación de la calidad Seis Sigma (6σ) de Jack Welch
El Modelo Seis Sigma (1998) es otro de los modelos surgidos en 1998, a partir del modelo
de Total Quality Management (TQM) o Sistema de la Calidad Total. Una de las diferencias
respecto a otros modelos es la orientación al cliente. La meta de 6 Sigma es llegar a un
máximo de 3,4 defectos por millón de eventos u oportunidades.
Seis Sigma es una estrategia de mejora continua que busca identificar las causas de los
errores, defectos y retrasos en los diferentes procesos de negocio, enfocándose en los
aspectos que son críticos para el cliente (Gutiérrez Pulido, H., De la Vara Salazar,R. ,
2004, p. 548)
La metodología se basa en una mejora de procesos centrada en reducir y eliminar los
defectos o fallos en la entrega de un producto o servicio al cliente.
Tabla 17. Características de la variable dependiente e independiente. Y= f(x) Características Variable Y Características variable X1….Xn
Dependiente
Asociada a la salida del proceso
Centrada en los efectos
Centrada en los síntomas
Centrada en la comprobación por monitoreo
Independiente
Asociada a la entrada del proceso
Centrada en las causas
Centrada en los problemas
Centrada en el control.
Fuente : Elaboración propia a partir de Polesky (2006)
Como puede comprobarse en el siguiente gráfico cuando más se acerca el proceso al 6 σ
mayor eficiencia para el sistema.
Capítulo I. Revisión Teórica Modelos de Evaluación.
73 | P á g i n a
Figura 14. Cambio de un proceso con calidad tres sigma a seis sigma.
Fuente: Gitlow, H. (2004)
Aunque es un modelo que surge en el ámbito de empresa, concretamente en el de la
industria de ingeniería, no es exclusivo de este sector, si bien es cierto, que en el campo de
la formación serían necesarias ciertas adaptaciones, ya que la “producción” en un ámbito
educativo no se puede cuantificar de la misma manera que en la industria.
La parte más relevante de este modelo con respecto al objeto de estudio de esta
investigación tiene que ver con la importancia otorgada a la eficiencia, centrada en
mejores resultados con menor coste.
En relación a la metodología, ésta se lleva a cabo mediante el proceso DMAIC, cuya
traducción de siglas son: definir, medir, analizar, mejorar y controlar.
Figura 15. Principales etapas de DMAIC. Fuente: Elaboración propia a partir del modelo de Robinson y Robinson
Capítulo I. Revisión Teórica Modelos de Evaluación.
74 | P á g i n a
Definir: consiste en concretar el objetivo del problema o defecto y validarlo, a la
vez que se definen los participantes del programa.
Medir: consiste en entender el funcionamiento actual del problema o defecto.
Analizar: pretende averiguar las causas reales del problema o defecto.
Mejorar: permite determinar las mejoras procurando minimizar la inversión a
realizar.
Controlar: se basa en tomar medidas con el fin de garantizar la continuidad de la
mejora y valorarla en términos económicos y de satisfacción del cliente.
Otras metodologías derivadas de ésta son: DMADOV (Definir, Medir, Actuar, Diseñar,
Optimizar, Verificar) y PDCA-SDCA (Planificar, Definir, Controlar, Actuar)-
(Estandarizar, Definir, Controlar, Actuar)
A continuación, se define de manera resumida, en qué consiste cada una de las principales
etapas:
D (Definir)
En la fase de definición se seleccionan los proyectos y equipo más adecuados para su
ejecución, con la finalidad de optimizar al máximo los recursos. Algunas de las preguntas
que pueden plantearse en esta fase son:
¿Qué procesos existen?
¿De qué actividades (procesos) es usted el responsable?
¿Quién o quiénes son los responsables de estos procesos?
¿Quiénes intervienen en el proceso?
¿Quiénes podrían ser parte de un equipo para cambiar el proceso?
Capítulo I. Revisión Teórica Modelos de Evaluación.
75 | P á g i n a
¿Qué tipo de información tiene en relación al proceso?
¿Qué procesos tienen mayor prioridad para mejorarse?
M (Medir)
Esta fase consiste en identificar las características más relevantes tanto del producto como
de los clientes, así como los parámetros que afectan al funcionamiento del proceso.
Las preguntas a las que se ha de responder son:
¿Quiénes son los clientes?
¿Qué necesidades tienen sus clientes?
¿Cómo se desarrolla el proceso?. ¿Cuáles son los pasos?
¿Cuáles son los parámetros de medición del proceso y cómo se relacionan con las
necesidades del cliente?
¿Qué exactitud o precisión tiene su sistema de medición?
A (Analizar)
Esta fase consiste en la valoración por parte del equipo de los resultados comparándolos
con otros obtenidos con anterioridad. Se establecen relaciones causa-efecto utilizando las
herramientas estadísticas pertinentes con la finalidad de determinar qué variables de
entrada afectan a los resultados.
Algunas de las preguntas que podrían plantearse en esta etapa son:
¿Con qué parámetros de medición se cuenta?
¿Cómo se desempeña el proceso actual con respecto a esos parámetros?
¿Cuáles son los datos que se han obtenido?
Capítulo I. Revisión Teórica Modelos de Evaluación.
76 | P á g i n a
¿Cuáles son los objetivos de mejora del proceso?
¿Cuáles son las posibles fuentes de variación del proceso?. ¿Cuáles controla y
cómo?
¿Qué medidas adopta respecto a las variables que no controla?. ¿Existe algún
método de monitorización de las mismas?
I (Mejorar)
En esta etapa es clave mejorar y optimizar el funcionamiento del proceso. Algunas de las
preguntas que podrían formularse al respecto son:
¿Quién es el proveedor?
¿Qué relación hay entre los parámetros de medición y las variables críticas? ¿Existe
algún método de control o monitorización?
¿Qué ajustes a las variables son necesarios para optimizar el proceso?
C (Controlar)
La fase de "control" consiste en elaborar y documentar los controles necesarios para
asegurar que los resultados se mantengan en el tiempo, una vez que han sido llevados a
cabo y revisados. Una vez finalizada la misión y alcanzado los objetivos, el equipo
encargado ha de informar a los líderes responsables y dar por cerrado el proceso.
Algunas de las preguntas que pueden formularse en esta etapa son:
¿Qué exactitud o precisión tiene el sistema de medición?
¿Cuáles son los datos obtenidos?
¿Cuánto se ha mejorado el proceso tras llevar a cabo los cambios?
Capítulo I. Revisión Teórica Modelos de Evaluación.
77 | P á g i n a
¿Cómo mantiene los cambios? ¿Emplea algún proceso de monitorización?
¿Cuánto ha ahorrado en tiempo y en recursos económicos?
Las principales ventajas e inconvenientes del modelo Seis Sigma (6σ) se resumen en la
siguiente tabla:
Tabla 18. Ventajas e inconvenientes del 6σ VENTAJAS:
Aumento de productividad mejorando la calidad y reduciendo errores.
Aumento de los productos y servicios ofrecidos.
Reducción de costes.
Técnica a nivel empresarial validada.
INCONVENIENTES:
El contexto por excelencia para ser implementado es el ámbito de la empresa e industria. Es
muy complicado trasladar este modelo al ámbito de la formación continuada sanitaria,
ya que se centra en la producción y en la disminución de errores. El único principio
extrapolable es el de la mejora de la calidad.
Gran inversión de tiempo en cuanto a la toma de decisiones, ya que éstas han de estar
basadas en la evidencia empírica y no en hipótesis.
Requiere un equipo altamente cualificado y experimentado. El equipo cuenta con una
estructura muy jerarquizada en base al nivel de formación que tenga en relación con Seis
Sigma.
Puede suponer pérdida de recursos económicos y eficiencia.
Precisa de líderes ejecutivos comprometidos con Seis Sigma y que promuevan en toda la
organización sus actividades; líderes que se apropien de los procesos que deben mejorarse.
Exige capacitación corporativa en los conceptos y herramientas de Seis Sigma, así como
determinación de la dificultad de los objetivos de mejoramiento y refuerzo continuo y
estímulos.
Fuente: Elaboración propia
Capítulo I. Revisión Teórica Modelos de Evaluación.
78 | P á g i n a
1.5.2 Modelo Relacional de Calidad de De la Orden
Este modelo debe su nombre a la característica principal que lo define, que es relacionar
objetivos, metas, recursos, procesos, entradas, contexto y producto, teniendo en cuenta tres
criterios de calidad:
Eficacia, que tiene que ver con la relación de entradas o inputs y productos.
Eficiencia, que tiene que ver con la relación de entradas o inputs y procesos,
por un lado y productos, por otro.
Funcionalidad, relacionada con la coherencia entre objetivos propuestos
inicialmente y productos.
A continuación se presenta el modelo relacional de la calidad del profesor de la Orden, de
forma gráfica.
Capítulo I. Revisión Teórica Modelos de Evaluación.
79 | P á g i n a
Figura 16. Modelo relacional de la calidad del profesor de la Orden. Fuente: Modelo Relacional de Calidad (De la Orden, 1997)
El modelo de la Orden, plantea una interrelación de inputs y outputs, en un engranaje en el
que el contexto institucional es clave; de hecho está presente tanto en el proceso de
detección de necesidades como en los productos y procesos. Podría definirse como un
modelo de índole institucional. Es una visión lógica y ordenada de calidad, pero debería
cumplimentarse con las necesidades de los alumnos, de los profesionales y de la sociedad.
Capítulo I. Revisión Teórica Modelos de Evaluación.
80 | P á g i n a
1.5.3 Modelo de evaluación de la calidad de Le Boterf, Barzucchetti y
Vincent
Este modelo planteado en 1993 aporta un enfoque de la calidad basado en un desglose en
tres criterios: orientación, concepción y conexión.
A continuación, se desglosan los aspectos más relevantes en cada uno de estos criterios:
a) Calidad de orientación: está estrechamente ligada al momento político. Los indicadores
a tener en cuenta son: pertinencia y control estratégico.
Forman parte del proceso todos aquellos implicados en determinar las políticas de
formación, que han de responder a las necesidades y demandas de los
clientes/profesionales de formación continuada.
b) Calidad de concepción: se encuentra dentro de lo que Le Boterf. denomina “momento
de ingeniería”, que se refiere al conjunto de acciones estructuradas para la planificación e
implementación de la formación. Los indicadores a tener en cuenta son: coherencia,
sincronización, eficacia y consistencia.
c) Calidad de la conexión pedagógica: se refiere al momento de realización, que supone un
contacto directo entre docente/discente. Los indicadores a considerar son: eficacia
pedagógica, esto es, grado de alcance de los objetivos planificados, así como implicación
de los alumnos, donde se tendrá en cuenta la motivación e interés que tengan durante el
proceso formativo.
d) Calidad de la aplicación de las competencias: este tipo de calidad alude al momento
de aplicación que difiere del de realización. Podría traducirse como un momento “post-
Capítulo I. Revisión Teórica Modelos de Evaluación.
81 | P á g i n a
formativo”, y tendría que ver con la transferencia al puesto de trabajo e impacto que la
formación ha tenido. Los indicadores son: transferencia de los contenidos adquiridos,
eficacia, adaptabilidad de las competencias y mantenimiento de las mismas.
En el objeto de esta tesis, que es la presentación de un indicador de eficiencia, este último
tipo de calidad es la que más se ajusta al modelo que se presenta.
Tabla 19. Criterios de calidad según modelo de Le Boterf. DIFERENTES TIPOS DE
CALIDAD ETAPAS INDICADORES MÁS RELEVANTES
Calidad de concepción Planificación: diseño de competencias profesionales a alcanzar
- Coherencia
- Pertinencia
- Temporalización ajustada a los contenidos (sincronización)
Calidad pedagógica Ejecución: Relación docente/discente
- Eficacia pedagógica
- Implicación y motivación del discente
Calidad de aplicación Seguimiento -Transferencia de los contenidos adquiridos, eficacia, adaptabilidad de las competencias, mantenimiento
Fuente: Elaboración propia a partir de Le Boterf, G.; Barzucchetti, S. y Vincent, F.
Le Boterf (1993) además, hace alusiones al Ciclo de Deming destacando las cuatro
acciones fundamentales:
- Planificar (P): En el caso de la formación continuada esta etapa estaría referida al
diseño del plan de formación.
- Desarrollar o ejecutar (D): Teniendo en cuenta el modelo de Le Boterf en esta etapa
habría que considerar las recomendaciones pedagógicas, que podrían traducirse en
una especie de asesoría a las personas que van a realizar las acciones formativas.
En nuestro caso, esta función “pedagógica” se limita a algunas áreas concretas,
referidas más a temáticas sociosanitarias como violencia de género, donde los
Capítulo I. Revisión Teórica Modelos de Evaluación.
82 | P á g i n a
formadores precisan de estrategias pedagógicas que puedan llevar a cabo en cada
uno de los dispositivos en los que trabajan.
- Controlar (C): evaluación del desarrollo profesional durante el proceso de
formación y seguimiento del mismo.
- Mejorar (A): referida a la supervisión de los criterios de selección y planificación
de líneas de actuación futura, para conseguir una mejora del proceso formativo.
En síntesis, se puede afirmar que teniendo en cuenta este modelo, la formación se traduce
en la adquisición de competencias y transferencia al puesto de trabajo.
Le Boterf, Barzucchetti y Vincent (1993), definen calidad en base a una serie de
criterios y momentos del proceso de formación.
La calidad vendrá determinada por la puesta en práctica de las acciones formativas. Son
elementos esenciales el contacto docente/discente, la adaptación de las acciones formativas
a las necesidades profesionales, el mantenimiento de las competencias y transferencia.
La etapa de “conexión pedagógica” es la etapa que está más relacionada con el objetivo de
esta tesis, ya que en ella se contempla la eficacia, pero en términos pedagógicos. Nosotros
abordaremos también el tema de rentabilidad económica.
Para garantizar la calidad de la formación se deberá considerar la transferencia del
aprendizaje y el mantenimiento en el tiempo de las competencias adquiridas, por lo que los
objetivos pedagógicos deben caracterizarse por su operatividad y aplicabilidad a
situaciones reales.
Capítulo I. Revisión Teórica Modelos de Evaluación.
83 | P á g i n a
1.5.4 Modelo Enfoque de Inversión de Pilar Mamolar
Este modelo surge en el entorno de empresa, pero sus premisas son extrapolables al ámbito
de la formación. Tal y como ocurre en una empresa, en la que se invierten unos gastos pero
no siempre se obtiene una rentabilidad precisa, en el campo de la formación ocurre algo
similar. Con esta premisa, se han de llevar a cabo estrategias de evaluación coherentes, que
optimicen tanto los esfuerzos de recursos dedicados a la hora de evaluar, como la búsqueda
de indicadores relacionados con el impacto en aspectos concretos que deseen ser
transformados.
El modelo de Pilar Mamolar (2000) precisa de una detección de necesidades para adaptar
el programa de formación a los intereses y demandas de los profesionales, así como de una
especificación de competencias y habilidades que se prevé vayan a adquirir los
profesionales y de una selección de indicadores que permitan recoger información que
resulte relevante para poder evaluar tanto el proceso como los resultados de la formación.
Este sería un esquema de lo que Pilar Mamolar plantea en su modelo basado en la
inversión:
Tabla 20. Principales elementos del enfoque basado en la inversión de Pilar Mamolar (2000) ELEMENTOS CLAVE
PROGRAMA FORMATIVO Detección de necesidades
Nivel de impacto
OBJETIVOS A ALCANZAR Competencias
TIPO DE GASTO/INVERSIÓN Beneficios
EJE VERTEBRADOR Calidad
RESULTADOS/ ORIENTACIÓN Desempeño profesional
Transferencia
Aprendizaje tanto individual como social
Futuras mejoras
Fuente: Elaboración propia a partir del modelo de inversión de Pilar Mamolar (2000)
Capítulo I. Revisión Teórica Modelos de Evaluación.
84 | P á g i n a
Son dos los elementos claves en este modelo: la inversión y la calidad. La inversión está
referida a los beneficios que se esperan obtener, que en nuestro caso se traduciría en
términos de grado de competencias adquiridas. En relación a la calidad, ésta es el eje
vertebrador de todo el modelo, considerando la importancia de adecuar todo el proceso
formativo al mantenimiento de las competencias y a la adaptación de las demandas de los
profesionales, que quedan recogidas en el proceso de detección de necesidades.
Capítulo I. Revisión Teórica Modelos de Evaluación.
85 | P á g i n a
1.5.5 Modelo de Jean- Marie Barbier
Jean-Marie Barbier (1993) pone el énfasis sobre todo en los procesos. Afirma que “en la
evaluación, como en cualquier otro acto de conocimiento, no se capta nunca directa y
totalmente la realidad examinada. Ésta es siempre objeto de un proceso previo de
definición o de elección de los caracteres que permitirán aprenderla”.
Tabla 21. Adaptación del modelo de Barbier al campo de formación continuada. Campos de actividades Tipos funcionales de evaluación
Evaluación de agentes Evaluación de acciones
Producción de medios Evaluación del perfil competencial a
alcanzar.
Evaluación de la transferencia al
puesto de trabajo.
Ejercicio del trabajo Evaluación del desempeño profesional. Realización de pruebas de
evaluación centradas en el
razonamiento clínico y en el puesto
de trabajo.
Formación Evaluación (reacción, aprendizaje,
comportamiento y conducta, resultados).
Realización de encuestas de
satisfacción, pruebas de evaluación,
transferencia al puesto de trabajo y
valoración del impacto a nivel de
organización.
Pedagogía Identificar fases de planificación, desarrollo
y evaluación, estableciendo indicadores para
ello.
Valoración de los resultados
obtenidos en planificación,
desarrollo y evaluación.
Propuestas de mejora.
Fuente: Elaboración propia a partir del modelo de Barbier.
En la siguiente tabla se han adaptado los ítems propuestos por Barbier al campo de la
formación continuada, ya que aspectos como la cualificación escolar o social son propios
de otros ámbitos educativos.
Capítulo I. Revisión Teórica Modelos de Evaluación.
86 | P á g i n a
Con la adaptación a la formación continuada, el campo más importante es el de la
valoración del perfil competencial y el desempeño profesional. La certificación se
encuentra más vinculada a la carrera profesional o a la obtención de diplomas de
acreditación que son fases posteriores a la acreditación de programas.
Tabla 22. Tipos de evaluación de los resultados según modelo de Barbier Evaluación de agentes Evaluación de acciones
Operaciones de constitución de los datos de referencia:
1. Determinación de los indicadores.
2.Productos de información
1. Designación de comportamientos pertinentes, susceptibles de servir de instrumentos de aprehensión del estado que interesa.
2. Aprehensión de actuaciones concretas, autónomas, estables y diferenciadas.
Determinación de indicadores de funcionamiento y de resultados de la acción.
Operaciones de constitución del referente
1. Determinación de los indicadores.
2. Productos de información
Identificación de modelos de comportamiento.
Elaboración de escalas y normas de actuación.
Explicitación de estrategias.
Especificación de criterios de realización de proyectos.
Relaciones de evaluación Ejercicio unilateral para detectar modelos de conducta.
El derecho de evaluar es de todos.
El poder de evaluar recae en la organización de referencia.
La evaluación tiende a explicitar el poder de la organización.
Juicios de valor Clasificación Balance de puntos fuertes y débiles de la acción evaluada.
Fuente: J. M Barbier. La evaluación de los procesos de formación, Madrid, Paidós, 1993.
En esta tabla Barbier considera que para la evaluación de los resultados no sólo hay que
considerar a los sujetos que son evaluados y a los que evalúan, sino también hay que hacer
un balance dentro de la propia organización, enfatizando una de las principales
características que definen al modelo: el carácter procesual.
Capítulo I. Revisión Teórica Modelos de Evaluación.
87 | P á g i n a
Además, existen ciertas similitudes con modelos propios de la evaluación democrática,
dentro del paradigma mixto, como por ejemplo, la consideración del derecho a evaluar por
parte de todos los agentes implicados, que puede apreciarse en el apartado “relaciones de
evaluación”.
En la Tabla 22, el término “agente” se refiere al grupo de personas que son evaluados, y
que pueden tratarse de entidades individuales o de grupos. La evaluación de acciones se
refiere a los procesos de formación llevados a cabo, como por ejemplo, el desarrollo de
acciones formativas. Se ha de destacar la mención específica a la función pedagógica,
donde el rol en la interacción profesor/alumno es fundamental en el proceso formativo.
El esquema propuesto por Barbier coincide en algunos aspectos propios del modelo
holístico propuesto por Stufflebeam, donde no se considera la consecución de metas si no
son tenidas en cuenta al mismo tiempo las capacidades individuales de los sujetos y se
evalúa el proceso llevado a cabo.
En síntesis son tres los momentos que pueden establecerse en el proceso de formación:
a) Establecimiento de objetivos, adaptados a las necesidades y capacidades del
individuo/ grupo.
b) Elaboración de estrategias que coadyuven a la adquisición de destrezas.
c) Evaluación de los objetivos, previamente planificados, así como valoración de todo
el proceso, teniendo en cuenta las etapas pedagógicas del mismo.
Capítulo I. Revisión Teórica Modelos de Evaluación.
88 | P á g i n a
1.5.6 Modelo de calidad orientado a la satisfacción de Martínez-Tur y
Tordera
Este modelo es un modelo causal, que sigue las mismas directrices que los modelos
clásicos orientados a la evaluación de la satisfacción, con la diferencia de estar basado en
la revisión del MAI (Modelo de Alta Implicación), sobre el que trabajaron Churchill,
Guilbert y Suprenant. En dicho modelo, se analizan las relaciones existentes entre la
calidad, expectativas del usuario ante el producto, la desconfirmación, la satisfacción y las
intenciones existentes en cuanto a cambio conductual. En el campo de formación
continuada, cuando se habla de producto, se estaría aludiendo a la formación.
Cuando Martínez-Tur y Tordera (2011) revisan el modelo encuentran elementos a
modificar, tales como:
1) Unidimensionalidad de la variable satisfacción, ya que sólo aparece una
medición de dicha variable, siendo deseable utilizar más de un indicador.
2) Imposibilidad de generalización de los resultados a otros ámbitos, debido a
la escasa muestra utilizada, así como a la imprecisión de los criterios de
valoración.
Con posterioridad a este estudio, se han realizado modificaciones en la metodología
utilizada, para intentar explicar las relaciones causales entre las variables utilizando la
aplicación LISREL (Linear Structural Relations) basado en análisis de ecuaciones
estructurales, cuya versión más reciente es de agosto de 2009 y que en su origen fue
diseñada en los años 70 por Karl Jöreskog, profesor de la Universidad de Upsala, Suecia.
La aplicación LISREL aporta un mayor poder explicativo a las variables, ya que permite la
inclusión de variables latentes multidimensionales.
Capítulo I. Revisión Teórica Modelos de Evaluación.
89 | P á g i n a
1.5.7 Modelo de Evaluación de la Gestión de Ángel José Olaz
Este modelo, a diferencia de otros modelos aporta una metodología concreta de evaluación.
Está basado en la gestión de procesos en Recursos Humanos y su baza más importante es
presentar una metodología cuantitativa en la que se establecen relaciones causales entre
varias variables. Olaz (2009) se centra sobre todo en la valoración cuantitativa de procesos
del clima laboral en la Gestión de Recursos Humanos.
El modelo que propone Olaz está basado en la organización entendida ésta como un
conjunto de procesos conectados entre sí. En este sentido, la toma de decisiones no debe
realizarse tanto por la identificación de las personas o puestos de trabajo sino por las
conexiones entre los diferentes procesos que la conforman. Para ello, hay que tener en
cuenta que por proceso se entiende un “modo a través del cual la realización de una
acción conecta con funciones distintas con áreas organizativas diferentes, integrándolas
en un único sistema de comunicación en el que emisor, receptor, medio comunicativo,
lenguaje y contexto quedan claramente definidos”.
Las fases metodológicas de las que consta el modelo son cinco:
1. Definir el marco de referencia.
La parte más importante en esta fase viene definida por la creación de un equipo de
trabajo, siendo fundamental la implicación del equipo directivo, el reparto de
responsabilidades y la comunicación fluida entre los miembros. Para ello, Olaz considera
primordial mantener entrevistas personalizadas con la gerencia y analizar las variables que
influyen y los procesos que pueden afectar negativamente al clima laboral que se espera.
Capítulo I. Revisión Teórica Modelos de Evaluación.
90 | P á g i n a
2. Revisión del clima laboral
Los objetivos fundamentales de esta etapa: son contextualizar el sistema y documentar los
procesos implicados. Para contextualizar el sistema, se tendrá en cuenta:
a) Aspectos culturales, tanto individuales y grupales como organizativos.
b) Estructura de la organización: refiriéndose a cuestiones tales como organigramas,
manuales de funciones, de puestos de trabajo, de procedimientos, entre otros.
c) Procesos organizativos relativos a sistemas de evaluación para valorar el
rendimiento, retributivos, comunicación y toma de decisiones.
Para documentar los procesos implicados se considerarán flujogramas que permitan
identificar los procedimientos, tareas y actividades que dan coherencia a la ejecución de los
trabajos desarrollados.
3. Selección de variables explicativas
El siguiente paso consiste en la identificación de aquellas variables más representativas del
clima laboral. Se establecen varias fases:
a) Identificación de variables: será importante considerar el conjunto de los procesos
que definen el sistema organizativo. Éstas deben abarcar a todos y cada uno de los
elementos que definen los procesos que se hayan identificado y sean susceptibles
de ser medidos, al margen de la dificultad que pueda entrañar su cuantificación.
Las variables deberán ser finalmente mensurables, con independencia de la
dificultad que pueda suponer su cuantificación.
b) Adscripción de factores a variables: Una vez identificadas las variables generales
sobre los procesos de trabajo, esta etapa centra su atención en la asignación de
factores a cada una de dichas variables, con el fin de poder llevar a cabo una
explicación de las mismas.
Capítulo I. Revisión Teórica Modelos de Evaluación.
91 | P á g i n a
c) Gradación de factores: El objetivo de esta etapa persigue el redimensionamiento de
los factores mediante la creación de una escala de referencia. De este modo, puede
comprobarse cómo no todos los factores participan del mismo modo e intensidad en
las variables y, finalmente, en el proceso considerado. Se utilizan escalas de
medición.
Con todas estas variables puede construirse un “Sistema de Puntuación por Factores” que
establezca relaciones causales entre las variables, factores y grados, obteniendo un
algoritmo que permita ponderar la participación cuantitativa de cada uno de estos aspectos
en el estudio del proceso de trabajo.
4. Construcción cuantitativa del proceso: consiste en ordenar en términos cuantitativos
cada uno de los procesos que definen la organización con las puntuaciones de la valoración
de la etapa anterior.
5. Conexión con variables de negocio: en esta etapa se ha de establecer una relación entre
la puntuación obtenida y ordenada con otras variables tipo, que sean representativas de la
actividad que se desarrolla en la organización.
Si tomamos como referencia el objeto de esta tesis en esta fase se podría considerar la
eficiencia, si el caso planteado fuera determinar la influencia del coste invertido en las
acciones formativas que forman el plan de formación continuada (costes, beneficios en
capital humano). Con todo ello, se podría volver a valorar el orden de las variables, y poder
realizar una nueva priorización de las mismas.
Capítulo I. Revisión Teórica Modelos de Evaluación.
92 | P á g i n a
Este modelo nos aporta un enfoque metodológico diferente, donde está contemplada la
medición de variables desde un punto de vista cuantitativo, y aunque está centrado en el
clima laboral como aspecto más relevante de la calidad, es extrapolable a otros procesos,
tales como el proceso de formación y los subprocesos que lo conforman. La implicación
del equipo directivo y la etapa de gradación de factores, posiblemente, sean los aspectos
más tediosos con los que podría contarse.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
93 | P á g i n a
2.CAPÍTULO II. REVISIÓN TEÓRICA MODELOS DE
EVALUACIÓN DEL IMPACTO EN FORMACIÓN
2.1 Aspectos generales en la evaluación del impacto en formación
Según la Real Academia Española el impacto se define como “repercusión, influencia
importante” (RAE, 2001).
Una vez se han definido los modelos de evaluación en general, desde una óptica macro,
analizando las ventajas e inconvenientes de cada uno de ellos y viendo cuáles se adaptan
más al objeto de estudio de esta tesis, se van a describir los modelos de evaluación del
impacto en formación más recientes. Son muchos los modelos y revisiones que se han
realizado en torno al tema de evaluación del impacto aunque pocas las organizaciones que
la llevan a cabo. De hecho, en dos de las últimas investigaciones realizadas en nuestro país
sobre el estado de la evaluación del impacto en las organizaciones (EPISE 2000; Pineda y
otros 1999) se desprende que 89% de las empresas de la muestra evalúan la formación,
pero sólo un 8% evalúa el impacto de la misma.
Kenney y Donnelly (1979) definen la evaluación de la formación en las organizaciones
como: “El análisis del valor total de un sistema, de un programa o de un curso de
formación en términos tanto sociales como financieros [...] La evaluación intenta valorar
el coste-beneficio total de la formación y no únicamente el logro de sus objetivos
inmediatos”.
Las funciones básicas que podrían destacarse en cuanto a la evaluación de la formación
serían, siguiendo el esquema de Pilar Pineda (2000):
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
94 | P á g i n a
a) Función pedagógica, consistente en verificar el proceso de consecución de
los objetivos para mejorar la propia formación.
b) Función social, orientada a certificar la adquisición de unos aprendizajes
por parte de los participantes.
c) Función económica, centrada en identificar los beneficios y la rentabilidad
que la formación genera en la organización.
En síntesis, la evaluación de la formación en las organizaciones es importante porque
contribuye a:
1. Mejorar el rendimiento y la rentabilidad. Para ello es importante que la
formación esté bien evaluada y pueda compararse con diversas
metodologías, como gestión por competencias, por ejemplo.
2. Justificar los gastos realizados en formación, y así poder disponer con
información rigurosa acerca de la pertinencia para implementar acciones
formativas, sobre todo en casos de reducción presupuestaria.
3. Mejorar la planificación y diseño de la formación, al contar con resultados
que puedan orientar a aumentar los beneficios de la organización.
4. Seleccionar métodos de formación adecuados, ya que el uso de diferentes
técnicas facilita la toma de decisiones de mejora acerca de la metodología
más adecuada para conseguir los objetivos propuestos.
Cuando hablamos de evaluación del impacto hacemos referencia a un tipo de evaluación,
que se centra en el alcance que los resultados han tenido.
Son múltiples los focos desde los que podemos contemplar el término evaluación, siendo
vital para determinar la evaluación del impacto, el para qué.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
95 | P á g i n a
A modo de resumen, y para contextualizar dentro del amplio campo de la evaluación
donde se ubicaría la evaluación del impacto se presenta la siguiente figura:
Figura 17. Tipos de evaluación según diferentes criterios. Fuente: Elaboración propia.
Como puede apreciarse, la evaluación del impacto se ubica dentro de la finalidad. Si con la
evaluación sumativa el foco es considerar cuál es el alcance de los resultados, con la
evaluación del impacto se pretende determinar cuál es el grado en el que esos resultados se
mantienen. Nuestro objeto de estudio se ubica en este tipo de impacto, no centrado en la
transferencia al puesto, sino en la eficiencia, en definitiva, la rentabilidad, medida a través
de un indicador cuantitativo que tiene en cuenta también la dimensión cualitativa, como se
verá más adelante.
Tal como plantea Pineda (2000), la rentabilidad de la formación es una de las modalidades
de evaluación de la formación que tiene lugar en las organizaciones cuando se analizan las
repercusiones de unas determinadas acciones formativas, en términos de respuesta, a las
necesidades de formación, resolución de problemas y contribución al alcance de los
objetivos estratégicos planteados.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
96 | P á g i n a
En este sentido, el impacto de la formación puede definirse como “el conjunto de cambios
que el aprendizaje derivado de la formación y su transferencia al puesto de trabajo genera
en el departamento o área de la persona formada y en el total de la organización”
(Pineda, 2000)
Si se revisa el esquema de dicha autora pueden diferenciarse, por un lado, los efectos que
la formación genera en la organización y, por otro, los tipos de impacto de formación.
En relación a los efectos que la formación genera en la organización, como consecuencia
del uso de las competencias que los participantes han adquirido a través de la formación
pueden diferenciarse dos tipos de efectos:
a) Cuantitativos o traducibles a valores monetarios.
b) Cualitativos o no traducibles a términos económicos
Estos “efectos” sirven para establecer una clasificación del tipo de impacto de índole, o
bien cualitativa, o bien centrada en el impacto económico o rentabilidad de la formación.
Desde esta visión, la evaluación del impacto y la rentabilidad daría respuesta a una de las
tres funciones propias de la evaluación de la formación: la función económica, centrada en
determinar los resultados en términos de impacto y de rentabilidad. Pero el indicador de
eficiencia, objeto de investigación, va más allá de esta función, ya que también intenta
determinar la certificación de la adquisición de los aprendizajes por parte de los
profesionales (función social), y cuenta con una visión pedagógica, al verificar el proceso
de consecución de los objetivos para mejorar la propia formación (función pedagógica).
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
97 | P á g i n a
Según Tejada (2007), la evaluación de impacto aparece después de transcurrido un tiempo
de la acción formativa, con el propósito de verificar la permanencia y consistencia de los
cambios producidos en los sujetos, el grado en el que las prácticas profesionales han
mejorado, así como otros cambios en la institución que pudieran haberse producido como
consecuencia de la formación.
Plantea que esta evaluación permite conocer la eficacia, efectividad, comprensividad,
validez y utilidad del programa, así como su rentabilidad profesional y social. Por todo
ello, en la evaluación de impacto se hace referencia a dos niveles de análisis:
Análisis centrado en los individuos, de acuerdo con el aprendizaje y transferencia
de lo aprendido al puesto de trabajo.
Análisis centrado en la organización, de acuerdo con la rentabilidad de la
formación para la empresa y el impacto sobre ésta.
Figura 18. Fases en la evaluación del impacto según Tejada. Fuente: Tejada y Fernández: La evaluación de impacto de la formación como estrategia en las organizaciones (2007)
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
98 | P á g i n a
2.2 Modelos de evaluación de impacto en la formación:
A continuación se presentan algunos de los modelos teóricos utilizados en la práctica para
evaluar el impacto de la formación.
2.2.1 Modelo de evaluación orientado a los resultados de Jackson
Jackson (1994), hace un recorrido por los diferentes modelos de evaluación de impacto
desarrollados en el ámbito de la empresa. En dicho análisis se llega a la conclusión de que
el personal encargado de planificar e impartir la formación a los trabajadores debe tener en
cuenta los objetivos que se persiguen para poder medir los resultados obtenidos. Es
decir, los resultados deben guardar coherencia con los objetivos para, de esta forma,
comprobar la eficacia del programa de formación objeto de evaluación.
A continuación se presenta un esquema donde aparecen los elementos que Jackson
considera en su modelo:
Figura 19. Principales fases en el Modelo de evaluación orientado a los resultados de Jackson. Fuente: Elaboración propia
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
99 | P á g i n a
Como puede apreciarse existe un proceso vertical y otro horizontal que abarca desde la
planificación hasta la evaluación, y en el que pueden distinguirse siete etapas que se
exponen a continuación:
ETAPAS EN EL PROCESO DE FORMACIÓN:
1. Identificación de necesidades.
2. Análisis de las necesidades de formación.
3. Redacción de objetivos de formación.
4. Desarrollo del programa.
5. Ejecución del programa.
6. Evaluación del programa.
7. Comunicación de resultados.
Estas etapas nos conducen al análisis de resultados en términos de coste-beneficio,
teniendo en cuenta, o bien, el grado de ejecución del proceso de adquisición de
habilidades, o bien , el número de ítems completados para determinar los estándares de
rendimiento.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
100 | P á g i n a
Tabla 23. Ventajas e inconvenientes del Modelo de evaluación orientado a los resultados de Jackson VENTAJAS:
Consideración de la detección de necesidades.
Operativización del proceso y medición del proceso en base a unos estándares.
Enfoque práctico del modelo.
Concreción de las diferentes fases de evaluación, que van desde la evaluación diagnóstica
hasta la evaluación de impacto.
INCONVENIENTES:
Ausencia de concreción acerca de cómo va a realizarse la detección de necesidades.
Ausencia de consideración de necesidades de tipo social dentro de la evaluación
diagnóstica.
Consideración del individuo como única referencia olvidando el amplio contexto en el que
éste se encuentra inmerso y del que forma parte.
Fuente: Elaboración propia a partir del modelo de evaluación de Jackson.
El valor del impacto que puede deducirse en este modelo se situaría, únicamente a nivel de
consecución de objetivos, en consonancia con el paradigma cuantitativo que proponía
Tyler.
2.2.2 Modelo de Evaluación del Impacto de Chang
Modelo planteado por Chang (2000) denominado IDEAMS, por las letras iniciales de las
fases de las que consta, al igual que el modelo de Jackson plantea una evaluación del
impacto que sólo se centra en el alcance de los objetivos. La única diferencia notable
respecto al de Jackson estriba en la fase de seguimiento, un elemento clave en la
evaluación del impacto. En este sentido, no sólo contempla que los conocimientos
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
101 | P á g i n a
adquiridos se mantengan por un tiempo en el individuo, sino también dentro del seno de la
organización.
La tabla 24 resume las principales fases del modelo IDEAMS
Tabla 24. Principales fases del modelo IDEAMS Fase Objetivo de la fase:
I. IDENTIFICAR NECESIDADES DE
FORMACIÓN
Decidir si la formación puede mejorar el rendimiento laboral
y cómo se puede lograr. En esta fase se tendrán que definir y
determinar las metas a conseguir en el proceso de formación.
D. DISEÑO Concreción del enfoque de formación más adecuado a los
objetivos definidos en la primera fase para conseguir mejorar
el rendimiento laboral de los profesionales a los que va
dirigida la formación.
E. ELABORACIÓN Diseño y desarrollo de las herramientas necesarias para llevar
a cabo la formación o entrenamiento de los asistentes
(material bibliográfico, audiovisual, de apoyo…).
A. APLICACIÓN Puesta en práctica de lo diseñado. Consiste en implementar
aquello que se ha diseñado. En esta etapa la flexibilidad no ha
de ser incompatible con la rigurosidad a la hora de llevar a
cabo los pasos diseñados.
M. MEDICIÓN Evaluación de los resultados de la formación, y la
consecución de objetivos y logros en la mejora del
rendimiento actual. Éste será el momento de subsanar las
deficiencias que se hayan encontrado.
S. SEGUIMIENTO Evaluación del impacto a medio y largo plazo. Mediante la
evaluación de la consolidación de las adquisiciones, tanto a
nivel individual como de organización, se consigue que los
efectos positivos, fruto del proceso de formación, se
mantengan en el tiempo.
Fuente: Modelo de evaluación del impacto (Chang, 2000)
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
102 | P á g i n a
De forma esquemática, las principales ventajas e inconvenientes del modelo de Chang son:
Tabla 25. Ventajas e inconvenientes del modelo evaluación del impacto de Chang VENTAJAS:
Definición exhaustiva de cada una de las fases, que se describen de forma detallada.
Inclusión de fase de seguimiento.
Establecimiento de una fase de evaluación del impacto, con la que se pretende valorar que
los resultados obtenidos se mantengan durante el tiempo.
INCONVENIENTES:
Fases de seguimiento centrada exclusivamente en la adquisición de conocimientos.
No se contempla otro tipo de repercusión a nivel de transferencia al puesto de trabajo o a
nivel de rentabilidad, por ejemplo.
Ausencia de definición de directrices para llevar a cabo las fases exhaustivamente
definidas
Riesgo de improvisación por ausencia de directrices claras, con la consiguiente
interferencia negativa en la valoración del programa.
Fuente: Elaboración propia a partir del modelo de evaluación de Chang
2.2.3 Modelo de evaluación de Grotelueschen
Este modelo supone una ampliación del modelo de evaluación propuesto por Tyler basado
en el paradigma conductista. Para ello Grotelueschen (1986) considera tres categorías
principales como eje de su esquema:
a) Evaluación formativa, centrada en el proceso.
b) Evaluación sumativa, centrada en el resultado final, consistente en modelos
de evaluación que están en consonancia con enfoques teóricos, como por
ejemplo, el modelo libre de metas de Scriven (2000), dentro del paradigma
humanístico, que se abordó en la primera parte.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
103 | P á g i n a
c) Acciones y decisiones futuras que puedan tomarse en relación a la
planificación de programas formativos.
El autor propone tener en cuenta tres dimensiones a la hora de evaluar un programa
formativo:
1. Propósito de la evaluación, el cual ha de estar previamente definido.
2. Elementos del programa.
3. Características del programa.
A su vez, cada una de estas dimensiones se concretan en ocho cuestiones fundamentales a
considerar tanto en la planificación como en la evaluación de programas de
formación. Estas cuestiones son: propósito de la evaluación, audiencias implicadas,
usos de la evaluación, recursos disponibles, colección de evidencias, recogida de
datos, análisis de la evidencia y transmisión de los hallazgos encontrados tras la
evaluación.
En la siguiente tabla presentamos el Modelo de Evaluación de Programas Formativos que
propone el autor.
Tabla 26. Modelo de evaluación de Grotelueschen
Perspectivas del programa Metas Diseño Implementación Resultados
Participantes ¿Son adecuadas las metas educativas a los participantes?
Instructores ¿Están adecuados al diseño?
Tópicos ¿Son estos tópicos los adecuados a los propósitos?
Contexto ¿Cuál es el impacto de los resultados de la evaluación?
Fuente: Evaluación de Programas Formativos (Grotelueschen, 1986)
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
104 | P á g i n a
Las principales ventajas e inconvenientes del modelo de Grotelouschen son:
Tabla 27. Ventajas e inconvenientes del modelo de Grotelueschen VENTAJAS:
Carácter externo de la evaluación. Grotelueschen considera que la evaluación, ha de ser
realizada por agentes externos e ir orientada a diferentes tipos de audiencias.
Orientación hacia la organización y hacia los usuarios que van a beneficiarse de la misma.
Evaluación objetiva y de calidad.
Considera no sólo evaluación sumativa, también formativa (el proceso es tenido en
cuenta).
INCONVENIENTES:
Ausencia de detección de necesidades.
Ausencia de transferencia al puesto de trabajo.
Fuente: Elaboración propia a partir del modelo de evaluación de Grotelueschen.
2.2.4 Modelo de Cervero y Rottet
Este modelo es uno de los que más específicamente se utilizan para evaluar la formación
continuada de los profesionales en ejercicio. De hecho, una de las características que lo
definen es su orientación al desempeño profesional. Este modelo fue desarrollado Cervero
y Rottet en 1984 y, posteriormente, Dimmock lo completó en 1993, profundizando en
temas relacionados con el liderazgo, la administración y la gestión.
En la siguiente figura se presenta el modelo de forma esquemática. Puede apreciarse
la interrelación que existe entre el desempeño (profesional en ejercicio) y el cambio de
conducta, algo que podría traducirse en términos de impacto en transferencia al puesto de
trabajo.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
105 | P á g i n a
Figura 20. Esquema del modelo de Cervero y Rottet Fuente: Elaboración propia. Este modelo se basa en la interrelación de variables independientes. El punto de partida es
el propio programa de formación continua, que a diferencia de otros modelos como el de
Grotelueschen, sí tiene en cuenta las necesidades de los profesionales. Esta formación
revierte en el segundo de los constructos, que es el propio entorno laboral en el que se lleva
a cabo el desempeño profesional. En tercer lugar, habría que considerar el cambio
propuesto, es decir, los cambios que se han previsto a partir de la formación, que a su vez
repercute en el cuarto constructo, el sistema social, donde se halla inmerso el profesional.
Estos cuatro bloques actúan como variables independientes, y como variable
dependiente se considera el desarrollo profesional del sujeto. Cada uno de esos bloques,
se subdividen, a su vez, en distintos indicadores.
CAMBIO PROPUESTO
SISTEMA SOCIAL = CAMBIO DE CONDUCTAS
PROGRAMA DE FORMACION CONTINUA
PROFESIONAL EN EJERCICIO
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
106 | P á g i n a
Fortalezas y debilidades:
Uno de los puntos fuertes de este modelo es la validación del mismo, con sus limitaciones,
ya que sólo está basado en las mediciones post-test. Para la validación, los autores
utilizaron la técnica de regresión múltiple, en la que se encontró que las cuatro variables
independientes explicaban del 63 a 81% de la varianza de la variable dependiente.
Asimismo, se trata de un modelo generalizable a todas las profesiones, por lo que esta
adaptabilidad también puede ser considerada como una fortaleza del mismo.
En relación a la validación, los autores recomiendan utilizar una muestra mayor para
poder generalizar resultados, así como la utilización de técnicas estadísticas multivariantes
para validar los datos obtenidos. Estas recomendaciones servirían para mejorar este punto
débil del modelo.
2.2.5 Modelo de evaluación del impacto de la formación de Robinson y
Robinson
Este modelo pone el énfasis en la relación entre todos los agentes sociales que intervienen
(formadores, profesionales y destinatarios). Al igual que en el modelo de Cervero y Rottet,
la identificación de las necesidades en un elemento crucial.
El desglose teórico de este modelo se encuentra en la obra “Formación para el impacto”
de Robinson y Robinson (1989) A modo de resumen, la figura 21 resume las principales
fases de las que consta el modelo:
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
107 | P á g i n a
Figura 21. Fases del modelo de formación para el impacto de Robinson, D.G. y Robinson, J. (1989) Fuente: Elaboración propia
Como puede apreciarse el resultado final dependerá del contexto y de las conductas que se
consigan a partir de la formación del programa, para lo cual hay diseñado un esquema de
análisis en el que se analiza la eficiencia. En este sentido, la coherencia entre los objetivos
propuestos y los resultados obtenidos darán como resultado la medida del impacto en la
organización.
La fórmula que se deriva de la implementación de este modelo es la siguiente:
(EXPERIENCIAS DE APRENDIZAJE) x (CONTEXTO) = (RESULTADOS)
La medida de los resultados de impacto se realiza en base a una serie de preguntas:
¿Coinciden las necesidades detectadas con las necesidades reales?
¿Qué habilidades o destrezas se transfieren una vez realizada la formación?
¿Cuál es el número de profesionales que se forma?
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
108 | P á g i n a
Las principales ventajas e inconvenientes del modelo de Robinson y Robinson son:
Tabla 28. Ventajas e inconvenientes del modelo de Robinson y Robinson VENTAJAS:
Colaboración entre los agentes sociales implicados (formadores, profesionales y aquellos
que tienen la responsabilidad de planificar la formación)
Contempla la detección de necesidades y el análisis de la eficiencia
INCONVENIENTES:
Necesidad de establecer una relación fluida entre los diferentes agentes sociales
Dificultades en el feedback que pueden coadyuvar a un sesgo en los resultados
Fuente: Elaboración propia a partir del modelo de Robinson y Robinson
2.2.6 Modelo de Wade
El modelo del Wade es uno de los modelos centrados en la rentabilidad de la formación,
siendo crucial el valor que la formación aporta a la organización. Se pueden diferenciar
cuatro niveles:
Figura 22. Niveles del modelo de Wade. Fuente: Elaboración propia a partir del modelo de Robinson y Robinson
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
109 | P á g i n a
Asimismo, Wade diferencia 2 tipos de evaluación:
a) Evaluación de los resultados como consecuencia de la formación llevada a cabo.
Esta evaluación se mide con indicadores cuantitativos, también denominados
indicadores duros e indicadores cualitativos o indicadores blandos.
b) Evaluación del impacto, medida a través del análisis coste-beneficio.
Esta diferenciación entre evaluación de transferencia e impacto también la podemos
encontrar en Pilar Pineda (2003).
Las principales ventajas e inconvenientes del modelo de Wade son:
Tabla 29. Ventajas e inconvenientes del modelo de Wade VENTAJAS:
Consideración de la rentabilidad económica una dimensión propia de la evaluación
Propuesta de análisis del beneficio-coste
INCONVENIENTES:
Traducir los indicadores en términos de inversión y beneficios en un ámbito como la
formación no es tarea fácil.
Fuente: Elaboración propia.
2.2.7 Modelo de Evaluación de Cuatro Niveles de Kirkpatrick
El Modelo de Evaluación de Programas de Formación que plantea Kirkpatrick en
1959, aún habiendo transcurrido más de 40 años sigue plenamente vigente. De hecho, es
uno de los modelos de referencia en la elaboración del indicador de eficiencia, objeto del
estudio. El modelo abarca todas las etapas de la planificación desde la detección de
necesidades hasta la evaluación, diferenciando 10 etapas que se muestran a continuación:
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
110 | P á g i n a
Figura 23. Principales etapas del Modelo de evaluación de Kirkpatrick Fuente: Elaboración propia a partir del modelo planteado por Kirkpatrick (1999)
El modelo de Kirkpatrick es junto con el de Phillips, que se verá más adelante, el que va a
ser utilizado como referencia, al ser un modelo sencillo, lineal pero a su vez muy completo.
Este modelo abarca todas y cada una de las fases del proceso de planificación, desde la
detección de necesidades hasta la evaluación, contemplando elementos que otros modelos
no han tenido en cuenta, y que son fundamentales para una implementación de calidad,
como por ejemplo, adecuar el perfil de los docentes encargados de impartir la formación,
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
111 | P á g i n a
así como el de los destinatarios que van a recibirla. En este sentido, puede afirmarse que es
el modelo que mayor pertinencia aporta, al menos en su diseño, al concepto de evaluación.
A continuación, se describen los elementos principales que integran cada una de las fases
de las que consta:
1. Detección de necesidades:
La detección de necesidades trata de responder a 2 preguntas:
a) ¿Qué necesitan los profesionales?
b) ¿Qué necesita la organización?
A diferencia de otros modelos, Kirkpatrick tiene en cuenta también las necesidades de la
organización, lo cual aporta un enfoque mucho más estratégico e integrador.
2. Objetivos.
Para establecer los objetivos, se han de tener en cuenta los resultados que se pretenden
alcanzar, es decir, la finalidad de la formación. De hecho, se considera que Kirkpatrick
sigue los principios tylerianos, al hablar del logro de objetivos. Además de tener en cuenta
los resultados, también considera el proceso de planificación (fases 5 a 9).
3. Contenidos.
Estos han de guardar coherencia con la detección de necesidades y objetivos previstos. Una
vez más, Kirkpatrick apuesta por la pertinencia en la planificación, no dejando al azar
ninguno de los elementos que promueve. En este sentido, además de la selección es
importante la priorización de los mismos atendiendo a las necesidades y a los objetivos
previamente planificados.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
112 | P á g i n a
4. Participantes.
La selección que se haga de los mismos, se ha de realizar teniendo en cuenta una serie de
criterios bien definidos y que sean conocidos con antelación por los participantes que son
susceptibles de participar en el proceso de formación, para lo cual es imprescindible
planificar una adecuada difusión.
5. Cronograma (horas y duración).
Dependiendo de los objetivos se establecerá un plan de trabajo acorde con los mismos,
donde se distribuyan los contenidos en función de su carácter teórico, práctico, así como de
su grado de dificultad.
6. Infraestructura.
No puede concebirse un plan de trabajo si no se establecen recursos materiales para
conseguirlo, siempre en función de los objetivos y contenidos previstos. El concepto de
infraestructura abarca desde las instalaciones hasta los materiales necesarios para llevar a
cabo la formación.
7. Personal docente.
Seleccionar adecuadamente al personal docente encargado de impartir la formación es otro
de los puntos clave en el modelo en la fase de implementación. A la hora de seleccionar el
personal docente, se ha de considerar el perfil competencial con el que cuenta, así como el
dominio en la materia y las habilidades de comunicación, y no centrar exclusivamente la
atención en otros temas como pueden ser los estrictamente económicos.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
113 | P á g i n a
8. Medios audiovisuales.
Este elemento, aunque obvio, resulta imprescindible en la impartición de la formación,
teniendo que ser coherente con los contenidos que van a abordarse y el contenido,
especialmente, cuando cuenta con un carácter práctico de la materia, ya que por ejemplo, el
empleo de determinados recursos como la proyección de vídeos puede contribuir a
alcanzar objetivos partiendo de escenarios simulados. Por ejemplo, un vídeo en el que se
proyecte una operación quirúrgica, sin requerir presencia física en un quirófano por parte
de los profesionales que asistan a la formación.
9. Coordinación.
La función de coordinación conlleva identificar un responsable en la formación cuyas
funciones sean, entre otras:
o Analizar el proceso de detección de necesidades.
o Seleccionar al personal docente y los participantes que van a participar en la acción
formativa.
o Llevar a cabo toda la organización y logística.
o Analizar la evaluación.
Esta figura en ocasiones puede coincidir con la de los docentes encargados de impartir la
formación.
10. Evaluación.
Este es el punto más importante en nuestro objeto de investigación.
Contempla los denominados “4 niveles de Kirkpatrick”:
o Reacción.
o Aprendizaje.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
114 | P á g i n a
o Comportamiento y conductas.
o Resultados.
Para cada uno de los niveles se proponen una serie de indicadores, que de forma resumida
se detallan a continuación:
i. Nivel de reacción:
El nivel de reacción se puede traducir en satisfacción por parte del profesional que realiza
la formación. Al finalizar la acción formativa y de manera inmediata se ha de pasar un
cuestionario en donde sean valorados los elementos que tienen que ver con la adecuación y
pertinencia de los objetivos al desempeño profesional así como otras, relativas a la
infraestructura y a la valoración
ii. 2. Nivel de aprendizaje.
Este nivel está referido a la adquisición de conocimientos, mejora de las destrezas y
habilidades y cambio de actitudes. Este tipo de conocimientos que se adquieren durante la
formación deben ser evaluados a través de pruebas post-formación para medir los logros
obtenidos y el cumplimiento de objetivos fijados a priori. Normalmente, el
aprendizaje va acompañado de uno o más de estos indicadores.
iii. 3. Nivel de comportamientos y conductas.
Este nivel puede traducirse como transferencia al puesto de trabajo, de ahí que tenga que
ver con el cambio de comportamientos y conductas. Éste supone un nivel más avanzado de
evaluación que el de la adquisición de aprendizaje, ya que puede ser que en el aula se
hayan adquirido ciertos conocimientos, hasta incluso que se hayan superado pruebas de
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
115 | P á g i n a
evaluación prácticas, pero luego dichas conductas no se mantengan en el tiempo y no se
practiquen ni lleven a cabo en el puesto de trabajo.
Por ejemplo, si en una actividad de RCP (Reanimación Cardiopulmonar) logramos salvar
al maniquí utilizado en la simulación durante la evaluación práctica, pero luego en el
escenario real, esto es, en el puesto de trabajo, no logramos transferir esa competencia
profesional, el aprendizaje se quedaría en el segundo nivel y el logro de los resultados
contaría con un importante sesgo.
iv. 4. Nivel de resultados.
En este nivel, el término resultados alude a la repercusión global que el aprendizaje ha
tenido en la organización, no sólo en cuanto a estabilidad del aprendizaje, sino en cuanto a
beneficios obtenidos, reducción de costes y repercusiones en general para la organización.
La mayor fortaleza del modelo de Kirkpatrick es la concreción de cada una de sus etapas.
Resulta un modelo muy completo que tiene en cuenta como punto de partida la detección
de necesidades, pero no sólo de los profesionales, como suele ser lo habitual en gran parte
de los modelos, sino también contempla la de la propia organización. Este punto es muy
importante, porque para que una planificación sea pertinente tiene que existir coherencia
entre ambos tipos de necesidades. Como aspecto a mejorar, podría incluirse también el
resultado de la detección de necesidades del usuario. Por ejemplo, en el contexto de la
formación continuada sanitaria, sería positivo contar con un análisis de la opinión de los
pacientes, que se recogiera a través de las encuestas de satisfacción, o bien a través de
grupos concretos, mediante la técnica Delphi, para tener una fuente de información que
recoja datos también de índole cualitativa.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
116 | P á g i n a
Los dos primeros niveles son más fáciles de evaluar que los niveles 3 y 4, especialmente
que el nivel 4. En este sentido, según el artículo sobre la implicación de la economía en el
aprendizaje realizado en 2002 por la American Society for Training and Development
(Saba Sofware Inc., 2002), sobre la empresa estadounidense Saba Sowftware, una de la
más importantes en gestión del capital humanos, el 78% de las organizaciones evaluaron el
nivel 1 (reacción) utilizando encuestas de satisfacción tras las acciones formativas, el 32%
evaluaron el nivel 2 (aprendizaje), el 9% el nivel 3 (comportamiento y conductas) y tan
sólo el 6% el nivel 4 (resultados).
Por lo tanto, estos datos proporcionan una visión de que incluso siendo un modelo muy
completo, y siendo conscientes de que la evaluación de los niveles 3 y 4 resulta la más
interesante y valiosa, las organizaciones, bien sean Centros educativos, Universidades o
áreas de salud, como es nuestro caso, aún tienen bastante margen de mejora.
Por último, cabe destacar que el nivel 4 es, en cierta manera impreciso, ya que Kirkpatrick
no propone un indicador concreto para evaluar la relación beneficio/coste.
Figura 24. Niveles de evaluación de Kirpatrick Fuente: http://www.galileo.edu/ivn/noticias/caracteristicas-de-un-modelo-efectivo-de-elearning/
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
117 | P á g i n a
Ventajas e inconvenientes del modelo de Kirkpatrick:
El modelo presenta varios puntos fuertes.
1) El primero de ellos reside en su viabilidad práctica, existe un consenso entre los
formadores y evaluadores en la capacidad del modelo para llevarlo a la práctica sin
dificultad. Esta ventaja reside en la excelente estructuración del mismo, así como
en lo pormenorizado de cada acción a seguir para evaluar un programa formativo.
2) Otra de las ventajas de este modelo es su carácter pionero, es decir, resulta la base
de la evaluación del impacto de la formación. Hace cuarenta años, cuando la
evaluación del impacto apenas estaba en sus albores, el modelo de Kirkpatrick
resultó toda una revolución en este ámbito.
Del mismo modo, este modelo ha recibido varias críticas y se considera superado en
muchos aspectos. De cualquier forma, nos parece acertado incluirlo en esta revisión ya que
sienta las bases de la implantación definitiva de la evaluación de programas formativos
como herramienta de cambio y mejora de la calidad. Éstas son algunas de las críticas más
comunes que se le atribuyen al Modelo de Kirkpatrick.
1) La primera de ellas formulada por Adams (1970), considera el modelo defectuoso.
Se trata, según el autor, de un modelo simplista que no cuantifica el impacto real de
la formación, ya que la consecuencia o resultado de la evaluación rara vez puede
ser observada como impacto. Habitualmente, en las organizaciones, la evaluación
de la formación se estanca en el segundo nivel que propone Kirkpatrick
(aprendizaje) y no se llega al nivel 4 en donde se mide el impacto propiamente
dicho. Por tanto, no podemos decir que la formación ha sido efectiva.
2) Otra de las críticas que se le hacen a este modelo viene de la mano de autores como
Brinkerhoff (2005) que ponen de manifiesto las ventajas e inconvenientes de la
utilización de modelos como el de Kirkpatrick.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
118 | P á g i n a
o La primera de estas limitaciones hace referencia a la unidimensionalidad del
modelo, puesto que los resultado se traducen en términos meramente
económicos, dejando de lado aspectos muy importantes que no pueden
definirse con estos términos.
o La segunda limitación se refiere a que el posible feedback de la acción
formativa no es inmediato o directo. Normalmente los contenidos,
habilidades y actitudes adquiridos durante la formación no se ponen en
práctica de forma inmediata y es en este periodo de tiempo transcurrido,
donde puede perderse gran parte de la información recibida.
o Por último, estos autores hacen referencia a la no-adecuación de los
Modelos de Análisis Económicos como modelos de evaluación de la
formación en recursos humanos. En esta crítica se está totalmente de
acuerdo, ya que es una forma simplista y reduccionista de abordar los
elementos que pueden estar influyendo en la calidad de esa formación. Del
mismo modo no podemos medir el impacto de la formación en términos
meramente económicos, ya que dejaríamos de lado los verdaderos
elementos que influyen en el mantenimiento y puesta en práctica de los
conocimientos adquiridos durante el proceso formativo.
2.2.8 Modelo de Phillips
Este modelo puede definirse como la continuación del modelo propuesto por Kirkpatrick.
De hecho, la aportación más significativa de Jack Phillips (2003) es, precisamente, el
considerado como quinto nivel: ROI, o retorno de inversión (Return On Investment).
El modelo comprende 10 etapas:
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
119 | P á g i n a
Tabla 30. Resumen de fases del modelo de Phillips (2003) 1. Análisis de problemas empresariales y oportunidades
2. Identificación de las necesidades de la organización
3. Identificación de las necesidades de rendimiento en el trabajo (recogida de datos del rendimiento)
4. Identificación de las formas preferidas de aprendizaje
5. Formulación de una estrategia de evaluación
6. Recogida de datos del programa
7. Aislamiento de los efectos obtenidos mediante el programa de capacitación
8. Conversión de los efectos en valores económicos
9. Tabulación de los costos del programa
10. Cálculo de la rentabilidad de la inversión
Fuente: Elaboración propia adaptada del modelo de Etapas del modelo de Phillips para formular el ROI (2003)
De manera gráfica, a continuación, se muestra un resumen del proceso planteado por
Phillips para calcular el ROI.
Figura 25. Cálculo del ROI según modelo planteado por Phillips. Fuente: http://roiinstitute.net/wp-content/uploads/2013/04/Binder1_Page_1.jpg
Develop Objective
of solution
(s)
Desarrollar el Objetivo
de la Solución/es
Desarrollar el Informe y
Comunicar el Resultado
Desarrollar Planes de
Evaluación y Datos de Referencia
Datos recogidos durante la Implemen-tación de la Solución/es
Aislar los Efectos de
la Solución/es
Convertir los Datos en
Coste Monetario
Develop Objective
of solution
(s)
Evaluación de la Planificación
Recopilación de Datos
Análisis de Datos Resultado
Calcular el ROI
Costes de encontrar la
Solución
Identificar los
Intangibles
Datos recogidos
tras la Implemen-tación de la Solución/es
•Entradas/ Indicadores
•Reacción y Plan de Acción
•Aprendizaje y Confianza
•Aplicación e Implementación
•Impacto en el Negocio
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
120 | P á g i n a
Como puede apreciarse el modelo se basa en los cuatro niveles de Kirpatrick, añadiendo un
nivel 5 (ROI). Es muy importante la recogida de datos para documentar cuál es el estado de
la situación a priori, antes de llevar a cabo la formación.
Para Phillips es muy importante partir de los niveles 3 y 4, para poder comparar el antes y
después de la formación y poder valorar la rentabilidad de la misma. Para el aislamiento de
los efectos de la formación, propone utilizar herramientas de medida tales como grupos de
control o evaluaciones del desempeño. Para convertir los efectos en términos económicos,
propone aplicar métodos tales como el costo de la calidad, de las estimaciones de los
profesionales o el costo del tiempo empleado.
Ventajas e inconvenientes:
Una de las fortalezas de este modelo es mejorar el ya propuesto por Kirkpatrick, añadiendo
un quinto nivel centrado en la rentabilidad económica. Este factor es de suma importancia,
ya que no se puede determinar con precisión el nivel 4 si no se concreta en un indicador que
valore la relación beneficio/coste.
Quizá la debilidad de este modelo radica en lo difíciles que son de cuantificar algunos
indicadores de beneficio, lo cual no ha de ser óbice para su evaluación. Una de las críticas
hacia el modelo viene dada precisamente por no centrarse en los objetivos. De hecho,
cuando se habla de ROO se alude al “Return On Objectives”, al retorno de los objetivos,
para los que se diseñen indicadores cualitativos y cuantitativos.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
121 | P á g i n a
2.2.9 Modelo de medición del ROTI de Liliana Rodríguez y Andrés Mosteiro
Rodríguez y Mosteiro (2001) señalan que sólo el 3% de las organizaciones en el mundo
utilizan mecanismos para medir económicamente el impacto de la formación en los
resultados de sus negocios. Precisamente, teniendo en consideración estos datos proponen
la medición del ROTI (Return Over Training Investment).
(1)
(2)
G: Ganancia del ejercicio
F: Factor de formación
R: Retorno en moneda
I: Inversión en formación
ROTI: porcentaje del retorno sobre la formación.
En este modelo se empieza a mencionar por primera vez el retorno de la formación y el
capital humano de la organización.
Rodríguez y Mosteiro (2001), en su artículo “La medición del retorno de la inversión en
formación, dentro del marco de la nueva economía”, señalan la existencia de diversas
experiencias en empresas en relación con la utilización de herramientas para la medida del
grado de efectividad de sus acciones de formación. Hay que destacar que la eficiencia no
está exclusivamente vinculada al diseño, sino a la manera en la que se aplica en las
organizaciones, enfatizando el papel tan importante que debe concedérsele a la reflexión
sobre el propio concepto de evaluación, reservándole un espacio propio y considerándola
una herramienta generadora de procesos de mejora.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
122 | P á g i n a
Ventajas e inconvenientes:
Una ventaja del modelo es considerar la ganancia no sólo en términos de rentabilidad
económica traducida a valor monetario, sino considerar las ganancias en términos de
capital humano. Esta fortaleza será uno de los puntos que se ha considerado a la hora de
elaborar el indicador de eficiencia propuesto en esta tesis.
La mayor debilidad estriba en la necesidad de contar con suficientes recursos, sobre todo, a
nivel de personal que se encarguen de la adecuada supervisión de todo el proceso.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
123 | P á g i n a
2.3 Modelos de evaluación de impacto en el ámbito sanitario
A continuación se van a analizar modelos adaptados al ámbito sanitario.
2.3.1 Modelo SM/PI (System Model of Policy Indicators) de Thomas R. Doy
Este modelo está planteado por el Instituto Politécnico y la Universidad del Estado de
Virginia (1987) para evaluar la política de un sistema sanitario. El modelo SM/PI (System
Model of Policy Indicators) tiene sus inicios en la década de los 70, incorporándose
al campo de las Ciencias Sociales, a partir de esta fecha, el concepto de input-output-
feedback.
En la siguiente figura aparece recogido el modelo original:
Figura 26. Elementos que integran el modelo SM/PI Fuente: Elaboración propia
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
124 | P á g i n a
El input o entrada, está basado en las demandas y los resultados u outputs en las
acciones/decisiones a tomar. Se considera fundamental la retroalimentación o feedback, ya
que es la que posibilita la obtención de los resultados.
2.3.2 Modelo QSP-INC (Fornell, Universidad de Michigan)
En este modelo, al igual que ocurría en el modelo de Olaz (2009) se propone una
metodología cuantitativa con el objetivo de establecer relaciones causales entre diferentes
variables. El modelo se centra, básicamente, en la calidad de los servicios hospitalarios,
destacando las siguientes variables: satisfacción de los usuarios, resultados e impacto.
Este modelo se ha llevado a cabo en países como Suecia. En esta experiencia se podían
identificar una serie de atributos medibles para cada componente de calidad asociados a
cada una de las variables.
a) Variable calidad percibida: adecuación al uso y fiabilidad.
b) Variable valor percibido: coste, dada la calidad y calidad dado el precio.
c) Variable expectativas: general, adecuación al uso y fiabilidad.
d) Variable satisfacción del usuario: satisfacción propiamente dicha,
confirmar/anular expectativas y comparación con ideal.
e) Variable quejas: en función del nivel de satisfacción
f) Variable lealtad a la empresa.
La metodología QSP-INC supone un avance muy importante a la hora de resolver
ecuaciones estructurales de relaciones causales en cadenas largas, ya que otro tipo
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
125 | P á g i n a
de metodologías como la regresión o el análisis factorial no responden al objetivo de
“...medir una secuencia de percepciones que se tiene que valorar de forma
simultánea con la restricción de maximizar la relación entre el índice de satisfacción y
las variables de comportamiento objetivo” (Friberg, 1995).
2.3.3 Modelo de Ubillos
Ubillos (1994) analiza dos tipos de diseños quasi-experimentales para comparar el poder
evaluativo de cada uno de ellos. Por un lado, el diseño de grupos no-equivalentes,
en el que se compara la medida post-test del grupo experimental con la medida post-test
del grupo de control. Se trata de un diseño quasi-experimental válido y que posee gran
validez externa. Por otro lado, los diseños quasi-experimentales de línea base no
causal construida, tienen su base en la comparación de la medida post-test del grupo de
tratamiento con un grupo apareado disfuncional o funcional, es decir, se compara con
una norma (en la mayoría de los casos perceptibles de una población comparable).
2.3.4 Otros modelos:
Otros modelos en relación a la evaluación del impacto los encontramos en Pilar Pineda
(2003) y W. Horton (2001). De manera resumida, puede afirmarse que un elemento común
de ambos autores es identificar y describir diferentes tipos de beneficio, según sea el grado
de cuantificación así como su relación de dichos resultados en la organización.
En la siguiente tabla se clasifican los beneficios de la formación de acuerdo con W. Horton
en Evaluating E-Learning (2001), en donde se dividen en tangibles, intangibles y muy
intangibles.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
126 | P á g i n a
Tabla 31. Beneficios de la formación según Horton (2001)
Tipo de beneficio
Definición
Tipología
Ejemplos de valores de medida
Incidencia directa de la formación
Incidencia teniendo en cuenta los resultados
Tangibles Beneficios fáciles de cuantificar y de expresar en valores monetarios
Ahorro en costes
Aumento de la producción
Ahorro en tiempo
Mejora de la calidad
Alta Media
Intangibles Beneficios que muestran dificultad para ser cuantificados y expresados en valores monetarios
Mejoras en el trabajo
Innovación y creatividad
Ambiente laboral
Políticas de carrera profesional
Niveles de absentismo laboral o impuntualidad
Número de patentes
Niveles de rotación
Promociones internas
Media Media
Muy intangibles
Beneficios imposibles de cuantificar y de expresar en valores monetarios
Satisfacción y felicidad
Iniciativa y liderazgo
Resultados encuestas de satisfacción
Definición clara de objetivos
Baja Alta
Fuente: Beneficios de la formación modificada a partir de W. Horton (2001). Evaluating E-Learning ASTD
El modelo GDOR (2012) más que de un modelo se trata de una herramienta desarrollada
por Heures Network, consistente en la aplicación de indicadores de impacto y de gestión
de costes que permiten la continua redefinición y replanteamiento de las acciones de
formación, de manera que éstas siempre estén enfocadas a conseguir los objetivos
previstos con el nivel de inversión más adecuado.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
127 | P á g i n a
El inconveniente de esta herramienta es que no se basa en una detección de necesidades
donde se tenga en cuenta al individuo, Ortiz (2015) y a la organización, sino que se centra
en el output a conseguir como elemento clave que guíe la gestión.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
128 | P á g i n a
2.4 Beneficios en formación.
Calcular los beneficios en formación no es tarea fácil. A continuación se presenta una tabla
que resume los diferentes tipos de beneficios realizada por Josep M. Duart (2002) de la
Universitat Oberta de Catalunya.
Tabla 32. Diferentes tipos de beneficios en formación.
Definición Tipologías Ejemplos de valores de
medida
Incidencia directa de la formación
Incidencia teniendo en cuenta los resultados
Hard Beneficios fáciles de cuantificar y expresar en valores monetarios.
- Ahorro en costes.
- Aumento de la producción.
- Ahorro en tiempo.
- Mejora de la calidad.
- Costes por unidad.
- Número de unidades producidas.
- Tiempo de producción.
-Número de productos defectuosos.
Alta Media
Soft Beneficios que muestran dificultad para ser cuantificados y expresados en valores monetarios.
- Mejoras en el trabajo.
- Innovación y creatividad.
- Ambiente laboral.
- Políticas de carrera profesional
- Niveles de absentismo laboral o impuntualidad.
- Número de patentes.
- Niveles de rotación.
- Promociones internas
Media Media
Fuzzy Beneficios imposibles de cuantificar y expresar en valores monetarios
- Satisfacción y felicidad.
- Iniciativa y liderazgo.
- Habilidades y competencias para el negocio.
- Resultados de encuestas de satisfacción.
- Definición clara de objetivos.
- Actitudes de escucha, trabajo en equipo, resolución de conflictos, etc.
Baja Alta
Fuente: Josep M. Duart. (Universitat Oberta de Catalunya. 2002
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
129 | P á g i n a
Como puede apreciarse en la tabla existen 3 tipos de beneficios:
a) Beneficios fáciles de cuantificar, tales como el ahorro en costes o tiempo.
b) Beneficios con una dificultad media para ser cuantificados, tales como el ambiente
laboral o las políticas de carrera profesional.
c) Beneficios muy difíciles de ser cuantificados, tales como la satisfacción o el
liderazgo.
La tabla no sólo nos muestra la identificación y clasificación de 3 tipos de beneficios, sino
que, además, relaciona éstos con la incidencia de la formación. En este sentido, los
beneficios que son más fáciles de cuantificar son los que tienen un impacto menor.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
130 | P á g i n a
2.5 Costes en formación.
La determinación de los costes de la formación es más sencilla que la estimación de
beneficios. Existen algunas propuestas concretas en costes de formación, como por
ejemplo, el presentado por Javier Lozano (2003), Director General y Consejero Delegado
de Nanfor Ibérica, en que se contemplan:
Costes relativos a la realización de la formación.
Costes de preparación de las clases y del material.
Costes de elementos físicos para realizar la formación.
Costes de viaje.
Costes de oportunidad.
Otras referencias sobre la estimación de costes podemos encontrarlas en el proyecto que se
ha desarrollado dentro del Technology Costing Methodology Project (Lozano, 2003), una
herramienta de ayuda a la determinación de los costes. En total, hay publicados 15 casos,
entre otros el de la Universidad de Carolina del Norte, el de Ohio o el de la Escuela Virtual
de Florida. La única limitación de esta herramienta es que se centra en el e-learning.
Resultan interesantes los resultados que apuntan a que la formación basada en la tecnología
es más cara, no debido a los costes que conlleva la tecnología, sino debido al tiempo
adicional necesario para desarrollar y entregar el contenido en la plataforma. A modo de
ejemplo, en la experiencia llevada a cabo en la Universidad de Carolina del Norte en 2001,
el mayor coste recae en la elaboración y entrega de los contenidos, que supone un 52% del
presupuesto, mientras que la planificación curricular supone un 10,44% y el soporte
informático un 2,84% entre otros.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
131 | P á g i n a
Otra propuesta, esta vez inglesa, es el proyecto “Networked Learning” (Baschic, 1999)
auspiciada por el Joint Information System Committee, así como en Australia, la propuesta
del Department of Education, Science and Training.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
132 | P á g i n a
2.6 Algunos resultados de investigaciones en indicadores de eficiencia
En este apartado se van a revisar algunos ejemplos prácticos en cuanto a definición e
implementación de indicadores de eficiencia se refiere. Los ámbitos son diversos y abarcan
el ámbito de la formación profesional, recursos humanos así como área de salud.
Ejemplo nº 1: Indicadores de calidad y eficiencia de los servicios hospitalarios (Jiménez
Paneque, 2004)
En este artículo se plantea el indicador de eficiencia como el cociente entre resultados y
recursos. Se destaca la dificultad en establecer un único indicador de eficiencia, ya que la
responsabilidad no sólo recae en los profesionales de la salud, sino que existen otros
agentes intervinientes claves en el proceso, sobre todo, en lo concerniente a los resultados
que se desean alcanzar.
El foco se posiciona en el aprovechamiento que se hace de la cama como recurso así como
de la estancia hospitalaria, identificando 2 indicadores concretos que tienen que ver con la
eficiencia:
a) Índice ocupacional: Medida promedio de ocupación de la cama.
b) Índice de rotación: Número promedio de personas que pasan por una cama
durante un periodo dado.
Se plantean, además, otros indicadores que influyen en la calidad de los servicios
hospitalarios. Entre otros destacan:
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
133 | P á g i n a
Indicadores de calidad de la estructura:
Estructura física: comprende cimientos, edificaciones, equipo médico y no médico
(fijo y movible), vehículos, mobiliario médico y de oficina, medicamentos y otros
insumos farmacéuticos, almacenes y condiciones de almacenamiento y
mantenimiento de los inmuebles.
Estructura ocupacional (staff): incluye la calidad y cantidad del personal médico y
no médico empleado para brindar asistencia médica: número y tipo de personal por
categoría. Incluye también relaciones entre categorías de personal (ej:
enfermeras/médico) o entre personal y población (ej: médicos/habitante),
entrenamiento del personal (por tiempo y lugar) y los criterios de desempeño del
personal específico.
Estructura financiera: incluye el presupuesto disponible para gestionar
adecuadamente los servicios, pagar a los trabajadores, financiar los requerimientos
mínimos de entradas físicas y de personal y proveer incentivos con la finalidad de
obtener un desempeño mejor.
Estructura organizacional: refleja las relaciones entre autoridad y responsabilidad,
los diseños de organización, aspectos de gobierno y poderes, proximidad entre
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
134 | P á g i n a
responsabilidad financiera y operacional, grado de descentralización de la
capacidad de decisión y tipo de decisiones que son delegadas.
Indicadores de la calidad del proceso
La calidad no está relacionada con la tecnología que se utilice, exclusivamente, sino
también con la interacción del paciente con el equipo de salud.
También se analizan aquí variables relacionadas con el acceso de los pacientes al hospital,
el grado de utilización de los servicios, la habilidad con que los médicos realizan acciones
sobre los pacientes. Se considera que la historia clínica es otro de los criterios de calidad
del proceso, estableciendo sistemas de puntuación.
Indicadores de calidad basados en los resultados
Los indicadores basados en los resultados suponen un importante eje de la investigación
para la monitorización de la calidad, dada la enorme ventaja de ser fácilmente
identificados.
El principal inconveniente radica en que para que constituyan un reflejo real de la calidad
deben estar relacionados con los pacientes de los que se trata.
Dentro de los indicadores de resultados se pueden identificar dos grandes grupos los
llamados “Indicadores Centinela” e “Indicadores basados en proporciones o datos
agregados”.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
135 | P á g i n a
Indicadores centinela
Sirven para identificar situaciones críticas, que precisa de un análisis en detalle.
Son importantes para garantizar la seguridad del paciente, pero son menos útiles para
medir el desempeño global de una institución.
Indicadores de datos agregados (continuos o basados en tasas)
Los indicadores de datos agregados (continuos o basados en tasas) son los que miden el
desempeño basándose en eventos que ocurren con cierta frecuencia. Son los más
importantes para determinar el nivel de desempeño de una institución, detectar tendencias,
hacer comparaciones con el desempeño pasado, con otras instituciones o con puntos de
referencia establecidos.
Los indicadores de datos agregados (continuos o basados en tasas) son los que miden el
desempeño basándose en eventos que ocurren con cierta frecuencia. Son los más
importantes para determinar el nivel de desempeño de una institución, detectar tendencias,
hacer comparaciones con el desempeño pasado, con otras instituciones o con puntos de
referencia establecidos.
Como puede apreciarse, en esta investigación la eficiencia no deja de ser un elemento más
dentro del conglomerado de indicadores de calidad.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
136 | P á g i n a
Ejemplo nº 2: Indicadores del proceso de enseñanza/aprendizaje en la formación
profesional (Andrés Fernández, 2005)
Existen investigaciones 1 que aluden a la propuesta de indicadores del proceso de
enseñanza/aprendizaje en la formación profesional en un contexto de gestión de calidad
total, tal y como se refleja en la siguiente tabla.
Tabla 33. Propuesta de indicadores del proceso de enseñanza/aprendizaje. Andrés Fernández, Miguel A. (2005).
Entrada (Input) Proceso Salida (Resultados)
Porcentaje de asistencia del
alumnado
Planificación %de aprobados
Tasa de neta de aprobados
Esfuerzo y capacidad suficientes Grado de información a los
clientes
% de contenidos impartidos.
Tasa de contenidos
Conformidad número de
alumnos /curso
Tasa de conformidad de los
recursos materiales
Clima en el proceso de
enseñanza / aprendizaje
Utilidad de los aprendizajes
Tasa de profesores Seguimiento Satisfacción global de los
alumnos
Tasa de tiempo Conformidad del profesor Satisfacción de las empresas
Porcentaje de asistencia del
profesorado
Satisfacción de la sociedad
Fuente: Andrés Fernández, Miguel A.(2005)
Los indicadores utilizados para gestionar la mejora de la calidad educativa en la formación
profesional son un elemento clave de la gestión de la misma, que delimitan la entrada de
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
137 | P á g i n a
información para la toma de decisiones. Así pues, en gran medida la calidad de las
decisiones depende de que los indicadores realicen bien su función.
Por ello, los indicadores han de medir todas las variables relevantes del proceso de
enseñanza/aprendizaje con objeto de obtener información diferencial que permita tomar
decisiones, y al mismo tiempo, promuevan información que discrimine si los factores
limitantes de la calidad en nuestro sistema son variables internas del Centro y, por tanto,
susceptibles de acciones directas por parte de los gestores del Centro, o si son variables
externas, no dependientes de las posibilidades de gestión del mismo y, por tanto, requieren
acciones en ámbitos diferentes al del Centro.
El análisis que se realizó sobre la calidad de algunos factores relevantes en esta
investigación, tanto para la concepción de calidad como para la satisfacción de los alumnos
y de los profesores, no utilizó una escala de calibración que permitiera establecer si los
valores obtenidos eran buenos, malos, mejorables o inmejorables. Por lo tanto, para una
toma de decisiones adecuada en este tipo de indicadores, se necesitaría establecer dicha
escala de calibración mediante la existencia de un sistema de intercomparación entre
Centros de características similares en las variables externas.
El uso de indicadores globales, dependientes en buena medida de factores externos a la
gestión del centro, requiere que se realicen tareas de ajuste que delimiten la información
del indicador a los factores internos. Si pretendemos que la valoración de los resultados de
dicho indicador sea aplicable a la gestión interna del Centro, se han de evitar estrategias de
fuga de responsabilidades al atribuir siempre a los factores externos los malos resultados y
a los factores internos los buenos resultados.
En este sentido se pueden destacar algunos indicadores que se clasificaron en:
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
138 | P á g i n a
a) Indicadores de entrada
b) Indicadores de salida o rendimiento.
A continuación se detallan la definición de cada uno de los indicadores:
INDICADORES DE ENTRADA:
Porcentaje de asistencia del alumno/a: número de horas asistidas respecto al
número total de horas del curso. Se contabiliza el número de alumnos que no han
faltado a más del 20% de horas lectivas, dividiéndolo entre número total de
alumnos y multiplicándolo por 100.
Los valores de este indicador oscilan entre 0 y 100.
Esfuerzo y capacidad necesaria del alumno/a: Es un indicador cualitativo que se
valorará con un SÍ o un NO en la lista de alumnos conformes. Es un indicador de la
calidad de la educación en los niveles educativos previos al nivel en el que el
alumno/a se encuentra. Podría ser usado para verificar la exactitud o validez del
sistema de gestión de calidad de los cursos ya realizados. Este indicador se
obtendría a partir de los informes del profesorado realizados en las sesiones de
seguimiento previo a la evaluación final del alumno/a. Este indicador se utiliza
para definir la conformidad del alumno/a junto con el porcentaje de asistencia.
Porcentaje conformidad de alumnos de un curso: número de alumnos con
porcentaje de asistencia de al menos 80% de horas lectivas, evaluados
positivamente en esfuerzo y capacidad respecto al número de alumnos del curso.
Tasa de conformidad del número de alumnos: número de alumnos matriculados
respecto al número máximo de alumnos estipulado en las especificaciones de cada
curso de la oferta educativa.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
139 | P á g i n a
Tasa de conformidad de recursos: recursos existentes respecto a los recursos
necesarios .
Tasa de profesores: profesores disponibles respecto a profesores necesarios.
Tasa de tiempo: número de horas disponibles respecto a número de horas
necesarias para impartir los mínimos de los Diseños Curriculares Bases (DCBs).
Aunque en esta investigación concreta, el tema de los discentes se recoge de una manera
puntual, en la actualidad existen instrumentos para valorar el sistema de evaluación del
desempeño profesional docente, como el publicado por el Ministerio de Sanidad Chile.
(2015).
INDICADORES DE SALIDA O RENDIMIENTO:
Porcentaje de aprobados: nº de alumnos con calificación igual o superior a 5 en
porcentaje respecto a. número de alumnos matriculados.
Tasa neta de alumnos aprobados: número de alumnos/as aprobados respecto a
número de alumnos calificados positivamente en esfuerzo y capacidad y que han
asistido al 80% de las horas lectivas.
Porcentaje contenidos: contenidos impartidos respecto a total contenidos
programados multiplicado por 100.
Tasa de contenidos: Totalidad de contenidos a impartir, expresado en porcentaje y
multiplicado por tasa de profesores, tasa de recursos y tasa de tiempo.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
140 | P á g i n a
Utilidad de contenidos: suma de la puntuación promedio de los alumnos en la
encuesta de FCT (Formación del Ciclo Formativo) más la puntuación promedio de
encuesta a los tutores de empresa.
Satisfacción del alumno: Se calcula con los resultados directos de la encuesta de
alumnos al final del ciclo formativo.
Satisfacción de la empresa: Se calcula con los resultados directos de la encuesta
del tutor de empresa al final de la FCT (Formación del Ciclo Formativo).
Satisfacción de la sociedad: Se obtiene con los datos directos sobre el grado de
cumplimiento de las prescripciones de los DCBs en las programaciones del Centro,
registradas en la hoja de registro global de seguimiento de las programaciones.
Ejemplo nº 3: Proyecto PRODELE 60/05. Universidad de Nebrija.
Este proyecto se llevó a cabo en 2006 (Javier Aguado-Orea y David García Ramos). Se
trata de un programa de intervención social que cuenta con financiación estatal y que se
elaboró siguiendo las recomendaciones de la UNESCO.
Su objetivo principal fue el de generar un prototipo pedagógico válido para la formación de
personas mayores como profesores de español a inmigrantes, intentando mejorar tanto la
calidad de vida como la inserción social de mayores así como de inmigrantes.
Para la evaluación de este programa no se pudo disponer más que de datos a corto plazo,
no pudiendo evaluar la relación coste-beneficio. Metodológicamente, se utilizó el diario de
campo, entrevistas y cuestionarios. Por lo que, esta investigación se basa en resultados
cuantitativos y etnográficos.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
141 | P á g i n a
Ejemplo nº 4: Metodología para la evaluación de la eficacia y la eficiencia en la
capacitación del recurso humano (Robles Obando 2008)
En este artículo se valoraron lo efectivas y eficientes que podían ser determinadas
actividades de formación, en un estudio en cuatro empresas. El estudio se llevó a cabo en
Costa Rica. Los indicadores de eficacia que se plantearon fueron:
a) Capacitaciones en el tema de servicio al cliente: número de quejas, reclamaciones
o demandas, tiempo de resolución de reclamaciones, retención de clientes, pérdida
de clientes.
b) En aspectos propios del trabajo: reducción en el tiempo de proceso (duración del
trabajo), disminución de errores, aumento de la producción.
c) En términos de calidad: número de rechazos, número de devoluciones, aumento
de la producción, aumento de ingresos y aumento de la productividad, entre otros.
d) En temas de gestión laboral: reducción del absentismo, satisfacción laboral,
número de conflictos, número de sugerencias.
e) En temas de innovación o desarrollo de productos: número de productos nuevos
o patentes, número de nuevos modelos o número de cambios en el diseño, entre
otros.
f) En temas de comercialización de productos: clientes nuevos, volumen de las
ventas.
El indicador de eficiencia se utilizado fue:
(3)
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
142 | P á g i n a
El coste se calculó teniendo en cuenta las horas por curso, la inversión en materiales y el
pago de instructores. En el caso de empresas sin objetivos de la actividad claros, ni medios
para lograrlos, no se pudieron calcular los beneficios. En el resto, la implementación de la
metodología generó información relevante en cuanto a la eficiencia y eficacia.
Ejemplo nº 5: Evaluación e implantación de un modelo de evaluación de acciones
formativas (Jiménez y Barchino, 2011)
En este artículo se realiza una revisión del modelo de Kirpatrick, sugiriendo la necesidad
de establecer un quinto nivel, que es el ROI, consistente en valorar la inversión de costes
en relación a la obtención de beneficios. Se enfatiza lo costoso de evaluar los beneficios en
el terreno de la formación, en detrimento de los costes.
El artículo está enfocado a la implantación de un modelo de evaluación que tenga en
cuenta el ROI en un entorno de enseñanza a distancia con plataforma de aprendizaje
virtual. En este sentido, en sistemas de formación e-learning se plantean algunos posibles
costes en formación, tales como:
Costes relativos a la realización de la formación.
Costes de preparación de las clases y del material.
Costes de elementos físicos para realizar la formación.
Costes de viaje.
Costes de oportunidad.
Se describen algunas propuestas para medir costes en sistemas basados en e-learning,
como por ejemplo, el americano National Center of Higher Education Management
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
143 | P á g i n a
Systems, que en colaboración con el Western Cooperative for Educational
Telecommunications, ha desarrollado dentro del Technology Costing Methodology Project
una herramienta de ayuda a la determinación de los costes.
También, la iniciativa inglesa, Cost of Networked Learning, subvencionada por el Join
Information System Committee, así como el departamento australiano evalúan costes de
actividades a distancia.
Ejemplo nº 6: Guía para la evaluación de impacto de la formación (OIT, 2011).
Esta guía publicada en 2011 por la OIT (Organización Internacional del Trabajo) en la que
participaron 18 países, entre los que se encuentra España aporta las premisas básicas sobre
los conceptos de impacto, los indicadores de eficacia y efectividad de la formación en
general. En ella, aparece un ejemplo concreto, en el que se analiza el impacto de un
programa en el ámbito de formación profesional en el acceso al empleo en trabajos
relacionados con la soldadura y el impacto que éste ha tenido durante 4 años, lo cual se
traduce en la tasa de empleo conseguida durante ese periodo de tiempo. En la
investigación, se concluye que el impacto durante esos 4 años fue diferente, siendo nulo en
el cuarto año.
Se observó cómo la tasa de empleo fue decreciendo en el tiempo, y a raíz de ello se
cuestionaron los objetivos planteados, las competencias adquiridas, así como otros factores
tales como el agotamiento del sector en cuanto a generar nuevos puestos de trabajo.
Los indicadores utilizados fueron:
Relación beneficio-costo= 100costeslosdepresenteValor
beneficioslosdepresenteValor x (4)
ROI= 100óncapacitaciladecosteslosdeValor
óncapacitaciladebeneficioslosdeValor x (5)
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
144 | P á g i n a
Relación beneficio-efectividad= 100costeslosdepresenteValor
Impacto x (6)
Relación costo-efectividad= 100Impactos
costeslosdepresenteValor x (7)
Tabla 34. Resultados impacto de formación en ocupaciones relacionadas con la soldadura en el acceso a empleo.
Años de ejecución de la acción
Tasa de acceso al empleo en ocupaciones relacionadas con la
soldadura
Impacto Grupo de
participantes Grupo de control
1
75
60
15
2
80
55
25
3 85 65
20 4 70 70
0
Tasa media empleo
77,5
62,5
15
Meta propuesta
90
90
Eficacia
86,1
69,4
16,7
Fuente: Guía para la evaluación de impacto de la formación. OIT.2011.
Ejemplo nº 7: Revisión sobre la efectividad de la formación continuada en los servicios de
salud (Bluestone y Johnson 2013)
Esta revisión fue llevada a cabo en 2013 por Julia Bluestone y Peter Johnson, sobre
distintas estrategias metodológicas en el ámbito sanitario.
La metodología consistió en una revisión de los datos incluidos en bases de datos como
PubMed, entre otras, entre mayo y junio de 2011, en la que se revisaron 244 artículos, de
los que, finalmente, se analizaron 37. El foco de atención se centra en la metodología
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
145 | P á g i n a
utilizada, concluyendo que el aprendizaje basado en casos, las simulaciones clínicas, las
prácticas clínicas y el feedback son las metodologías más efectivas. Las técnicas didácticas
que se basan en una instrucción pasiva, tales como la lectura no tienen impacto en los
“outcomes” del aprendizaje.
El autoaprendizaje también se puede considerar una estrategia eficaz, ya que permite
seleccionar su aprendizaje a sus necesidades específicas.
Existe evidencia limitada en cuanto a la formación en trabajo basado en equipos, muy
importante para trabajar la colaboración y cooperación.
Las conclusiones que aparecen refuerzan la importancia del aprendizaje contextualizado, y
la formación relacionada con las competencias en el puesto de trabajo.
La formación continuada es una inversión significativa en el desarrollo y el
mantenimiento de las competencias esenciales para la salud pública óptima en todos los
entornos de servicios globales. Lamentablemente, a pesar de las grandes inversiones, no
existen pruebas certeras acerca de la efectividad de las técnicas de aplicación común entre
los países, independientemente del nivel de recursos.
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
146 | P á g i n a
Ejemplo nº 8: Eficiencia, eficacia y efectividad en la calidad empresarial (Pérez Quintero,
2013).
Se trata de un estudio descriptivo de las principales características de lo que en el artículo
se denominan las 3E: eficiencia, eficacia y efectividad. Se analiza la estrecha relación que
existe entre ellas.
La eficiencia se asocia a la capacidad para lograr que la productividad sea favorable, es
decir, lograr el máximo resultado con una cantidad mínima de recursos.
La eficiencia es medible ya sea a través de un indicador o un conjunto de ellos. Constituye
una de las bases para lograr la competitividad.
La eficacia alude al grado en que el producto o servicio satisface las necesidades reales y
potenciales o expectativas de los clientes o destinatarios.
Por último, la efectividad, hace referencia al grado de cumplimiento de los objetivos
planificados, es decir, los resultados obtenidos entre las metas fijadas y las alcanzadas.
En la definición de administración está implícito el concepto productividad como una de
las metas principales a lograr, que implica eficiencia (productividad favorable), eficacia
(grado en que el producto o servicio satisface las necesidades reales/ futuras), y efectividad
(grado de cumplimiento de los objetivos planificados).
La productividad, considera la calidad para el buen desempeño individual y
organizacional.
El concepto de calidad además de estar considerado en la fórmula de la productividad, se
refleja de manera explícita en los elementos que se encuentran implícitos en la misma:
eficiencia, eficacia y efectividad
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
147 | P á g i n a
En síntesis, la perspectiva que nos ofrece este artículo está basada en la importancia de la
calidad.
Ejemplo nº 9: Experiencia en la unidad administrativa de Personería de Manizales.
Caldas, Colombia. (Última actualización página web 12 de marzo de 2015).
La denominada Personería Municipal es un órgano dentro del ámbito jurídico, que se
encarga de asegurar el cumplimiento y desempeño de programas de seguridad alimentaria,
atención en salud y seguridad ciudadana en Colombia, entre otros.
Para ello, han diseñado indicadores que miden la eficacia, la eficiencia y la efectividad.
a) Eficacia: Grado en que se logran los objetivos y metas de un plan.
(8)
b) Eficiencia: Es el logro de un objetivo con el menor coste.
(9)
c) Efectividad: Este concepto involucra la eficiencia y la eficacia, es decir, el logro de
los resultados programados en el tiempo y con los costos más razonables posibles.
(10)
Capítulo II. Revisión Teórica Modelos de Evaluación del Impacto en Formación
148 | P á g i n a
Conclusión de las investigaciones consultadas:
Tras la revisión de experiencias concretas sobre impacto de la formación y formulación de
indicadores de eficiencia, pueden extraerse las siguientes conclusiones:
a) El tema de impacto, sobre todo, se utiliza en el ámbito de empresa, considerando
sobre todo resultados u “outputs” tangibles, asociados en su gran mayoría a temas
económicos. En este sector, el ROI es fácil de calcular si se tienen claros cuáles son
los costes y se establecen medidas objetivas para calcular los beneficios.
b) No existe un consenso en cuanto al uso de los términos eficacia, eficiencia y
efectividad, en función del ámbito consultado (empresa, educación, sanidad).
c) En cuanto a formación, aún falta lo que podría denominarse “la cultura de
evaluación del impacto”. Si atendemos a la clasificación de niveles de evaluación
que hace Kirkpatrik la mayoría de los planes de formación se limitan a evaluar
satisfacción y aprendizaje, pero el impacto, en términos no meramente económicos,
sino de ganancia de capital humano, es evaluado de manera ínfima.
No existen muchas investigaciones en cuanto al ámbito de Educación Infantil y Primaria,
aunque existen guías de indicadores homologados, como por ejemplo, la publicada por la
Agencia Andaluza de Evaluación Educativa (2014).
Capítulo III. Revisión Teórica: Marco Legal
149 | P á g i n a
3. CAPÍTULO III. REVISIÓN TEÓRICA: MARCO LEGAL
3.1 Contextualización de la formación continuada de las profesiones
sanitarias.
El objeto de estudio de esta tesis se centra en la propuesta de un indicador de eficiencia
dentro del contexto de la formación continuada de las profesiones sanitarias de la Región
de Murcia, que pueda tener aplicación en cualquier contexto educativo.
Por ello parece adecuado analizar, en primer lugar a qué tipo de formación nos referimos y
cuál es la normativa que la regula.
La formación continuada de las profesiones sanitarias hace referencia a una etapa de
reciclaje y actualización del profesional que tiene lugar tras el alcance de la
especialización. Por ejemplo, un licenciado en Medicina que acaba la residencia
favorablemente y por lo tanto obtenga el título de especialista, sería un destinatario de la
formación continuada.
Existe una diferencia en relación a la formación continua, ya que la formación continuada
está regulada legalmente y la formación continua alude más a la filosofía de la formación
como un proceso de formación dinámico que siempre ha de estar activo y que afecta a
cualquier tipo de profesional. La regulación de la formación continuada en la Región de
Murcia, actualmente afecta sólo a las profesiones sanitarias, pero existen Comunidades con
regulación también de la formación continuada de profesiones no sanitarias, como por
ejemplo, Castilla y León.
En la Resolución de 30 de julio de 1999, de la Subsecretaría, por la que se dispone la
publicación del Acuerdo adoptado por la Comisión de Formación Continuada del Sistema
Capítulo III. Revisión Teórica: Marco Legal
150 | P á g i n a
Nacional de Salud, en relación con el Sistema Acreditador de Actividades de Formación
Continuada, publicada en el BOE núm. 204 de 26 de agosto de 1999, el concepto de
formación continuada se define como “el conjunto de actividades formativas destinadas a
mantener o mejorar la competencia profesional, una vez obtenida la titulación básica o de
especialidad correspondiente”.
Capítulo III. Revisión Teórica: Marco Legal
151 | P á g i n a
3.2 Regulación de la formación continuada de las profesiones sanitarias a
nivel europeo.
Decisión 90/267/CEE del Consejo, de 29 de mayo de 1990, por la que se crea un
programa de acción para el desarrollo de la formación profesional continuada en la
Comunidad Europea (FORCE).
Este tipo de directivas posibilita la puesta en marcha de programas como el “Da Vinci”,
llevado a cabo entre el 1 de enero de 1995 y el 31 de diciembre de 1999.
La directiva 90/267 alude específicamente a la formación profesional continuada, y su
finalidad es crear programas con objetivos comunes cuya finalidad es la de apoyar y
completar las iniciativas de todos los estados miembros. Se especifican, además, algunos
objetivos básicos, tales como el referido a la mejora de la calidad y capacidad de
innovación de los sistemas y dispositivos, la promoción de la formación a lo largo de toda
la vida con vistas a favorecer una adaptación permanente de las competencias para
responder a las necesidades profesionales y de la empresa, con el propósito de intentar
reducir el desempleo y conseguir una mayor realización profesional y personal.
Capítulo III. Revisión Teórica: Marco Legal
152 | P á g i n a
3.3 Regulación de la formación continuada de las profesiones sanitarias a
nivel nacional.
Resolución de 30 de julio de 1999, de la Subsecretaría, por la que se dispone la
publicación del Acuerdo adoptado por la Comisión de Formación Continuada del Sistema
Nacional de Salud, en relación con el Sistema Acreditador de Actividades de Formación
Continuada, publicada en el BOE núm.204 de 26 de agosto de 1999.
En esta Resolución se sientan las bases acerca de las funciones y procedimientos a seguir
por parte del Sistema Acreditador a nivel nacional. Se especifica también el contexto en el
que se crea dicho Sistema Acreditador. En este sentido, textualmente se recoge que “el
Sistema Acreditador de Actividades de Formación Continuada se crea en virtud del
Convenio de Conferencia Sectorial de 15 de diciembre de 1997, y se constituye a través de
la Comisión de Formación Continuada del Sistema Nacional de Salud, como Comisión
Permanente del Consejo Interterritorial, en la que participan las Consejerías de Sanidad y
Salud de las Comunidades Autónomas y los Ministerios de Sanidad y Consumo y
Educación y Cultura; asimismo, se han incorporado los representantes del mundo
científico-profesional”.
Tal y como se recogía al principio del apartado de la contextualización, en esta Resolución
la formación continuada se define como “el conjunto de actividades formativas destinadas
a mantener o mejorar la competencia profesional, una vez obtenida la titulación básica o
de especialidad correspondiente”.
Se destacan 2 tipos de acreditación:
a) Acreditación de acciones formativas.
Capítulo III. Revisión Teórica: Marco Legal
153 | P á g i n a
b) Reconocimiento de acreditación de instituciones de formación continuada, es
decir, acreditación de Centros.
En relación a la acreditación de actividades de formación continuada se establecen los
requisitos fundamentales, que abarcan criterios referidos al procedimiento administrativo
así como los relativos al modelo de solicitud de carácter cuantitativo como cualitativo. El
aspecto cuantitativo está referido a la duración de la actividad. En este sentido, se ha de
destacar que no pueden acreditarse acciones formativas con más de 100 horas de duración.
Respecto al aspecto cualitativo, éste hace referencia a la calidad de la actividad, que se
puntúa utilizando un factor de extensión y las puntuaciones asignadas por un grupo de
evaluadores como máximo de 5. Se basa en una valoración ponderada del perfil
pedagógico de la actividad y contempla: objetivos de la actividad, organización y logística,
pertinencia de la actividad, metodología docente y evaluación
El sistema de acreditación contempla la descentralización funcional, consistente en el
reconocimiento formal de una institución pública o privada para acreditar actividades
formativas, en nombre de la Comisión de Formación Continuada del Sistema Nacional de
Salud o Autonómica.
La institución, con reconocimiento de entidad acreditadora, deberá reunir los siguientes
requisitos básicos:
1. Disponer de historial reconocido en el campo de formación continuada.
2. Disponer de un sistema externo de acreditación, adecuado y suficiente que
responda a las directrices formuladas por la Comisión de Formación Continuada
y, en todo caso, existirá separación entre provisión de formación continuada y
Capítulo III. Revisión Teórica: Marco Legal
154 | P á g i n a
acreditación de actividades de formación continuada para conseguir la necesaria
independencia y objetividad de la valoración.
3. Disponer de medios materiales y humanos adecuados.
Resolución de 22 de diciembre de 1997, de la Subsecretaría, por la que se da publicidad
al Convenio de Conferencia Sectorial del Consejo Interterritorial del Sistema Nacional de
Salud
En esta resolución son especialmente relevantes la disposición primera y cuarta. En
relación a la disposición primera aparece la creación de la Comisión de Formación
Continuada del Sistema Nacional de Salud (SNS) con la finalidad de coordinar las
Consejerías de Sanidad y Salud de las Comunidades Autónomas, así como de los
Ministerios de Sanidad y Consumo y Educación y Cultura en materia de formación
continuada de las profesiones sanitarias.
En la disposición cuarta se detallan las funciones de los órganos de las Comunidades
Autónomas en materia de formación continuada de las profesiones sanitarias, entre las que
se encuentran:
1. Organizar y gestionar la acreditación de centros, actividades y profesionales, así
como de los sistemas de información y registro.
2. Llevar a cabo la evaluación del sistema de formación sanitaria continuada, la
inspección y auditoría de centros y actividades acreditados, así como la
realización de estudios estadísticos, cuyos resultados serán presentados de forma
periódica a la Comisión de Formación Continuada del Sistema Nacional de
Salud.
Capítulo III. Revisión Teórica: Marco Legal
155 | P á g i n a
3. Difundir a través de los medios que se estimen adecuados para el conocimiento
de las entidades, particulares y profesionales interesados, los criterios aprobados
y las formas y órganos administrativos ante los que se podrá solicitar la
acreditación.
Se ha de destacar, que en el indicador que se propone en esta tesis, toda la información de
las actividades de formación continuada ha sido supervisada por el órgano acreditador de
la Comunidad Autónoma de la Región de Murcia.
Ley 44/2003 de 21 de noviembre de ordenación de las profesiones sanitarias.
Esta Ley es importante porque en ella se establece una categorización de lo que se entiende
por profesiones sanitarias, ya que algunas profesiones que pueden encontrarse dentro del
contexto sanitario, como por ejemplo, la de celador, no entran dentro de la categoría de
profesiones sanitarias. En este sentido se establecen varios grupos que se detallan a
continuación.
a) De nivel Licenciado en:
- Medicina
- Farmacia
- Odontología
- Veterinaria
- Títulos oficiales de especialista en Ciencias de la Salud para Licenciados a
que se refiere el título II que aparece en la ley 44/2003
b) De nivel Diplomado en:
- Enfermería
Capítulo III. Revisión Teórica: Marco Legal
156 | P á g i n a
- Fisioterapia
- Terapia Ocupacional
- Podología
- Óptica y Optometría
- Logopedia
- Nutrición Humana y Dietética
c) Profesionales del área sanitaria de formación profesional, de conformidad con el
artículo 35.1 de la Constitución, considerando profesionales del área sanitaria de
formación a aquellos que ostentan los títulos de formación profesional de la familia
profesional sanidad, o los títulos o certificados equivalentes a los mismos. Los
profesionales del área sanitaria de formación profesional se estructuran en los
siguientes grupos:
- De grado superior: quienes ostentan los títulos de Técnico Superior en
Anatomía Patológica y Citología, Dietética, Documentación Sanitaria,
Higiene Bucodental, Imagen para el Diagnóstico, Laboratorio de
Diagnóstico Clínico, Ortoprotésico, Prótesis Dentales, Radioterapia, Salud
Ambiental y Audioprótesis.
- De grado medio: quienes ostentan los títulos de Técnico en Cuidados
Auxiliares de Enfermería y en Farmacia.
Se ha mantenido la nomenclatura que aparece en Real Decreto en cuanto a licenciado o
diplomado, sin ser adaptada a la que surge tras el Plan Bolonia.
Capítulo III. Revisión Teórica: Marco Legal
157 | P á g i n a
Real Decreto 1142/2007, de 31 de agosto, por el que se determina la composición y
funciones de la Comisión de Formación Continuada de las Profesiones Sanitarias y se
regula el sistema de acreditación de la formación continuada, publicado en el BOE de 14
de septiembre de 2007.
Este Real Decreto versa en torno a 2 temas:
1) Composición y funciones de la Comisión de Formación Continuada de las
Profesiones Sanitarias prevista en el artículo 34 de la Ley 44/2003, de 21 de
noviembre, de ordenación de las profesiones sanitarias.
2) La manera en la que se regula el sistema de acreditación de la formación continuada
de las profesiones sanitarias.
Entre los artículos a destacar se ha de resaltar el artículo 8, ya que en él se determina la
forma en la que se articula el proceso de acreditación de formación continuada. A
continuación, se citan los principales puntos que se recogen en cuanto a acreditación de la
formación continuada:
1) Corresponde al Ministerio de Sanidad y Consumo y a las Comunidades
Autónomas, en el ámbito de sus respectivas competencias, acreditar actividades y
programas de actuación en materia de formación continuada de los profesionales
sanitarios, así como, con carácter global, los Centros en los que las mismas se
impartan.
2) La acreditación, que deberá realizarse necesariamente de acuerdo con los requisitos,
procedimiento y criterios establecidos por la Comisión de Formación Continuada,
tendrá efectos en todo el territorio nacional, sea cual sea la Administración pública
que expidió la acreditación.
Capítulo III. Revisión Teórica: Marco Legal
158 | P á g i n a
3) Los criterios que apruebe dicha Comisión deberán sujetarse a los principios de
necesidad, objetividad, no discriminación y proporcionalidad.
4) El Ministerio de Sanidad y Consumo y los órganos competentes de las
Comunidades Autónomas podrán delegar las funciones de gestión y acreditación de
la formación continuada, incluyendo la expedición de certificaciones individuales,
en otras corporaciones o instituciones de derecho público, de conformidad con lo
que dispone la Ley 44/2003, de 21 de noviembre, de ordenación de las profesiones
sanitarias y las normas en cada caso aplicables. En todo caso, los organismos de
acreditación de la formación continuada habrán de ser independientes de los
organismos encargados de la provisión de las actividades de formación continuada
acreditadas por aquellos.
Capítulo III. Revisión Teórica: Marco Legal
159 | P á g i n a
3.4 Regulación de la formación continuada de las profesiones sanitarias a
nivel regional
Decreto nº 223/2006, de 27 de octubre, por el que se dictan normas para la aplicación del
sistema de acreditación de formación continuada de las profesiones sanitarias, publicado
en el BORM 257, publicado el 7 de noviembre de 2006.
Este Decreto aborda expresamente la regulación de la formación continuada a nivel de
Comunidad Autónoma. Puesto que la acreditación ya es materia transferida, este Decreto
es el documento base donde se sustentan todas las actuaciones que tienen que ver con el
tema de acreditación.
Aunque en el Decreto se alude a la Dirección General de Calidad Asistencial, Formación e
Investigación Sanitaria, actualmente el nombre ha cambiado (octubre 2015), y es la
Dirección General de Planificación, Investigación, Farmacia y Atención al Ciudadano la
que se encarga de asegurar el cumplimiento de las funciones por parte del órgano
acreditador de la Región de Murcia.
Entre las funciones a desarrollar se encuentran:
1) La acreditación de actividades concretas de formación sanitaria continuada, a
solicitud de las personas o entidades organizadoras de las mismas, con validez en el
conjunto del Sistema Nacional de Salud, de acuerdo con el artículo 35.1 de la Ley
44/2003, de 21 de noviembre, de Ordenación de las Profesiones Sanitarias.
2) La acreditación de Centros o Unidades Docentes, a solicitud de la entidad titular de
las mismas, para desarrollar actividades de formación sanitaria continuada, con
validez en el conjunto del Sistema Nacional de Salud, de acuerdo con el artículo
35.1 de la Ley 44/2003, de 21 de noviembre, de Ordenación de las Profesiones
Sanitarias.
Capítulo III. Revisión Teórica: Marco Legal
160 | P á g i n a
3) La realización de las evaluaciones, controles y actuaciones que se estimen
oportunas en materia de formación continuada.
4) La difusión, a través de los medios que se estimen adecuados para conocimiento de
las entidades, particulares y profesionales interesados, de los criterios aprobados y
de las formas y órganos administrativos ante los que se podrá solicitar la
acreditación.
Además, la acreditación de la formación continuada de las profesiones sanitarias aparece
dentro de la guía de procedimientos, concretamente con el código 5884, encuadrada dentro
de las actividades sanitarias. Toda la información en relación al procedimiento de
acreditación aparece en la página web de los procedimientos del área de salud2.
2 http://www.carm.es/web/pagina?IDCONTENIDO=5884&IDTIPO=240&ESTILO=servicios&ESTILO_CANAL=servicios&NOMBRECANAL=Salud&IDIMAGEN=672&RASTRO=c163$m2381
Capítulo III. Revisión Teórica: Marco Legal
161 | P á g i n a
3.5 Beneficios de la formación continuada en la Comunidad Autónoma de
la Región de Murcia.
La realización y superación de las acciones formativas además de incrementar el nivel de
conocimiento y la mejora en la calidad de los servicios prestados representa un mérito
académico, contemplado en el baremo de todas y cada una de las categorías profesionales,
tal y como aparece en la Orden de 10 de abril de 2014, de la Consejería de Sanidad y
Política Social por la que se modifica la Orden de 12 de noviembre de 2002, de la
Consejería de Sanidad y Consumo por la que se regula la selección del personal
estatutario temporal del Servicio Murciano de Salud, publicada en el BORM el martes 29
de abril de 2014, según baremo unificado con aplicación en la convocatoria de 2014 y
sucesivas.
En este sentido, dependiendo de la categoría concreta de la que se trate, el máximo de
puntuación que se puede obtener puede variar, ya que por ejemplo, los facultativos
especialistas de un máximo de 70 puntos en el apartado de méritos académicos pueden
obtener:
a) Un máximo de 10 puntos “por la realización de cursos impartidos u organizados
por organismos dependientes de las Administraciones que integran el Sistema
Nacional de Salud o por la Universidad. Por cada 100 horas lectivas o fracción
restante 0,50 puntos”
b) Un máximo de 5 puntos “por cada ponencia o comunicación sobre materias
relativas a la especialidad correspondiente, presentada a Congresos, Jornadas o
Reuniones Científicas, convocadas por entidades oficiales nacionales o
extranjeras” (primer firmante 0,10, resto de firmantes 0,05)
Capítulo III. Revisión Teórica: Marco Legal
162 | P á g i n a
En el caso de los diplomados en enfermería/ayudante técnico sanitario pueden obtenerse de
un máximo de 95 puntos en méritos académicos:
a) 30 puntos por la “realización de cursos que guarden relación con las funciones de
la opción correspondiente y que reúnan alguno de los siguientes requisitos:
- Que hayan sido impartidos por la Administración Pública u organismos
dependientes de la misma.
- Que los hayan sido por entidades distintas a las anteriores, siempre que haya
existido participación de la Administración Pública o de los organismos
dependientes de la misma a través de cualquier tipo de colaboración.
- Que hayan sido impartidos por Sociedades Científicas.
- Que hayan sido declarados de interés científico o sanitario por cualquier
Administración Pública.
- Los cursos serán valorados a razón de 0,043 puntos por hora.
b) Por presentación de ponencias (hasta un máximo de 6 puntos):
b1) como primer firmante 0,15 puntos
b2) a partir del segundo firmante 0,075 puntos
En el caso de técnicos especialistas, como por ejemplo, técnicos especialistas en Anatomía
Patológica de un máximo de 50 puntos en méritos académicos, pueden obtenerse:
a) 30 puntos por la “realización de cursos que guarden relación con las funciones de
la opción correspondiente y que reúnan alguno de los siguientes requisitos:
- Que hayan sido impartidos por la Administración Pública u organismos
dependientes de la misma.
Capítulo III. Revisión Teórica: Marco Legal
163 | P á g i n a
- Que los hayan sido por entidades distintas a las anteriores, siempre que haya
existido participación de la Administración Pública o de los organismos
dependientes de la misma a través de cualquier tipo de colaboración.
- Que hayan sido impartidos por Sociedades Científicas.
- Que hayan sido declarados de interés científico o sanitario por cualquier
Administración Pública.
- Los cursos serán valorados a razón de 0,060 puntos por hora.
b) Por presentación de ponencias, pueden obtenerse hasta un máximo de 6 puntos :
b1) como primer firmante 0,15 puntos
b2) a partir del segundo firmante 0,075 puntos
Como broche final de esta sección, se muestra, a continuación, en las tablas nº 35 y nº 36
el gasto total en formación continuada en la Región de Murcia, en porcentaje del gasto
total en sanidad y del PIB de la Región de Murcia (a precios de mercado).
Tabla 35. Relación entre gasto formación y gasto en sanidad en la Región de Murcia 2009-2014 GASTO TOTAL
FORMACIÓN (€)
GASTO TOTAL SANIDAD
(€)
GASTO TOTAL FORMACIÓN /GASTO TOTAL SANIDAD
(%)
2009 528.820 2.263.235.799 0,023
2010 567.590 2.242.781.664 0,025
2011 525.663 2.268.330.696 0,023
2012 276.552 2.112.167.575 0,013
2013 285.616 2.087.436.034 0,014
2014 266.113 - -
TOTAL 2.450.354 10.973.951.768 0,022 Fuente: Elaboración propia a partir de Estadísticas del Gasto Sanitario Público (Ministerio de Sanidad, Política Social e Igualdad)
Capítulo III. Revisión Teórica: Marco Legal
164 | P á g i n a
Tabla 36. Relación del gasto formación y el gasto en sanidad respecto al Producto Interior Bruto en la Región de Murcia 2009-2014 PIB
(€)
GASTO TOTAL FORMACIÓN /PIB
(%)
GASTO SANIDAD / PIB
(%)
2009 27.797.007.000 0,002 8,142
2010 27.984.477.000 0,002 8,014
2011 27.417.994.000 0,002 8,273
2012 26.994.938.000 0,001 7,824
2013 26.875.168.000 0,001 7,767
2014 27.122.416.000 0,001
TOTAL 193.329.167.000 0,001 5,676 Fuente: Elaboración propia a partir de Estadísticas del Gasto Sanitario Público (Ministerio de Sanidad, Política Social e Igualdad)
En relación al gasto de formación, si se compara con el gasto total en sanidad, se puede
apreciar un descenso del 0,23% en 2009 al 0,14% en 2013, siendo 2012 el año en el que
mayor bajada ha existido. Estos datos indican que con el paso de los años desde 2008 se ha
reducido la inversión en formación.
Cabría reflexionar sobre este particular aspecto y preguntarnos cuál es el motivo. El gasto
total en Sanidad en relación al PIB, ha descendido (Tabla 36), aunque no lo ha hecho de
una forma tan significativa. Al margen de cuáles sean las causas, es evidente que con
menor presupuesto, el número de destinatarios potenciales no ha descendido, por lo que se
presenta una excelente oportunidad para rentabilizar recursos económicos e implementar
estrategias formativas eficientes. Por lo tanto, este dato, en principio, negativo, tendríamos
que traducirlo en términos de oportunidad de mejora.
Discusión y Conclusiones
165 | P á g i n a
4. CAPÍTULO IV. PARTE EMPÍRICA
4.1 Planteamiento general y objetivos.
Actualmente, la evaluación de la formación continuada sanitaria se lleva a cabo a través de
encuestas de satisfacción y pruebas evaluación de desempeño profesional.
Son muchos los modelos y revisiones que se han realizado en torno al tema de evaluación
del impacto de la inversión en la formación, aunque pocas las organizaciones que la llevan
a cabo. De hecho, en el informe publicado en 2001 por Liliana Rodríguez y Andrés
Mosteiro se afirma que tan sólo el 3% de las organizaciones mundiales evalúan el impacto
de la formación llevada a cabo.
Puesto que la evaluación es el pilar de la formación, es necesario plantearnos la utilización
de indicadores que nos ayuden a tener una visión de la repercusión de la misma.
Es en este contexto, en el que se plantea la propuesta de indicador de eficiencia.
El objetivo general de esta tesis es proponer un indicador de eficiencia fiable de la
formación continuada de las profesiones sanitarias. Para el alcance de este objetivo general
se llevarán a cabo los siguientes objetivos específicos:
Objetivos específicos:
Realizar una revisión de los indicadores fundamentales en el ámbito de la
formación, y en especial de la formación continuada sanitaria.
Elaborar un indicador que integre elementos de índole cuantitativa así como
cualitativos, que más repercuten en el ámbito de la formación continuada sanitaria:
cobertura, coste, aforo, beneficio y calidad, entre otras.
Discusión y Conclusiones
166 | P á g i n a
Aplicar varios tests econométricos para validar el indicador de eficiencia propuesto.
4.2 Método
4.2.1 Participantes
En el proyecto han participado todos los dispositivos que conforman el mapa sanitario de
la Región de Murcia, que se traducen en 9 áreas de salud, Subdirección General de Salud
Mental y Gerencia de Emergencias Urgencias 061. Por motivos de confidencialidad, el
nombre de las áreas no aparece.
Dichas áreas pueden clasificarse en función del número de empleados, pudiendo establecer
3 grupos diferenciados:
1) Grupo 1: áreas “grandes”, las cuales con mayor volumen de empleados:
A,B,F
2) Grupo 2: áreas “medianas”: C y G
3) Grupo 3: áreas “pequeñas”: D,E,H,I,J,K
De estas áreas de salud se han utilizado datos referidos a la ejecución de acciones
formativas desde 2009 hasta 2014 con financiación INAP (Instituto Nacional de
Administración Pública).
También ha participado la Dirección General de Planificación, Ordenación Sanitaria,
Farmacéutica e Investigación, que es desde donde se han extraído los datos, tanto los
referidos a datos de ejecución de formación de las diferentes áreas de salud, como los
referidos a la parte cualitativa, utilizando la base de datos del Sistema Acreditador de la
Región de Murcia que también se encuentra en la Dirección General.
Discusión y Conclusiones
167 | P á g i n a
Los datos utilizados para el cálculo de empleados proceden de la Dirección General de
Recursos Humanos.
4.2.2 Medidas
La información analizada procede de:
-Anexo VII: es un anexo utilizado en la Dirección General para resumir ejecución de
formación continuada INAP, y posteriormente enviar a la Escuela de Administración
Pública, con la finalidad de justificar la financiación concedida.
En este anexo, la información que se pide a las diferentes áreas es la referida al número de
profesionales que se forman y gasto ejecutado. En este documento quedan reflejados todos
los cambios en cuanto a número de participantes y presupuesto.
- Base de datos del Sistema de Información de Acreditación de las Profesiones Sanitarias
de la Región de Murcia. Es en este sistema de información, donde aparece el total de
créditos concedidos de las actividades susceptibles de acreditación, para lo cual se realiza
el cálculo del componente cuantitativo y del cualitativo. El componente cuantitativo viene
determinado por el número de horas de la actividad y la aplicación de un factor de
corrección, mientras que el componente cualitativo se obtiene en base a la puntuación
otorgada por los evaluadores y un factor de corrección. Los ítems evaluados son: objetivos,
organización y logística, pertinencia, metodología y evaluación. Es esta la parte cualitativa
la que se ha utilizado para el estudio.
Discusión y Conclusiones
168 | P á g i n a
4.2.3 Procedimiento
Los datos se han obtenido con la autorización del Coordinador de Desarrollo Profesional
de la Dirección General de Recursos Humanos del Servicio Murciano de Salud.
Los datos referidos al anexo VII se han recogido a principios de año (primeros 15 días de
enero) desde 2010 (datos referidos a 2009) hasta 2015 (datos referidos a 2014), ya que
cuando finaliza el año se suele dar un plazo de 15 días en enero del año siguiente para
enviar los mismos, algo lógico teniendo en cuenta que el año no acaba hasta 31 de
diciembre, y antes es imposible obtener datos reales de ejecución.
Una vez obtenidos los datos en las diferentes áreas aplicando el indicador de eficiencia,
mediante la utilización del programa Stata se han aplicado diferentes modelos (efectos fijos
vs efectos aleatorios) para validar dicho indicador.
4.2.4 Diseño y Análisis de datos
El diseño llevado a cabo se basa, sobre todo, en estudios descriptivos, donde se han
calculado diferentes tasas (cobertura, aforo, coste, beneficio, índice cualitativo).
En primer lugar se calcularon los datos sin estandarizar, para posteriormente
estandarizarlos, con la finalidad de poder establecer comparaciones entre áreas. Se tuvo en
cuenta un doble subíndice, que contemplaba el área y la variable temporal.
Una vez obtenida la tasa estandarizada de cobertura, aforo, coste y beneficio, se calculó el
índice de eficiencia, el cual al combinarlo con el índice cualitativo dio como resultado el
índice de eficiencia ponderado.
Discusión y Conclusiones
169 | P á g i n a
La utilización del programa Stata posibilitó determinar las variables que más influían en el
indicador de eficiencia, y sobre todo la validez del mimo en términos de insesgadez y
consistencia.
4.3 Resultados.
4.3.1 Primera parte: indicador de eficiencia.
El objetivo es la elaboración de un indicador de eficiencia válido, construido a partir de
una serie de variables cuantitativas y cualitativas. Dentro de las variables cuantitativas se
han de destacar:
- Número de acciones formativas
- Número de participantes
- Número de empleados en cada una de las áreas de salud
- Coste, entendido como coste de la hora de formación en euros.
La combinación de estas variables nos permitirá definir cuatro determinantes de la
eficiencia: tasa de cobertura, coste, aforo y beneficio en capital humano. Los nombres de
las áreas han sido codificados por motivos de confidencialidad.
En relación a la variable cualitativa se ha considerado el Indicador Cualitativo de las
acciones formativas durante cada año en cada una de las áreas. Este indicador se obtiene
tras realizar la media de la puntuación de los evaluadores en los apartados: objetivos,
organización y logística, pertinencia, metodología y evaluación, en todas y cada una de las
acciones formativas susceptibles de ser acreditadas. La puntuación oscila de 0.0 a 0.4.
Dicha puntuación se multiplica por un factor de corrección. En el caso de objetivos y
organización y logística el factor de corrección es 1. En el caso de metodología y
evaluación es 1,5 y en el caso de pertinencia es 2.
Discusión y Conclusiones
170 | P á g i n a
El periodo considerado en nuestro estudio, abarca desde 2009 a 2014. Los datos del
componente cualitativo se han extraído de la base de datos con la que cuenta el sistema
acreditador de la Región de Murcia, en la que quedan registradas las acciones formativas
que han sido acreditadas.
En nuestro caso, y siguiendo el modelo de Kirpatrick y Phillips, entendiendo el ROI no
como la traducción en beneficios económicos sino como incremento en la calidad de la
formación y en capital humano, el indicador de eficiencia considera las siguientes
variables:
- Tasa de cobertura, que se traduce en la proporción de empleados que asisten a las
acciones formativas.
- Coste, que se traduce en lo que cuesta la hora en cada una de las acciones
formativas.
- Aforo de los cursos, que implica el cálculo de la asistencia promedio a las acciones
formativas.
- Beneficio del capital humano, en el que “hay que tener en cuenta todas las
capacidades humanas ya sean innatas o adquiridas. Cada persona nace con un
conjunto específico de genes, lo que determina su capacidad innata. Los atributos
adquiridos, los cuales tienen valor y pueden aumentarse a través de una inversión
adecuada, serán considerados capital humano”, siguiendo la filosofía de Theodore
Schultz (1981), Premio Nobel de Economía.
Discusión y Conclusiones
171 | P á g i n a
4.3.1.1 Tasa de cobertura
La tasa de cobertura del área i en el año t se calcula como el cociente entre el número de
participantes en cursos de formación del área i en el año t respecto al total de empleados en
dicha área y año.
(11)
A continuación, en la tabla nº 37 se muestra el cálculo de la tasa de cobertura para 2009, es
decir el alcance de la formación en participantes, en relación al número de empleados.
Tabla 37. Cálculo de la tasa de cobertura para 2009. 2009
Participantes Empleados Tasa Cobertura
A 1.941 5.423 35,80
B 1.644 3.933 41,79
C 1.052 1.664 63,22
D 226 773 29,24
E 307 669 45,89
F 1.841 2.538 72,52
G 991 2.133 46,47
H 644 1.213 53,12
I 525 629 83,42
J 139 505 27,52
K 401 313 128,12 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
Discusión y Conclusiones
172 | P á g i n a
A continuación, en la tabla nº 38 se muestra el cálculo de la tasa de cobertura para 2010, es
decir el alcance de la formación en participantes, en relación al número de empleados.
Tabla 38. Cálculo de la tasa de cobertura para 2010 2010
Participantes Empleados Tasa Cobertura
A 2728 5.423 50,30
B 1566 3.933 39,82
C 1086 1.664 65,26
D 314 773 40,62
E 472 669 70,55
F 1885 2.538 74,27
G 1423 2.133 66,71
H 277 1.213 22,84
I 275 629 43,72
J 484 505 95,84
K 265 313 84,66 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
Discusión y Conclusiones
173 | P á g i n a
A continuación, en la tabla nº 39 se muestra el cálculo de la tasa de cobertura para 2011, es
decir el alcance de la formación en participantes, en relación al número de empleados.
Tabla 39. Cálculo de la tasa de cobertura para 2011 2011
Participantes Empleados Tasa Cobertura
A 2.654 5.423 48,94
B 1.557 3.933 39,59
C 776 1.664 46,63
D 206 773 26,65
E 400 669 59,79
F 1.296 2.538 51,06
G 1.500 2.133 70,32
H 321 1.213 26,46
I 390 629 62,00
J 337 505 66,73
K 253 313 80,83 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
A continuación, en la tabla nº 40 se muestra el cálculo de la tasa de cobertura para 2012, es
decir el alcance de la formación en participantes, en relación al número de empleados.
Discusión y Conclusiones
174 | P á g i n a
Tabla 40. Cálculo de la tasa de cobertura para 2012 2012
Participantes Empleados Tasa Cobertura
A 2.631 5.423 48,52
B 1.159 3.933 29,47
C 942 1.664 56,61
D 106 773 13,71
E 325 669 48,58
F 1.145 2.538 45,11
G 868 2.133 40,69
H 210 1.213 17,31
I 188 629 29,89
J 301 505 59,60
K 134 313 42,81 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
A continuación, en la tabla nº 41 se muestra el cálculo de la tasa de cobertura para 2013, es
decir el alcance de la formación en participantes, en relación al número de empleados.
Tabla 41. Cálculo de la tasa de cobertura para 2013 2013
Participantes Empleados Tasa Cobertura
A 2.441 5.039 48,44
B 1.533 3.540 43,31
C 1.205 1.521 79,22
D 206 727 28,34
E 244 638 38,24
F 1.198 2.407 49,77
G 1.044 1.975 52,86
H 264 1.090 24,22
I 254 581 43,72
J 213 949 22,44
K 501 516 97,09 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
Discusión y Conclusiones
175 | P á g i n a
A continuación, en la tabla nº 42 se muestra el cálculo de la tasa de cobertura para 2014, es
decir el alcance de la formación en participantes, en relación al número de empleados.
Tabla 42. Cálculo de la tasa de cobertura para 2014 2014
Participantes Empleados Tasa Cobertura
A 2.173 4.990 43,55
B 976 3.732 26,15
C 1.181 1.428 82,70
D 323 726 44,49
E 202 668 30,24
F 1.160 2.401 48,31
G 824 1.941 42,45
H 331 825 40,12
I 290 590 49,15
J 446 516 86,43
K 137 978 14,01 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
Discusión y Conclusiones
176 | P á g i n a
A continuación, en la tabla nº 43 se muestra el cálculo de la tasa de cobertura total sin
estandarizar desde 2009 hasta 2014.
Tabla 43. Cálculo de la tasa de cobertura sin estandarizar 2009-2014. Tasa Cobertura
2009 2010 2011 2012 2013 2014
A 35,80 50,30 48,94 48,52 48,44 100,15
B 41,79 39,82 39,59 29,47 43,31 68,05
C 63,22 65,26 46,63 56,61 79,22 71,46
D 29,24 40,62 26,65 13,71 28,34 48,39
E 45,89 70,55 59,79 48,58 38,24 127,02
F 72,52 74,27 51,06 45,11 49,77 90,64
G 46,47 66,71 70,32 40,69 52,86 76,98
H 53,12 22,84 26,46 17,31 24,22 71,48
I 83,42 43,72 62,00 29,89 43,72 68,37
J 27,52 95,84 66,73 59,60 22,44 265,56
K 128,12 84,66 80,83 42,81 97,09 44,09
Media 57,01 59,51 52,64 39,30 47,97 93,84
Desviación estándar
29,33 21,91 17,40 15,01 22,70 61,46
NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
En la figura nº 27 que aparece a continuación, aparece representada la tasa de cobertura
desde 2009 hasta 2014 sin estandarizar por cada una de las áreas de salud, que aparecen
identificadas con una letra.
Discusión y Conclusiones
177 | P á g i n a
0
50
100
150
200
250
300
A B C D E F G H I J K
TASA DE COBERTURA 2009-14
Tasa Cobertura 2009 Tasa Cobertura 2010 Tasa Cobertura 2011
Tasa Cobertura 2012 Tasa Cobertura 2013 Tasa Cobertura 2014
Figura 27. Tasa de cobertura 2009-14.
NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
Como puede observarse en la gráfica existe una tendencia de incremento de la cobertura
desde 2009 a 2010 excepto en cuatro áreas, dos de las cuales son áreas con un número
reducido de empleados (área H y área I). En los años 2010 y 2011, se produce un descenso
en la cobertura en todas las áreas, excepto en tres, dos de ellas con un menor número de
empleados (área H y área I) y otra con un mayor número de empleados (área G).
Entre 2011 y 2012, la tendencia general es un claro descenso en la cobertura, a excepción
del área C, que curiosamente es la única que desciende en cobertura en 2014.
Discusión y Conclusiones
178 | P á g i n a
En conclusión, se puede afirmar que los dos años clave sobre los que poner el foco de
atención son 2012 y 2014. En el año 2012 se puede apreciar un descenso de la cobertura,
coincidiendo con un año de recortes presupuestarios y mayor exigencia en cuanto a las
condiciones de asistencia a la formación por parte de los profesionales.
En el año 2014, destaca un incremento en la cobertura como consecuencia de una
reestructuración y redistribución de efectivos y el fomento de la denominada “formación a
coste 0” que en sentido estricto, sabemos que no es formación a coste 0 ya que siempre
conlleva costes indirectos, mínimos, pero no por ello inexistentes.
Llama la atención que en algunas áreas pequeñas (E y J) la tasa de cobertura sea superior al
100%. Ello podría explicarse por la elevada asistencia a formación continuada de los
profesionales de dichas áreas, de tal manera que el mismo participante pueda estar presente
en varias de las acciones formativas que tienen lugar durante el año formativo, y que se
corresponde con un único empleado.
Los anteriores resultados de tasa de cobertura son resultados sin estandarizar. Sin embargo,
dado que en el indicador de eficiencia vamos a introducir diferentes variables (cobertura,
coste, aforo y beneficio) que están medidas en unidades diferentes y tienen rangos de
variación sustancialmente distintos, es conveniente llevar a cabo una estandarización de las
mismas. Ésta es una técnica muy útil a la hora de comparar datos de diferentes
distribuciones y consiste en aplicar una sencilla transformación a la variable objeto de
estudio, con la que se consigue que los datos de la distribución normalizada tengan un
valor de la media aritmética de 0 y una desviación típica de 1.
La estandarización la utilizaremos en todas y cada una de las variables: cobertura, aforo,
coste, beneficio, y también en el propio indicador de eficiencia, para poder combinarlo con
el indicador cualitativo.
Discusión y Conclusiones
179 | P á g i n a
4.3.1.2 Cálculo de la tasa de cobertura estandarizada
Como paso previo a la estandarización de la variable, se contrasta que la distribución de la
misma sigue una distribución normal. Para ello se utiliza el test de Shapiro-Wilk (1965),
dado que es adecuado para muestras pequeñas como la nuestra. El estadístico toma un
valor de 0.9836 y el p-valor es 0.5398 por lo que se acepta la hipótesis de normalidad al
95% de confianza.
La tasa de cobertura estandarizada se calcula como la diferencia entre la tasa de cobertura
del área i en el año t y la media de la tasa de cobertura para el año t, dividido por la
desviación estándar de la tasa de cobertura en el año t.
(12)
=
=
A continuación, en la tabla nº 44 se detalla la tasa de cobertura estandarizada de cada área
de salud desde 2009 hasta 2014, identificada con una letra.
Discusión y Conclusiones
180 | P á g i n a
Tabla 44. Cálculo de la tasa de cobertura estandarizada 2009-2014 Tasa Cobertura Estandarizada
2009 2010 2011 2012 2013 2014
A -0,72 -0,42 -0,21 0,61 0,02 0,10
B -0,52 -0,90 -0,75 -0,65 -0,21 -0,42
C 0,21 0,26 -0,34 1,15 1,38 -0,36
D -0,95 -0,86 -1,49 -1,70 -0,86 -0,74
E -0,38 0,50 0,41 0,62 -0,43 0,54
F 0,53 0,67 -0,09 0,39 0,08 -0,05
G -0,36 0,33 1,02 0,09 0,22 -0,27
H -0,13 -1,67 -1,50 -1,46 -1,05 -0,36
I 0,90 -0,72 0,54 -0,63 -0,19 -0,41
J -1,01 1,66 0,81 1,35 -1,12 2,79
K 2,42 1,15 1,62 0,23 2,16 -0,81 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
4.3.1.3 Coste
El coste se refiere a la inversión económica que supone una hora de formación. En este
concepto no sólo está incluido el coste por hora según la Orden de la Consejería de
Hacienda, de 30 de julio de 2004, por la que se actualizan las cuantías de las
indemnizaciones y retribuciones por realización de actividades de formación, respecto al
Real Decreto 24/1997 de 25 de abril, sino que también incluye otros conceptos tales como:
medios y materiales, coordinación, colaboración y otros conceptos asociados a
alojamientos, manutención y desplazamiento. De todos estos conceptos el que más influye
es el gasto por coordinación. Sobre dicho gasto se aconsejó disminuir el importe y hasta
incluso eliminarlo, indicación que fue llevaba a cabo en las reuniones mantenidas en la
etapa de planificación de la formación a partir de 2011, sobre todo teniendo en cuenta la
disminución en la asignación presupuestaria.
Discusión y Conclusiones
181 | P á g i n a
En sentido estricto, además de todos estos costes habría que sumar los denominados
“costes indirectos”, es decir los costes difíciles de cuantificar, tales como el gasto de luz,
así como los derivados de la utilización de las instalaciones físicas.
A continuación, en la figura nº 28 se detalla el coste por área de salud desde 2009 hasta
2014.
0
20
40
60
80
100
120
A B C D E F G H I J K
COSTE POR HORA (2009-2014)
Coste por Hora (Euros/Hora) 2009 Coste por Hora (Euros/Hora) 2010 Coste por Hora (Euros/Hora) 2011
Coste por Hora (Euros/Hora) 2012 Coste por Hora (Euros/Hora) 2013 Coste por Hora (Euros/Hora) 2014
Figura 28. Coste por Hora 2009-14.
NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
En relación al coste pueden destacarse dos puntos de inflexión: 2011 y 2013. En el año
2011 el coste es elevado, debido fundamentalmente a una mayor asignación
presupuestaria, y por lo tanto, una mayor inversión, en conceptos tales como el de
coordinación. Por otro lado, en 2013 parece estabilizarse la tendencia “a la baja”, atribuible
a una racionalización de recursos económicos, por ejemplo, reduciendo o eliminando el
Discusión y Conclusiones
182 | P á g i n a
importe asignado a los conceptos de coordinación y colaboración o al de medios
materiales. Todo ello, redunda en un importe de coste por hora inferior al presente en 2011.
Por último, 2013 y 2014 son los años con menos desviación entre áreas de salud.
Hay que tener en cuenta que existen diferencias significativas en cuanto a la asignación
presupuestaria entre las diferentes áreas, ya que ésta se asigna en función del número de
profesionales, a lo que habría que sumar las diferentes variables metodológicas que las
áreas adoptan a la hora de planificar la formación. Por ejemplo: pocos cursos abiertos a un
alto número de participantes con muchas horas de duración versus repetición de ediciones
dirigidas a grupos más discretos de profesionales. Todos estos elementos influyen
igualmente en la dispersión que podemos encontrarnos en el coste/hora.
4.3.1.4 Cálculo del coste estandarizado:
El test de Shapiro-Wilk arroja un estadístico de 0,9772 y un p-valor de 0,2654 por lo que
se acepta la hipótesis de normalidad al 95% de confianza.
El coste estandarizado se calcula como la diferencia entre el coste de una hora de
formación del área i en el año t y la media del coste para el año t, dividido por la
desviación estándar del coste de formación en el año t.
(13)
=
=
Discusión y Conclusiones
183 | P á g i n a
A continuación, en tabla nº 45 se detalla el cálculo del coste por hora estandarizado de cada
una de las áreas de salud, identificadas con una letra, en el periodo 2009-2014.
Tabla 45. Cálculo del coste por hora estandarizado 2009-2014. Coste por Hora Estandarizado
2009 2010 2011 2012 2013 2014
A 1,68 1,22 1,46 1,32 1,81 0,77
B -0,24 -0,35 -0,08 0,40 -0,59 -0,41
C 0,58 -0,07 0,75 1,53 0,35 0,34
D 0,50 0,13 -0,28 0,39 -0,09 1,47
E 0,51 0,41 0,53 -0,08 1,43 0,40
F 0,13 0,05 0,17 -0,65 0,31 0,79
G -0,13 -1,09 -1,80 -0,71 -1,12 -0,79
H -0,59 -2,05 -0,86 -1,78 -0,85 -1,24
I -2,28 -0,50 -1,08 -0,97 -1,17 -1,71
J 0,49 1,06 1,32 -0,18 0,57 0,90
K -0,66 1,20 -0,14 0,74 -0,65 -0,51 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
Otro factor a tener en cuenta es la comparación de la tasa de crecimiento del coste por hora
de formación respecto al Índice de Precios al Consumo (IPC) de las rúbricas “servicios
médicos” y “educación universitaria” para la Región de Murcia.
La tasa de variación del coste por hora se calcula de la siguiente manera:
(14)
Discusión y Conclusiones
184 | P á g i n a
A continuación, en la tabla nº 46 se detalla el cálculo de la tasa de variación del coste en
euros por hora de los cursos de formación.
Tabla 46. Cálculo de la tasa de variación del coste (€/hora) de los cursos de formación 2009-10 2010-11 2011-12 2012-13 2013-14
A -4.19 12.20 -16.55 -5.25 -13.36
B 0.11 7.63 -6.56 -24.43 4.60
C -6.74 18.45 -5.29 -24.21 -0.17
D -3.36 -2.38 -3.43 -17.76 22.57
E -0.14 7.88 -21.04 9.09 -13.22
F 0.28 6.58 -23.62 2.42 6.30
G -11.44 -15.55 11.91 -18.75 8.90
H -19.06 21.19 -25.04 3.74 -3.63
I 36.40 -8.94 -8.79 -15.94 -5.74
J 8.24 12.02 -30.69 -1.28 3.75
K 28.43 -11.89 -1.18 -28.56 4.11
Media 1.41 4.18 -12.96 -11.82 0.62 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente de los datos del IPC según INE. En la tabla nº 47 se detalla la media anual y la variación de servicios médicos generales,
desde 2008 hasta 2014, en base a los datos del IPC para la Región de Murcia.
Tabla 47. Media anual y variación de servicios médicos generales 2008-2014
Año Media Anual Variación de medias anuales
Servicios médicos y generales Servicios médicos y generales
2008 93,265 -
2009 95,848 2,8
2010 97,952 2,2
2011 100,000 2,1
2012 99,748 -0,3
2013 100,862 1,1
2014 102,017 1,1 Fuente: INE. Datos del IPC para la Región de Murcia
Discusión y Conclusiones
185 | P á g i n a
A continuación, en la tabla nº 48, se detalla la media anual y la variación de la educación
universitaria y otras enseñanzas desde 2008 hasta 2014, según los datos del IPC para la
Región de Murcia, lo que nos permite establecer una comparación entre la media anual de
educación universitaria y otros gastos de enseñanza, con la media de servicios médicos y
generales que aparecía en la tabla nº 47.
Tabla 48. Media anual y variación de educación universitaria y otras enseñanzas 2008-2014
Año Media Anual Variación de medias anuales
Educación universitaria
Otros gastos de enseñanza
Educación universitaria
Otros gastos de enseñanza
2008 89,252 93,780 - -
2009 94,154 97,066 5,5 3,5
2010 97,028 97,755 3,1 0,7
2011 100,000 100,000 3,1 2,3
2012 107,020 99,784 7,0 -0,2
2013 119,545 99,933 11,7 0,1
2014 121,635 100,582 1,7 0,6 Fuente: INE. Datos del IPC para la Región de Murcia
Se puede comprobar que el coste por hora de formación ha experimentado tasas de
variación más negativas (-12,96%, -11,82%) entre los años 2011 y 2013, en comparación
con el índice de “servicios médicos y similares” y “educación universitaria”.
Si comparamos la variación del coste por hora de formación continuada con la tasa de
crecimiento del índice de precios de educación universitaria y de otros gastos de
enseñanza, constatamos que han experimentado trayectorias totalmente opuestas:
disminución del coste de formación frente a incremento de media anual de enseñanza
universitaria y otros gastos de enseñanza.
Discusión y Conclusiones
186 | P á g i n a
4.3.1.5 Aforo
El aforo se define como los participantes de cada una de las áreas para cada uno de los
años divido entre las ediciones por año
(15)
A continuación, en la tabla nº 49, se detalla el número de participantes y el número de
ediciones, de todas y cada una de las áreas de salud, identificadas con una letra, durante el
año 2009.
Tabla 49. Participantes y ediciones 2009
2009
Participantes Ediciones
A 1.941 102
B 1.644 76
C 1.052 74
D 226 15
E 307 18
F 1.841 172
G 991 77
H 644 22
I 525 38
J 139 7
K 401 16 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
Discusión y Conclusiones
187 | P á g i n a
A continuación, en la tabla nº 50, se detalla el número de participantes y el número de
ediciones, de todas y cada una de las áreas de salud, identificadas con una letra, durante el
año 2010.
Tabla 50. Participantes y ediciones 2010 2010
Participantes Ediciones
A 2728 158
B 1566 79
C 1086 80
D 314 18
E 472 21
F 1885 128
G 1423 97
H 277 12
I 275 26
J 484 19
K 265 13 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
A continuación, en la tabla nº 51, se detalla el número de participantes y el número de
ediciones, de todas y cada una de las áreas de salud, identificadas con una letra, durante el
año 2011.
Discusión y Conclusiones
188 | P á g i n a
Tabla 51. Participantes y ediciones 2011 2011
Participantes Ediciones
A 2.654 147
B 1.557 70
C 776 50
D 206 12
E 400 27
F 1.296 122
G 1.500 88
H 321 19
I 390 38
J 337 19
K 253 15 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano. A continuación, en la tabla nº 52, se detalla el número de participantes y el número de
ediciones, de todas y cada una de las áreas de salud, identificadas con una letra, durante el
año 2012.
Tabla 52. Participantes y ediciones 2012 2012
Participantes Ediciones
A 2.631 134
B 1.159 42
C 942 61
D 106 6
E 325 17
F 1.145 67
G 868 47
H 210 10
I 188 13
J 301 14
K 134 6 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
Discusión y Conclusiones
189 | P á g i n a
A continuación, en la tabla nº 53, se detalla el número de participantes y el número de
ediciones, de todas y cada una de las áreas de salud, identificadas con una letra, durante el
año 2013.
Tabla 53. Participantes y ediciones 2013
NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
A continuación, en la tabla nº 54, se detalla el número de participantes y el número de
ediciones, de todas y cada una de las áreas de salud, identificadas con una letra, durante el
año 2014.
2013
Participantes Ediciones
A 2.441 139
B 1.533 64
C 1.205 69
D 206 12
E 244 17
F 1.198 93
G 1.044 59
H 264 11
I 254 30
J 213 8
K 501 21
Discusión y Conclusiones
190 | P á g i n a
Tabla 54. Participantes y ediciones 2014. 2014
Participantes Ediciones
A 2.173 121
B 976 47
C 1.181 81
D 323 32
E 202 14
F 1.160 81
G 824 13
H 331 13
I 290 30
J 446 17
K 137 6 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
A continuación, en la tabla nº 55, se detalla el número de participantes y el número de
ediciones, de todas y cada una de las áreas de salud, identificadas con una letra, durante el
periodo 2009-2014.
Discusión y Conclusiones
191 | P á g i n a
Tabla 55. Cálculo del aforo 2009-2014
Aforo
2009 2010 2011 2012 2013 2014
A 19,09 17,27 18,05 19,63 17,56 17,96
B 21,61 19,82 22,24 27,60 23,95 20,77
C 14,22 13,58 15,52 15,44 17,46 14,58
D 15,07 17,44 17,17 17,67 17,17 10,09
E 17,06 22,48 14,81 19,12 14,35 14,43
F 10,67 14,73 10,62 17,09 12,88 14,32
G 12,94 14,67 17,05 18,47 17,69 63,38
H 29,38 23,08 16,89 21,00 24,00 25,46
I 13,72 10,58 10,26 14,46 8,47 9,67
J 19,86 25,47 17,74 21,50 26,63 26,24
K 25,06 20,38 16,87 22,33 23,86 22,83
Media 18,06 18,14 16,11 19,48 18,55 21,79
Desviación estándar 5,64 4,56 3,37 3,63 5,55 14,92 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
En la figura nº 29 que aparece a continuación, se muestra de forma gráfica el aforo, sin
estandarizar, de todas las áreas de salud desde 2009 hasta 2014.
Discusión y Conclusiones
192 | P á g i n a
AFORO 2009-2014
0
10
20
30
40
50
60
70
A B C D E F G H I J K
Aforo 2009 Aforo 2010 Aforo 2011
Aforo 2012 Aforo 2013 Aforo 2014
Figura 29. Aforo 2009-14.
NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
El dato más significativo lo encontramos en el área G en la que apreciamos cómo el aforo
se dispara en 2014. El hecho de que pocas ediciones cuenten con un elevado número de
participantes podría relacionarse con un cambio en la estrategia metodológica, con la que
la oferta formativa se ve reducida drásticamente.
A tenor de los resultados, podría deducirse que la estrategia formativa utilizada influye en
los resultados de aforo. En este sentido, se ha de destacar que en las áreas pequeñas no es
la misma que la empleada en las áreas de mayor dimensión. En las áreas pequeñas se
planifican pocas acciones formativas para todos sus empleados sin que apenas existan
Discusión y Conclusiones
193 | P á g i n a
repeticiones de ediciones, mientras que en las áreas con un mayor número de empleados se
planifican más acciones formativas y con más ediciones. Lógicamente, el presupuesto
asignado es determinante, pero no es el único factor, ya que como se ha comentado, con el
mismo presupuesto se pueden organizar pocos cursos con metodología magistral
participativa, o bien varias ediciones con una metodología más práctica y con un menor
número de empleados.
4.3.1.6 Cálculo del aforo estandarizado
El test de Shapiro-Wilk arroja un estadístico de 0,9795 y un p-valor de 0,4109 por lo que
se acepta la hipótesis de normalidad al 95% de confianza.
El aforo estandarizado se calcula como la diferencia entre el aforo promedio del área i en el
año t y la media del aforo para el año t, dividido por la desviación estándar del aforo en el
año t.
(16)
=
=
A continuación, en la tabla nº 56, se detalla el aforo estandarizado, de todas y cada una de
las áreas de salud, identificadas con una letra, durante el periodo 2009-14.
Discusión y Conclusiones
194 | P á g i n a
Tabla 56. Cálculo del aforo estandarizado 2009-2014 Aforo Estandarizado
2009 2010 2011 2012 2013 2014
A 0,18 -0,19 0,58 0,04 -0,18 -0,26
B 0,63 0,37 1,82 2,23 0,97 -0,07
C -0,68 -1,00 -0,18 -1,11 -0,20 -0,48
D -0,53 -0,15 0,31 -0,50 -0,25 -0,78
E -0,18 0,95 -0,38 -0,10 -0,76 -0,49
F -1,31 -0,75 -1,63 -0,66 -1,02 -0,50
G -0,91 -0,76 0,28 -0,28 -0,15 2,79
H 2,01 1,09 0,23 0,42 0,98 0,25
I -0,77 -1,66 -1,74 -1,38 -1,82 -0,81
J 0,32 1,61 0,48 0,56 1,45 0,30
K 1,24 0,49 0,22 0,78 0,96 0,07 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
4.3.1.7 Beneficio
Ante todo, hay que destacar que el concepto de “beneficio”, en realidad es una
aproximación a las ganancias en capital humano, ya que no contamos con datos reales de la
transferencia al puesto de trabajo. También es interesante resaltar las ganancias de calidad
de formación, que tendremos en cuenta con el indicador cualitativo utilizado en la fórmula.
Dado que las horas en formación suponen un incremento del capital humano de los
empleados, nuestra variable representa el producto de la duración promedio de los
cursos por el aforo promedio. Aunque la variable “aforo” se tenga en cuenta como un
indicador separado, nuestro indicador de beneficio sirve tanto para cursos de duración
corta, pero que lleguen a un número amplio de personas, como para otros cursos de
Discusión y Conclusiones
195 | P á g i n a
duración establecida o programada (área K) ponderado por el número promedio de
participantes.
(17)
A continuación, en la tabla nº 57, se detalla el número de participantes, número de horas y
número de ediciones, de todas y cada una de las áreas de salud, identificadas con una letra,
durante el año 2009.
Tabla 57. Participantes, horas y ediciones 2009 2009
Participantes Horas Ediciones
A 1.941 1469 102
B 1.644 1094 76
C 1.052 639 74
D 226 295 15
E 307 247 18
F 1.841 842 172
G 991 887 77
H 644 355 22
I 525 333 38
J 139 236 7
K 401 285 16 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
Discusión y Conclusiones
196 | P á g i n a
A continuación, en la tabla nº 58, se detalla el número de participantes, número de horas y
número de ediciones, de todas y cada una de las áreas de salud, identificadas con una letra,
durante el año 2010.
Tabla 58. Participantes, horas y ediciones 2010 2010
Participantes Horas Ediciones
A 2.654 1.534 147
B 1.557 954 70
C 776 534 50
D 206 281 12
E 400 219 27
F 1.296 838 122
G 1.500 1.124 88
H 321 280 19
I 390 206 38
J 337 216 19
K 253 242 15 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
A continuación, en la tabla nº 59, se detalla el número de participantes, número de horas y
número de ediciones, de todas y cada una de las áreas de salud, identificadas con una letra,
durante el año 2011.
Discusión y Conclusiones
197 | P á g i n a
Tabla 59. Participantes, horas y ediciones 2011 2011
Participantes Horas Ediciones
A 2.654 1.534 147
B 1.557 954 70
C 776 534 50
D 206 281 12
E 400 219 27
F 1.296 838 122
G 1.500 1.124 88
H 321 280 19
I 390 206 38
J 337 216 19
K 253 242 15 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
A continuación, en la tabla nº 60, se detalla el número de participantes, número de horas y
número de ediciones, de todas y cada una de las áreas de salud, identificadas con una letra,
durante el año 2012.
Tabla 60. Participantes, horas y ediciones 2012 2012
Participantes Horas Ediciones
A 2.631 995 134
B 1.159 498 42
C 942 329 61
D 106 136 6
E 325 144 17
F 1.145 585 67
G 868 508 47
H 210 199 10
I 188 121 13
J 301 181 14
K 134 110 6 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
Discusión y Conclusiones
198 | P á g i n a
A continuación, en la tabla nº 61, se detalla el número de participantes, número de horas y
número de ediciones, de todas y cada una de las áreas de salud, identificadas con una letra,
durante el año 2013.
Tabla 61. Participantes, horas y ediciones 2013 2013
Participantes Horas Ediciones
A 2.441 1.000 139
B 1.533 600 64
C 1.205 429 69
D 206 191 12
E 244 139 17
F 1.198 614 93
G 1.044 681 59
H 264 209 11
I 254 180 30
J 213 208 8
K 501 237 21 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
Discusión y Conclusiones
199 | P á g i n a
A continuación, en la tabla nº 62, se detalla el número de participantes, número de horas y
número de ediciones, de todas y cada una de las áreas de salud, identificadas con una letra,
durante el año 2014.
Tabla 62. Participantes, horas y ediciones 2014
2014
Participantes Horas Ediciones
A 2.173 969 121
B 976 591 47
C 1.181 400 81
D 323 146 32
E 202 166 14
F 1.160 539 81
G 824 533 13
H 331 222 13
I 290 182 30
J 446 228 17
K 137 237 6 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria,
Farmacia y Atención al Ciudadano.
A continuación, en la tabla nº 63, se detalla el beneficio durante el periodo 2009-14, para
lo que se han utilizado los cálculos anteriores en cuanto al número de participantes,
número de horas y número de ediciones, de todas y cada una de las áreas de salud,
identificadas con una letra.
Este sería uno de los pilares importantes del indicador, el beneficio, en términos de capital
humano, que difiere de otros como el ROI que sólo se expresa en términos económicos.
Discusión y Conclusiones
200 | P á g i n a
Tabla 63. Cálculo del beneficio 2009-2014 Beneficio
2009 2010 2011 2012 2013 2014
A 28.050,11 30.111,59 27.695,48 19.536,16 17.552,37 17.397,47
B 23.646,95 22.915,14 21.219,69 13.746,57 14.371,88 12.272,68
C 9.084,16 10.534,20 8.287,68 5.080,62 7.491,96 5.832,10
D 4.444,67 5.425,22 4.823,83 2.402,67 3.278,83 1.473,69
E 4.212,72 6.158,48 3.244,44 2.752,94 1.995,06 2.395,14
F 8.988,25 13.725,16 8.902,03 9.997,39 7.909,38 7.719,01
G 11.468,76 16.166,45 19.159,09 9.381,79 12.050,24 33.784,00
H 10.418,72 4.293,50 4.730,53 4.179,00 5.016,00 5.652,46
I 4.570,59 2.247,60 2.114,21 1.749,85 1.524,00 1.759,33
J 4.686,29 7.412,84 3.831,16 3.891,50 5.538,00 5.981,65
K 7.142,81 4.973,85 4.081,73 2.456,67 5.654,14 5.411,50
Media 10.610,37 11.269,46 9.826,35 6.834,10 7.489,26 9.061,73
Desviación estandar
8.014,83 8.752,39 8.730,24 5.707,10 5.161,45 9.449,87
NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria,
Farmacia y Atención al Ciudadano.
Tal como se puede apreciar en la tabla nº 63 así como en la figura nº 30 no existe una
tendencia homogénea a lo largo del periodo 2009-2014. Los puntos de inflexión tienen
lugar en el año 2012 y 2014 en relación a los años que le preceden ( 2011 y 2013).
En el año 2012 el área B y G experimentan una drástica bajada, mientras que en el año
2014 el área G experimenta una subida significativa subida.
A continuación, en la figura nº 30, se detalla el beneficio, sin estandarizar, para lo que se
han utilizado los cálculos referidos al número de participantes, número de horas y número
de ediciones, de todas y cada una de las áreas de salud, identificadas con una letra, en el
periodo 2009-14.
Discusión y Conclusiones
201 | P á g i n a
Figura 30. Beneficio 2009-14. NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
4.3.1.8 Cálculo del beneficio estandarizado:
El test de Shapiro-Wilk arroja un test estadístico de 1,9150 y un p-valor de 0,1790 por lo
que se acepta la hipótesis de normalidad al 95% de confianza.
El beneficio estandarizado se calcula como la diferencia entre el beneficio del curso del
área i en el año t y la media del beneficio del curso para el año t, dividido por la desviación
estándar del beneficio en el año t.
(18)
=
Discusión y Conclusiones
202 | P á g i n a
=
A continuación, en la tabla nº 64, se detalla el beneficio estandarizado, para lo que se han
utilizado los datos referidos al número de participantes, número de horas y número de
ediciones, es decir, el beneficio, de todas y cada una de las áreas de salud, identificadas
con una letra, durante el periodo 2009-14.
Tabla 64. Cálculo del beneficio estandarizado 2009-2014 Beneficio Estandarizado
2009 2010 2011 2012 2013 2014
A 2,18 2,15 2,05 2,23 1,95 0,88
B 1,63 1,33 1,31 1,21 1,33 0,34
C -0,19 -0,08 -0,18 -0,31 0,00 -0,34
D -0,77 -0,67 -0,57 -0,78 -0,82 -0,80
E -0,80 -0,58 -0,75 -0,72 -1,06 -0,71
F -0,20 0,28 -0,11 0,55 0,08 -0,14
G 0,11 0,56 1,07 0,45 0,88 2,62
H -0,02 -0,80 -0,58 -0,47 -0,48 -0,36
I -0,75 -1,03 -0,88 -0,89 -1,16 -0,77
J -0,74 -0,44 -0,69 -0,52 -0,38 -0,33
K -0,43 -0,72 -0,66 -0,77 -0,36 -0,39 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
Como puede apreciarse existen diferencias significativas entre las diferentes áreas de
salud, pudiendo establecer 2 grandes grupos:
a) Grupo de áreas donde el beneficio estandarizado es positivo: A, B y G
b) Grupo formado por el resto de áreas, en el que el beneficio estandarizado es
negativo.
Discusión y Conclusiones
203 | P á g i n a
Resulta llamativo, cómo el primer grupo coincide con las grandes áreas, donde el número
de empleados es mayor, y en el segundo grupo (a excepción del área F) todas las áreas
tienen un número de empleados menor. En este sentido, es importante considerar que las
áreas con un mayor número de empleados tienen más posibilidades de obtener un beneficio
potencialmente mayor, aunque entran en juego otras variables, tales como la cobertura y la
estrategia metodológica que el área proponga y que posibilite la asistencia a los
profesionales.
Por otro lado, se observa una tendencia decreciente del beneficio (a excepción de las áreas
G y J). Este dato en un primer momento puede ser considerado negativo, pero tiene su
explicación. Si tenemos en cuenta que la formación en la que está centrada el estudio, es
una formación financiada por fondos INAP, y que la asignación presupuestaria ha ido
disminuyendo, especialmente a partir de 2011, es lógico que la planificación abarque a un
número menor de empleados.
Posiblemente, si tuviéramos en cuenta otro tipo de formación, como la financiada por los
laboratorios o empresas externas (la denominada formación con código “O”) y la
formación denominada “a coste 0”o con código “E”, estos resultados diferirían muchos de
los presentados, no sólo en cuanto a la cobertura o el beneficio, sino también en cuanto al
coste. La formación “O” incrementaría excesivamente el coste, ya que este tipo de
formación financiada por empresas externas suele caracterizarse por su elevado coste, y
por otro lado, la formación “a coste 0” lo abarataría “in extremis”
El hecho de haber considerado sólo la formación con financiación INAP, obedece a que es
la información más fiable de la que se dispone, ya que ésta no sólo es aprobada por una
Comisión específica denominada Comisión Paritaria, sino que desde la Consejería de
Discusión y Conclusiones
204 | P á g i n a
Sanidad y Política Social tienen que rendirse cuentas detallada de la ejecución de dicha
formación.
4.3.1.9 Cálculo del indicador de eficiencia:
Este indicador es el objetivo principal de la tesis. El indicador de eficiencia propuesto lo
denominaremos eficiencia ponderada y la calcularemos a partir de del indicador de
eficiencia que acabamos de obtener en combinación con un indicador de calidad
denominado “indicador cualitativo.
En primer lugar calcularemos el indicador de eficiencia. El indicador de eficiencia va a
estar compuesto de 4 elementos:
1. Tasa de cobertura estandarizada
2. Coste estandarizado de curso de formación
3. Beneficio en capital humano de los cursos de formación
4. Aforo estandarizado de los grupos que han recibido formación
(19)
Discusión y Conclusiones
205 | P á g i n a
Explicación de la fórmula:
lleva un signo más porque cuanto mayor sea la tasa de cobertura de los
cursos de formación impartidos en el área i durante el año t, mayor debe ser la
eficiencia.
o Si la se encuentra por encima de 0 quiere decir que la tasa de
cobertura está por encima de la media, luego al sumar
multiplicaremos por un número mayor que 1, y por consiguiente
aumentará la eficiencia.
o Si la se encuentra por debajo de 0 quiere decir que la tasa de
cobertura es inferior a la media, luego al sumar
multiplicaremos por un número menor que 1, y el indicador de eficiencia
disminuirá.
también lleva un signo positivo porque cuanto mayor sea el aforo de los
cursos de formación impartidos en el área i durante el año t mayor debe ser la
eficiencia.
o Si el se encuentra por encima de 0 quiere decir que el aforo está por
encima de la media, luego al sumar multiplicaremos por un
número mayor que 1, y por consiguiente aumentará la eficiencia.
o Si el se encuentra por debajo de 0 quiere decir que el aforo es
inferior a la media, luego al sumar multiplicaremos por un
número menor que 1, y el indicador de eficiencia disminuirá.
Discusión y Conclusiones
206 | P á g i n a
lleva un signo positivo porque queremos premiar a las áreas en
donde los cursos de formación hayan redundado en una mayor ganancia de capital
humano.
o Si el se encuentra por encima de 0 quiere decir que la ganancia
en capital humano está por encima de la media, luego al calcular
multiplicaremos por un número mayor que 1, y por
consiguiente aumentará la eficiencia.
o Si el se encuentra por debajo de 0 quiere decir que la ganancia en
capital humano es inferior a la media, luego al calcular
multiplicaremos por un número menor que 1, y el indicador de eficiencia
disminuirá
lleva un signo negativo porque queremos penalizar los cursos de
formación cuyo coste por hora sea muy elevado.
o Si el se encuentra por encima de 0 quiere decir que el coste en
euros está por encima de la media, luego al calcular
obtendremos un número menor que 1, y por consiguiente disminuirá la
eficiencia.
o Si el se encuentra por debajo de 0 quiere decir que el coste en
euros es inferior a la media, luego al calcular obtendremos
un número mayor que 1, y el indicador de eficiencia aumentará.
Discusión y Conclusiones
207 | P á g i n a
A continuación, en la tabla nº 65, se detalla el cálculo del indicador de eficiencia, de todas
y cada una de las áreas de salud, identificadas con una letra, durante el periodo 2009-2014.
Para el cálculo de este indicador se ha utilizado el indicador referido a la cobertura, aforo,
beneficio y coste.
Tabla 65. Cálculo de la eficiencia 2009-2014 Eficiencia
2009 2010 2011 2012 2013 2014
A -0,71 -0,32 -1,74 -1,71 -2,02 0,35
B 2,56 0,44 1,75 1,48 5,82 1,02
C 0,13 0,00 0,11 0,09 1,25 0,14
D 0,00 0,03 -0,35 -0,05 0,02 -0,01
E 0,05 0,73 0,10 0,45 0,00 0,14
F -0,33 0,52 -0,42 1,22 -0,02 0,09
G 0,07 1,04 14,92 1,95 4,11 17,76
H 4,05 -0,87 -0,48 -0,98 -0,09 1,14
I 0,35 0,01 -0,27 -0,03 0,22 0,07
J 0,00 -0,23 -0,27 2,09 -0,08 0,32
K 7,21 -0,18 1,25 0,13 6,57 0,19 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
A continuación, en la figura nº 31, se detalla de forma gráfica el indicador de eficiencia,
durante el periodo 2009-2014, de todas y cada una de las áreas de salud, identificadas con
una letra.
Para el cálculo de dicho indicador han sido tenidos en cuenta los datos referidos a
cobertura, aforo, beneficio y coste.
Discusión y Conclusiones
208 | P á g i n a
-5
0
5
10
15
20
A B C D E F G H I J K
EFICIENCIA 2009-2014
Eficiencia 2009 Eficiencia 2010 Eficiencia 2011
Eficiencia 2012 Eficiencia 2013 Eficiencia 2014
Figura 31. Eficiencia 2009-2014
NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
A tenor de los resultados de eficiencia puede observarse que 2014 es el año donde menos
áreas obtienen indicador de eficiencia con valor negativo.
Pueden identificarse áreas en las que existe un indicador positivo, tales como el área B, C,
E y G, así como áreas donde se alternan valores positivos y negativos. En este sentido
pueden identificarse 2 grupos:
a) Grupo de áreas con menos de 4 indicadores negativos: D, F, I, J y K, siendo
interesante la alternancia de signos en algunas áreas. Por ejemplo, el área F pasa
de un valor negativo en 2009 a uno positivo en 2010, a uno negativo en 2011 y a
uno positivo en 2012, por ejemplo.
Discusión y Conclusiones
209 | P á g i n a
b) Áreas con 4 o más indicadores negativos: H(4), A(5)
En relación al resto, se observa cómo existen picos de mayor y menor eficiencia. En áreas
“grandes” como el área A, B y F la tendencia es dispar. Mientras que en el área A la
eficiencia desde 2009 hasta 2013 es negativa, en el área B es positiva, aunque con subidas
y bajadas.
La mayor subida de eficiencia la experimenta el área G en 2011 y 2014 en relación al año
anterior 2010 y 2013.
4.3.1.10 Indicador Cualitativo
El siguiente paso a la hora de elaborar el indicador de eficiencia ponderado es tener en
cuenta la calidad de la formación, para lo que hemos considerado la media del denominado
Indicador o Componente Cualitativo para cada una de las áreas de salud y año.
Este componente cualitativo se calcula a partir de la valoración obtenida por parte de 3
evaluadores del sistema acreditador de la Región de Murcia para cada una de las acciones
formativas. Los aspectos sobre los que otorgan una puntuación que va desde 0.0 a 0.4 son:
- Objetivos
- Organización y logística
- Pertinencia
- Metodología docente
- Evaluación
Discusión y Conclusiones
210 | P á g i n a
Dichos evaluadores cuentan además con una formación específica para evaluar y las
directrices aprobadas por la Comisión Nacional de Formación Continuada.
El resultado final se obtiene multiplicando la media de las 3 puntuaciones por un factor de
corrección, que en el caso de los objetivos y organización y logística es igual a 1, en el
caso de pertinencia es 2, y en el caso de la metodología docente y evaluación es 1,5.
El ejemplo que se muestra a continuación, es una captura de pantalla de la base de datos
del sistema acreditador. En él aparecen los ítems que los evaluadores puntúan (objetivos,
organización y logística, pertinencia, metodología docente y evaluación) y las
puntuaciones otorgadas por cada uno de los evaluadores. De esta puntuación se extrae la
media que es ponderada en función del factor de corrección que proceda. En este sentido,
la mayor puntuación en base al factor de corrección recae sobre pertinencia, metodología
docente y evaluación.
A continuación, en la tabla nº 66 aparece un ejemplo de cómo sería calculado el
componente cualitativo de las acciones formativas susceptibles de acreditación.
Aparecen las puntuaciones de 3 evaluadores. Estas puntuaciones están comprendidas entre
el intervalo 0.0 y 0.4.
Los ítems a valorar son: objetivos, organización y logística, pertinencia, metodología y
evaluación. Una vez es calculada la media, posteriormente se aplica a cada una de estas
puntuaciones, un factor de corrección, que como puede apreciarse varía, siendo de 2 en el
caso de la pertinencia, 1,5 en el caso de metodología y evaluación y 1 en objetivos y
organización y logística.
Por último, el total del componente cualitativo se obtendría sumando las medias
corregidas, esto es, medias a las que se les ha aplicado el factor de corrección.
Discusión y Conclusiones
211 | P á g i n a
Se ha de destacar que la aplicación de este sistema de puntuación no es exclusivo de la
Región de Murcia, ya que todos los Sistemas Acreditadores de Formación Continuada de
las diferentes Comunidades Autónomas cuentan con los mismos criterios.
Tabla 66. Ejemplo componente cualitativo (CCL)
Fuente: Sistema de Información de Acreditación de formación continuada de las Profesiones Sanitarias de la Región de Murcia. Consejería de Sanidad y Política Social.
A continuación, en la tabla nº 67, se detalla el indicador cualitativo, en base a los cálculos
anteriormente comentados, de todas y cada una de las áreas de salud, identificadas con una
letra, durante el periodo 2009-2014.
Discusión y Conclusiones
212 | P á g i n a
Tabla 67. Indicador cualitativo 2009-2014 Indicador Componente Cualitativo
2009 2010 2011 2012 2013 2014
A 1,67 1,67 1,49 1,55 1,51 1,67
B 1,66 1,72 1,64 1,60 1,55 1,63
C 1,38 1,40 1,35 1,45 1,44 1,48
D 1,60 1,56 1,70 1,64 1,60 1,63
E 1,65 1,56 1,41 1,40 1,66 1,50
F 1,38 1,52 1,48 1,47 1,50 1,66
G 1,57 1,60 1,56 1,52 1,56 1,64
H 1,52 1,39 1,34 1,54 1,53 1,68
I 1,47 1,49 1,30 1,42 1,40 1,67
J 1,98 1,71 1,73 1,74 1,61 1,72
K 2,15 1,83 1,23 1,76 1,87 1,86
Media 1,64 1,59 1,48 1,55 1,57 1,65
Desviación estandar
0,24 0,14 0,17 0,12 0,13 0,10
NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano. A continuación, en la figura nº 32, se detalla de forma gráfica, el indicador cualitativo, en
base a los cálculos anteriormente comentados, de todas y cada una de las áreas de salud,
identificadas con una letra, durante el periodo 2009-2014.
Para el cálculo se han tenido en cuenta la media corregida de los diferentes evaluadores,
esto es, la puntuación obtenida en los apartados de objetivos, organización y logística,
pertinencia, metodología docente y evaluación, a la que se le ha aplicado el factor de
corrección correspondiente.
Discusión y Conclusiones
213 | P á g i n a
0
1
2
3
A B C D E F G H I J K
COMPONENTE CUALITATIVO 2009-2014
Indicador Cualitativo 2009 Indicador Cualitativo 2010
Indicador Cualitativo 2011 Indicador Cualitativo 2012
Indicador Cualitativo 2013 Indicador Cualitativo 2014
Figura 32. Componente cualitativo 2009-2014 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
4.3.1.11 Cálculo del indicador cualitativo estandarizado
El test de Shapiro-Wilk arroja un estadístico de 1,970 y un p-valor de 0,1774 por lo que se
acepta la hipótesis de normalidad al 95% de confianza.
A continuación, procedemos a estandarizar el indicador cualitativo, al igual que ya se hizo
con los otros componentes que van a intervenir en el indicador de eficiencia
(20)
=
Discusión y Conclusiones
214 | P á g i n a
=
A continuación, en la tabla nº 68, se detalla el indicador cualitativo estandarizado, de todas
y cada una de las áreas de salud, identificadas con una letra, durante el periodo 2009-2014.
Tabla 68. Cálculo del Indicador Componente cualitativo estandarizado 2009-2014 2010 2011 2012 2013 2014
A 0,61 0,09 -0,03 -0,45 0,21
B 0,97 0,98 0,38 -0,13 -0,19
C -1,36 -0,75 -0,85 -1,01 -1,67
D -0,19 1,34 0,71 0,27 -0,19
E -0,19 -0,39 -1,27 0,75 -1,47
F -0,48 0,03 -0,69 -0,53 0,11
G 0,10 0,51 -0,28 -0,05 -0,09
H -1,43 -0,81 -0,11 -0,29 0,30
I -0,70 -1,05 -1,10 -1,33 0,21
J 0,90 1,52 1,53 0,35 0,70
K 1,78 -1,47 1,70 2,42 2,08 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria, Farmacia y Atención al Ciudadano.
Ahora sí estamos en condiciones de elaborar el indicador de eficiencia ponderado.
Calculamos el indicador de eficiencia ponderado ( ) como el producto del indicador
de eficiencia multiplicado por . De esta forma introducimos una
bonificación para las áreas cuyo indicador cualitativo se encuentre por encima de la media
Discusión y Conclusiones
215 | P á g i n a
(21)
A continuación, en la tabla nº 69, se detalla el indicador de eficiencia ponderado
( ), de todas y cada una de las áreas de salud, identificadas con una letra, durante el
periodo 2009-2014.
Para el cálculo de este indicador se ha tenido en cuenta el indicador de eficiencia (que
incluye datos referidos a cobertura estandarizada, aforo estandarizado, beneficio
estandarizado y coste estandarizado) y el indicador cualitativo estandarizado.
Tabla 69. Cálculo de la eficiencia ponderada 2009-2014 Eficiencia Ponderada
2009 2010 2011 2012 2013 2014
A -0,80 -0,52 -1,89 -1,66 -1,11 0,42
B 2,79 0,86 3,48 2,05 5,06 0,83
C -0,01 0,00 0,03 0,01 -0,01 -0,10
D 0,00 0,03 -0,83 -0,08 0,03 0,00
E 0,05 0,59 0,06 -0,12 0,01 -0,06
F 0,03 0,27 -0,43 0,38 -0,01 0,09
G 0,05 1,14 22,48 1,41 3,90 16,17
H 2,02 0,38 -0,09 -0,87 -0,06 1,48
I 0,10 0,00 0,01 0,00 -0,07 0,08
J 0,00 -0,43 -0,67 5,30 -0,11 0,55
K 22,76 -0,50 -0,58 0,36 22,50 0,58
Promedio 2,45 0,17 1,96 0,62 2,74 1,82 NOTA: Las diferentes letras (A a K) se corresponden con las áreas de salud, que no aparecen citadas por motivos de confidencialidad. Fuente: Elaboración propia a partir de datos de la Dirección General de Planificación Sociosanitaria,
Farmacia y Atención al Ciudadano.
Como puede observarse existe una tendencia diferente en las áreas. Las áreas que cuentan
con una mayor eficiencia ponderada son el área G (años 2011 y 2014), área J (año 2012) y
Discusión y Conclusiones
216 | P á g i n a
área K (2009 y 2013). Puede concluirse que la variable empleados no es determinante, ya
que estos aumentos afectan tanto a áreas con un mayor número como el área G, así como a
otras más pequeñas, tales como el área J y K. Por el contrario, el beneficio de capital
humano en estas dos últimas áreas es negativo, pero al introducir el indicador cualitativo
los resultados cambian. Por lo tanto, cuando la calidad es alta, la eficiencia mejora.
Discusión y Conclusiones
217 | P á g i n a
4.3.2 Segunda parte: análisis econométrico.
4.3.2.1 Modelo econométrico
Para realizar los cálculos de esta sección se ha utilizado el programa Stata (Statistical
Analysis), que es uno de los más utilizados en el ámbito de la econometría.
Una vez construido el indicador de eficiencia de los cursos de formación continuada, nos
proponemos analizar cuáles son las variables que ejercen una mayor influencia sobre la
evolución del mismo, con el objetivo de poder extraer recomendaciones que ayuden a
incrementar la eficiencia de los cursos de formación.
Para ello, vamos a aprovechar la dimensión espacio-temporal de la base de datos
construida. Se dispone de una muestra de datos de panel, puesto que para cada área de
salud (N=11) hay información para el periodo comprendido entre 2009 y 2014 (T=6). Un
modelo de datos de panel difiere de uno de series temporales o de datos de sección cruzada
en que cada variable tiene un doble subíndice:
donde i es el subíndice correspondiente a las áreas de salud y t es el subíndice
correspondiente a los años. Por consiguiente, el subíndice i recoge la dimensión de sección
cruzada y el subíndice t recoge la dimensión temporal.
o se refiere al indicador de eficiencia ponderado del área i en el año t
o itX es una matriz de variables explicativas (se detallará más adelante)
o es un término de error.
Discusión y Conclusiones
218 | P á g i n a
4.3.2.2 Idoneidad de la utilización de datos de panel
La cuestión de si juntar (pool3) o no juntar los datos surge siempre que se trabaja con los
datos de panel. Esta decisión supone enfrentar dos modelos:
a) Modelo restringido: considera que los parámetros no difieren entre áreas de salud o
de un año a otro.
b) Modelo no restringido: considera que los parámetros pueden diferir entre áreas de
salud y de un año a otro.
La mayoría de las aplicaciones empíricas que utilizan bases de datos de panel disponen de
observaciones para un gran número de consumidores, empresas, regiones, países, pero con
un menor número de periodos temporales.
Contraste por áreas de salud
Si queremos contrastar la hipótesis de que los parámetros se mantienen constantes entre
áreas de salud:
(25)
3 En inglés, “to pool” significa juntar.
Discusión y Conclusiones
219 | P á g i n a
Debemos proceder de la siguiente manera:
1) Estimar el modelo considerando que los parámetros no varían entre áreas de
salud y obtener la suma del cuadrado de los residuos .
2) Estimar el modelo considerando que los parámetros pueden variar de un área
de salud a otra, es decir, se estiman 11 regresiones diferentes, una para cada
área de salud y se obtiene la suma del cuadrado de los residuos de cada una
de ellas .
3) Se calcula el estadístico F propuesto por Chow (1960)
)26( )()...(
)1()...(
2211
2211
KTNeeeeeeKNeeeeeeeeF
NN
NN
En nuestro caso:
)27( )6(11)...(
)111()...(
11112211
11112211
KeeeeeeKeeeeeeeeF
donde K es el número de variables explicativas de modelo.
Si se acepta la hipótesis nula entonces podemos suponer que los parámetros se mantienen
constantes entre áreas de salud.
Contraste por dimensión temporal
De la misma forma, si queremos contrastar que los parámetros se mantienen constantes a
lo largo del tiempo:
(28)
Discusión y Conclusiones
220 | P á g i n a
Procederíamos de la siguiente manera:
1) Estimar el modelo restringido y obtener la suma del cuadrado de los residuos
2) Estimar el modelo considerando variabilidad a lo largo del tiempo, es decir, se
estimarían 6 regresiones diferentes una para cada año, y se obtendrían las sumas
de los cuadrados de los residuos de cada una de esas regresiones
3) Planteamiento del test de Chow
)29( )11(6)...(
)16()...(
662211
662211
KeeeeeeKeeeeeeee
F
4.3.2.3 Estimación con datos de panel
Una vez contrastada la idoneidad de la estimación con datos de panel (véase sección de
resultados en el subapartado 4.3.2.4), pasamos a detallar los principales métodos de
estimación propuesto y los métodos de contraste para determinar cuál es el mejor modelo
que se ajusta a los datos.
La mayoría de los modelos de datos de panel consideran que el término de error se puede
descomponer en la suma de dos términos:
(30)
o i se refiere a un efecto específico inobservable de cada área de salud. En nuestro
caso, este efecto podría recoger la habilidad del gestor de los cursos de formación
de cada área de salud.
Discusión y Conclusiones
221 | P á g i n a
o it recoge el resto de la perturbación que varía tanto entre áreas de salud como a lo
largo del tiempo.
Estimación de efectos fijos
El modelo de efectos fijos se basa en los siguientes supuestos:
1) Se supone que el efecto específico inobservable de cada área de salud i , i =
1,…,11, viene recogido por una serie parámetros fijos (uno por cada área de salud)
que se van a estimar con el resto de parámetros del modelo (α y β)
2) Se supone que las perturbaciones estocásticas ( it ) son independientes e
idénticamente distribuidas de acuerdo con una distribución normal de media cero y
varianza σ 2v ; it IID N (0, σ 2
v )
3) Se supone que las variables explicativas ( itX ) son independientes de las
perturbaciones estocásticas ( it ) para todo i y t.
La estimación por efectos fijos consistiría en estimar por mínimos cuadrados ordinarios
(MCO) la ecuación (3) para obtener estimaciones de α, β y µ:
Hay que tener en cuenta que si aumentase la dimensión de sección cruzada (en nuestro
caso, el número de áreas de salud), el número de efectos fijos que habría que estimar en el
modelo también aumentaría, y por consiguiente, la dimensión de la matriz que hay que
invertir al estimar por MCO. Una solución para eludir este potencial problema es realizar
una transformación del modelo (31).
En primer lugar, calculamos la media de cada variable para cada área a lo largo del tiempo.
Discusión y Conclusiones
222 | P á g i n a
o : representa media del indicador de eficiencia para cada área de salud a lo
largo del periodo 2009-2014.
o : representa la media de cada variable explicativa para cada área de salud a lo
largo del periodo 2009-2014.
A continuación se resta (32) de (31):
= +
De esta forma hemos conseguido eliminar los efectos fijos ( i ).
Adicionalmente, partiendo de (32) se puede calcular la media de todas las observaciones.
o : representa la media del indicador de eficiencia de todas las áreas de salud y
de todos los años.
o : representa la media de las variables explicativas de todas las áreas de salud y
de todos los años.
En este caso hemos utilizado la restricción . Se trata de una restricción
arbitraria sobre los coeficientes para evitar un problema de multicolinealidad perfecta. De
hecho, solamente, se puede estimar β y (α + i ) en la ecuación (32), y no α y por
separado a menos que se imponga la restricción .
Discusión y Conclusiones
223 | P á g i n a
Haciendo esto se obtiene un estimador ~ de la ecuación (33), y adicionalmente puede
recuperarse de la ecuación (34), y por último, de
la ecuación (32).
Cuando se trabaja con paneles muy grandes el estimador de efectos fijos puede no ser
factible puesto que hay que introducir un elevado número variables ficticias 4 en la
regresión, lo que provoca una gran pérdida de grados de libertad.
Adicionalmente, el estimador de efectos fijos no permite estimar el efecto de cualquier
variable que se mantenga invariable en el tiempo. Por ejemplo, en nuestro modelo de
efectos fijos no podríamos analizar el efecto de la superficie geográfica sobre el indicador
de eficiencia, porque la extensión en km2 de cada área de salud se mantiene constante en el
tiempo.
Si el modelo de efectos fijos es el verdadero modelo, entonces el estimador obtenido es el
mejor estimador lineal insesgado, siempre que el término de perturbación cumpla con los
supuestos clásicos de IID N(0, ).
Hay que hacer notar que a medida que la dimensión temporal aumenta (T∞), el
estimador de efectos fijos es consistente. Sin embargo, si T es fijo y la dimensión de
sección cruzada aumenta (N∞) sólo el estimador de efectos fijos de β es consistente. El
estimador de efectos fijos de (α+ i ) no es consistente, ya que el número de parámetros
aumenta a medida que N crece. Éste es el problema de parámetros incidentales discutido
por Neymar y Scout (1948) y revisado más recientemente por Lancaster (2000).
4 Si hay N áreas de salud, hay que introducir N-1 variables ficticias.
Discusión y Conclusiones
224 | P á g i n a
Cuando el modelo verdadero es el modelo de efectos fijos, expresado en (31), la
estimación de (22) por MCO conduce a estimaciones sesgadas e inconsistentes de los
parámetros. Este problema se debe a que se produce una omisión de variables relevantes.
Un primer test para contrastar la idoneidad del modelo de efectos fijos consiste en
contrastar la significatividad conjunta de los mismos.
iH :0 = 2 =….= 1N = 0 (35)
Para ello se utiliza un test de Chow:
(36)
o SCRS: suma del cuadrado de los residuos del modelo restringido, siendo el modelo
restringido la estimación por MCO del pool de todos los datos.
o SCRNR: suma del cuadrado de los residuos del modelo no restringido, siendo el
modelo la estimación con datos de panel y efectos fijos.
o T es la dimensión temporal
o N es la dimensión de sección cruzada
o K es el número de variables explicativas del modelo.
Si se rechaza la hipótesis nula, los efectos fijos son relevantes y la estimación por MCO es
insesgada e inconsistente.
Modelo con efectos aleatorios:
El problema de la pérdida de grados de libertad que se plantea en el modelo con efectos
fijos puede soslayarse si se supone que los términos i son aleatorios. En este caso se
supone:
Discusión y Conclusiones
225 | P á g i n a
1) i IID N (0, 2 )
2) it IID N(0, 2 )
3) i independientes de it
Normalmente, se considera que la especificación de efectos aleatorios es apropiada cuando
se trabaja con datos de consumidores, hogares o empresas porque se está trabajando con
una muestra de tamaño N procedente de una población mucho mayor. En ese caso, lo
fundamental es que el diseño del panel sea representativo de la población que se propone
estudiar. El efecto individual se considera como aleatorio, puesto que cada unidad
muestral ha sido extraída aleatoriamente de la población a la que pertenece.
En nuestro caso, no se ha realizado un muestreo entre las áreas de salud, sino que se
dispone de información de todas las áreas. ¿Qué sentido tiene en este caso plantearnos una
estimación por efectos aleatorios?.
Nerlove y Balestra (1996) remarcan el comentario de Haavelmo (1944) acerca de que la
población no debe considerarse como un conjunto de hogares/empresas/individuos, sino
como un infinito de decisiones. Tomando en consideración esa perspectiva, cada gestor de
área de salud ha tomado una serie de decisiones sobre la implantación de los programas de
formación continuada en cada año. Fruto de la combinación de esas decisiones se ha
alcanzado un determinado valor de indicador de eficiencia.
A partir de podemos obtener la expresión de la varianza homoscedástica.
(37)
Discusión y Conclusiones
226 | P á g i n a
Y de la matriz de varianzas covarianzas, con correlación serial solamente entre las
perturbaciones de un mismo individuo, y cero en otro caso:
Las verdaderas perturbaciones son desconocidas y por lo tanto no es posible estimar 2 y
2 . Wallace y Husain (1969) sugieren utilizar los residuos de la estimación por MCO
( )
Si el modelo de efectos aleatorios es el verdadero modelo, la estimación por MCO de (31)
conduce a estimaciones de los coeficientes insesgadas y consistentes (aunque no
eficientes). Se plantea entonces la cuestión de cómo elegir entre efectos fijos o aleatorios.
¿Estimación con efectos fijos o efectos aleatorios?
La elección entre efectos fijos y efectos aleatorios ha generado un gran debate en la
literatura econométrica. Wallace y Hussain (1969) fueron de los primeros postuladores del
modelo de efectos fijos, mientras que Balestra y Nerlove (1966) fueron partidarios del
modelo de efectos aleatorios.
Normalmente, se utiliza el test propuesto por Hausman (1978) para decidir entre efectos
fijos y efectos aleatorios. Desafortunadamente, se suele interpretar un rechazo de dicho test
como una prueba a favor de la adopción del modelo de efectos fijos, mientras que la
aceptación del test se interpreta a favor de la utilización del modelo de efectos aleatorios.
Chamberlain (1984) demostró que el modelo de efectos fijos impone una serie de
restricciones contrastables sobre el modelo en forma reducida, y dichas restricciones deben
ser validadas antes de aceptar la utilización del modelo de efectos fijos.
Discusión y Conclusiones
227 | P á g i n a
Mundlak (1978) argumentó que el modelo de efectos aleatorios presupone la exogeneidad
de todos los regresores respecto a los efectos aleatorios individuales. Por el contrario, el
modelo de efectos fijos permite la endogeneidad de todos los regresores respecto a estos
efectos individuales.
Por consiguiente, se trata de una decisión de “todo” o “nada” respecto a la exogeneidad de
los regresores y los efectos individuales. Hausman y Taylor (1981) permitieron que
algunos regresores estuviesen correlacionados con los efectos individuales frente a la
postura anterior de o “todo o nada”.
Por consiguiente, nuestro enfoque será lo más completo posible.
1) Estimar el modelo de efectos fijos y aleatorios.
2) Realizar el test de Hausman (1978)
3) Contrastar si la especificación de Hausman y Taylor (1981) puede ser una
alternativa viable.
Test de Hausman
Un supuesto crítico en la estimación del modelo es que . Se trata de un
supuesto muy importante, ya que el término de perturbación ( ) contiene al efecto
individual ( i ) que es inobservable y que puede estar correlacionado con los X it
Por ejemplo, si la capacidad de gestión de los cursos de formación está correlacionada con
el diseño de cursos que sean interesantes para los participantes y compatibles con sus
horarios, entonces el número de participantes (variable explicativa) estaría correlacionada
con el efecto individual ( i ) y por consiguiente .
Discusión y Conclusiones
228 | P á g i n a
Hausman (1978) sugiere una comparación entre el estimador de efectos fijos y de efectos
aleatorios. Ambos estimadores son consistentes bajo la hipótesis nula , pero
tienen diferentes límites probabilísticos cuando la hipótesis nula no es cierta.
Como la transformación que plantea el estimador de efectos fijos elimina el efecto
individual ( i ), el estimador de efectos fijos es consistente tanto si la hipótesis nula es
cierta como si no lo es. En cambio, el estimador de efectos aleatorios es el mejor estimador
lineal insesgado, consistente y asintóticamente eficiente bajo la hipótesis nulas, pero es
inconsistente si dicha hipótesis es falsa.
El test de Hausman se basa en la construcción del siguiente estadístico:
(39)
EA = estimador de efectos aleatorios
EF = estimador de efectos fijos
Bajo H0: se cumple que y Y finalmente se
obtiene que:
(40)
Discusión y Conclusiones
229 | P á g i n a
Test de Hausman y Taylor
Continuamos profundizando en el análisis de la posible correlación entre las variables
explicativas ( itX ) y los efectos individuales ( i ). Mundlak (1978) considera el modelo
básico de datos de panel, pero con una ecuación adicional:
;
Es decir, Mundlak (1978) supone que los efectos individuales son una combinación de los
promedios de las variables explicativas a lo largo del tiempo. Por consiguiente, los efectos
individuales estarán incorrelacionados con las variables explicativas si y solo si =0.
Mundlak (1978) supone, sin pérdida de generalidad que las X son desviaciones respecto a
la media.
Mundlak (1978) demostró que el mejor estimador lineal insesgado (22) es el estimador de
efectos fijos una vez que los efectos individuales se modelizan como función de todos los
regresores. Por el contrario, el estimador de efectos es sesgado, precisamente, porque
ignora que .
Es preciso remarcar que el test de Hausman comentado en la sección anterior es
básicamente un test cuya hipótesis nula se puede expresar también como
Mundlak (1976) supone que todas las variables explicativas están correlacionadas con los
efectos individuales. Por el contrario, el estimador de efectos aleatorios supone que no
exista correlación entre ninguna de las variables explicativas y los efectos individuales.
Discusión y Conclusiones
230 | P á g i n a
En lugar de este planteamiento de “o todo” “o nada” Hausman y Taylor (1981) consideran
un modelo en donde algunas de las variables explicativas están correlacionadas con los
efectos individuales.
donde son variables constantes en el tiempo, pero que difieren por área de salud.
Los vectores de variables explicativas se particionan en dos tipos de variables:
o y no están correlacionados con los efectos individuales ni con it son
exógenos.
o y están correlacionados con los efectos individuales son endógenos (pero
no están correlacionados con it )
Si aplicáramos la transformación de efectos fijos, conseguiríamos eliminar y con ello
desaparecería el sesgo, pero en el proceso también eliminaríamos los , y por
consiguiente, tampoco podríamos estimar .
Hausman y Taylor (1981) proponen seguir los siguientes pasos:
1) Estimar el modelo por efectos fijos.
2) Obtener los residuos del modelo.
3) Calcular el promedio de los residuos del modelo de efectos fijos a lo largo del
tiempo.
Discusión y Conclusiones
231 | P á g i n a
(43)
4) Estimar sobre utilizando como instrumentos y
(44)
Por consiguiente, lo que plantean Hausman y Taylor es estimar siguiendo un
procedimiento en dos etapas. Para que se pueda aplicar ese procedimiento se exige que el
número de variables de sea mayor o igual que el número de variables .
A diferencia de la mayor parte de los trabajos empíricos que plantean la elección entre
efectos fijos o efectos aleatorios a partir de la realización de un test de Hausman (1978),
Baltagi et al (2003) proponen un estimador “pretest” alternativo basado en el modelo de
Hausman y Taylor (1981). Este estimador “pretest” revierte al de efectos aleatorios si el
test de Hausman estándar de efectos fijos versus efectos aleatorios no resulta rechazado.
En cambio, revierte al estimador de Hausman y Taylor si la elección de regresores
estrictamente exógenos no resulta rechazada por la realización de un segundo test de
Hausman basado en el estimador de efectos fijos y el de Hausman y Taylor. Por último, el
estimador pretest revierte al de efectos fijos si la hipótesis anterior sobre la elección de
regresores estrictamente exógenos resulta rechazada.
En otras palabras, la alternativa de Hausman y Taylor propone que el investigador
considere que algunas de las variables explicativas (pero no todas) estén correlacionadas
con los efectos individuales cuando existe endogeneidad entre los regresores. Baltagi et al.
Discusión y Conclusiones
232 | P á g i n a
(2003) demuestran que la simple estimación por MCO o por efectos aleatorios conduce a
estimaciones sesgadas e inferencias erróneas. Incluso cuando no existe correlación entre
los regresores y los efectos individuales, es decir, en un mundo de efectos aleatorios, la
inferencia realizada a partir de MCO puede conducir a resultados distorsionados.
4.3.2.4 Resultados
En primer lugar, se procede a contrastar la hipótesis de “poolabilidad” de los datos, es
decir, si es adecuado realizar un análisis con datos de panel. En relación, a la
“poolabilidad” por áreas de salud se estima un modelo para el indicador de eficiencia
ponderado en cada una de las 11 áreas de salud. Se introducen como variables explicativas
la tasa de cobertura estandarizada, el coste estandarizado, el beneficio estandarizado y el
aforo estandarizado. No se introducen más variables debido al reducido número de grados
de libertad. Por otra parte, se estima el mismo modelo para el conjunto de los datos. Para
cada uno de estos modelos, se recoge el cuadrado de la suma de los residuos y se construye
el estadístico F:
F=
Este estadístico se distribuye según una F(N-1)k,N(T-k) que en nuestro caso es una
F40,22=1,67138. Como el valor obtenido (1,493) es menor que el valor crítico (1,67138)
aceptamos la hipótesis nula de “poolabilidad” de los datos por áreas de salud.
Discusión y Conclusiones
233 | P á g i n a
En relación a la poolabilidad por año, se estima un modelo para el indicador de eficiencia
ponderado para cada uno de los años por separado utilizando las mismas variables
explicativas que en el caso anterior.
F=
Este estadístico se distribuye F42,20=1,70833. Como el valor obtenido (1,464) es menor que
el valor crítico (1,70883) aceptamos la hipótesis nula de “poolabilidad” de los datos por
dimensión temporal.
A continuación, se procede a estimar el modelo para el indicador de eficiencia ponderado
mediante efectos fijos y efectos aleatorios, para posteriormente contrastar qué método es el
más adecuado. En el proceso de estimación se ha seguido un procedimiento ordenado de
adición de variables explicativas. La finalidad es contrastar si a medida que se introducen
nuevas variables, cambian de forma sustancial los coeficientes y el grado de
significatividad de las variables consideradas inicialmente. Para el estimador de efectos
fijos y de efectos aleatorios se han considerado 6 posibles especificaciones que han sido
referenciadas como F1, F2,…,F6 para la estimación con efecto fijos y A1,A2,…,A6 para la
estimación con efectos aleatorios.
Las variables explicativas introducidas en ambos modelos son:
A1 y F1: se incluyen las variables que se han utilizado para calcular el indicador de
eficiencia ponderado (tasa de cobertura estandarizado, coste estandarizado,
beneficio estandarizado, aforo estandarizado e indicador cualitativo).
Discusión y Conclusiones
234 | P á g i n a
A2 y F2: se incluyen las anteriores y además, el coste indirecto, entendiendo que
este coste es una aproximación del coste de oportunidad en términos de
sustituciones que hay que sufragar mientras los participantes están asistiendo a los
cursos de formación. (Véase Anexo 1 para consultar los detalles de la estimación de
este coste indirecto de la formación).
A3 y F3: se incluyen las anteriores variables explicativas, y además el coste
indirecto del periodo anterior, por considerar que el montante soportado en
concepto de sustituciones el año anterior, puede afectar a que la gestión del área de
salud sea más o menos proclive a organizar más o menos cursos de formación, o a
ofertar un número mayor o menor de plazas.
A4 y F4: se incluyen las mismas variables explicativas que en A1 y F1, y además,
la tasa de frecuentación en Medicina de familia, Pediatría y Enfermería, por
entender que la carga de trabajo puede ser un factor significativo a la hora de
decidir participar en cursos de formación. La tasa de frecuentación del área i en el
año t se define como:
(52)
A5 y F5: se incluyen las mismas variables que en A4 y F4, y adicionalmente, las
tasas de frecuentación de Medicina de familia, Pediatría y Enfermería del año
anterior, para considerar que una carga de trabajo elevada en el año anterior, pueda
tener algún efecto sobre la participación en cursos de formación.
A6 y F6: se incluyen todas las variables explicativas consideradas, es decir, las
incluidas en A5 y F5, y además, el coste indirecto del año corriente y el del año
anterior.
Discusión y Conclusiones
235 | P á g i n a
Una limitación del estudio es que no se dispone de información desagregada de los
participantes en cursos de formación, de acuerdo con su categoría profesional, y por
consiguiente, no se puede realizar un análisis de la eficiencia según la categoría
profesional. En cambio, para la variable tasa de frecuentación sí que se dispone de una
clasificación en Medicina de familia, Pediatría y Enfermería.
En relación a la estimación con efectos fijos observamos los siguientes resultados:
Respecto a los componentes del indicador de eficiencia ponderado, sólo son
significativos la tasa de cobertura estandarizada, el coste estandarizado y el
indicador cualitativo estandarizado. Un aumento de un punto en el coste
estandarizado tiene un impacto negativo sobre el indicador de eficiencia (entre -2,5
y -2,2 puntos), mientras que un incremento de un punto en la tasa de cobertura
estandarizada o en el indicador cualitativo estandarizado tiene un impacto positivo
sobre el indicador de eficiencia ponderado (entre 2,1 y 2 puntos).
Un incremento en la tasa de frecuentación de Pediatría tanto del año actual como
del año anterior tiene un impacto negativo sobre la eficiencia ponderada. No se
aprecia significatividad para la tasa de frecuentación de Medicina generadle
Familia ni de Enfermería.
Para los seis modelos de efectos fijos estimados (F1,…F6), el test de
significatividad conjunta de las variables explicativas introducidas rechaza la
hipótesis nula de que todos los coeficientes son conjuntamente iguales a cero.
Para los seis modelos de efectos fijos estimados (F1,…,F6), el test de efectos fijos
rechaza la hipótesis nula de que los efectos fijos introducidos para cada área de
salud son conjuntamente iguales a cero. Por consiguiente, la estimación por
Discusión y Conclusiones
236 | P á g i n a
mínimos cuadrados ordinarios habría dado lugar a estimaciones sesgadas e
inconsistentes debido a un problema de omisión de variables relevantes.
A continuación, en la tabla nº 70, se detallan los resultados obtenidos con el modelo de
datos de panel utilizando los efectos fijos.
Las especificaciones que aparecen como F1, F2, F3,F4,F5 y F6 son:
F1: tasa de cobertura estandarizado, coste estandarizado, beneficio estandarizado,
aforo estandarizado e indicador cualitativo.
F2: se incluyen las anteriores y además, el coste indirecto, entendiendo que este
coste es una aproximación del coste de oportunidad en términos de sustituciones
que hay que sufragar mientras los participantes están asistiendo a los cursos de
formación. En el campo de la formación especializada, muchas de estas
sustituciones pueden ser llevadas a cabo por residentes, pero no ocurre así en el
campo de la formación continuada.
F3: se incluyen las anteriores variables explicativas, y además el coste indirecto del
periodo anterior.
F4: se incluyen las mismas variables explicativas que en F1, y además, la tasa de
frecuentación en Medicina de familia, Pediatría y Enfermería
F5: se incluyen las mismas variables que en F4, y adicionalmente, las tasas de
frecuentación de Medicina de familia, Pediatría y Enfermería del año anterior.
F6: se incluyen todas las variables explicativas consideradas, es decir, las incluidas
en F5 y además, el coste indirecto del año corriente y el del año anterior.
Discusión y Conclusiones
237 | P á g i n a
Tabla 70. Estimación del modelo de datos de panel con efectos fijos F1 F2 F3 F4 F5 F6
Tasa de cobertura estandarizada 2,101** 2,038** 2,046** 2,061** 2,050** 2,052***
(0,64) (0,64) (0,67) (0,66) (0,66) (0,68)
Coste estandarizado -2,541** -2,628** -2,511** -2,460** -2,215** -2,259**
(0,88) (0,87) (0,87) (0,98) (0,74) (0,75)
Aforo estandarizado 1,580 1,322 1,373 0,728 1,023 0,622
(0,97) (0,98) (1,11) (0,95) (0,70) (0,85)
Beneficio estandarizado 1,699 2,084 2,190 1,920 2,398* 3,163*
(1,72) (1,74) (1,96) (1,53) (1,10) (1,33)
Indicador cualitativo 2,111** 2,200** 2,018** 2,047** 2,031** 2,071**
(0,72) (0,72) (0,66) (0,78) (0,71) (0,79)
Costes indirectos (millones €) -0,172 -0,147 -0,115
(0,14) (0,15) (0,10)
Costes indirectos (año anterior) 0,026 -0,098
(0,14) (0,09) Frecuentación: Medicina de familia 0,153 0,478 0,528
(0,36) (0,53) (0,54)
Frecuentación: Pediatría -0,702*** -1,316*** -1,494***
(0,18) (0,28) (0,13)
Frecuentación: Enfermería 0,319 1,406 1,431
(1,22) (1,22) (1,24) Frecuentación: Med. familia (año anterior) 0,360 0,440
(0,44) (0,46) Frecuentación: Pediatría (año anterior) -0,480*** -0,572***
(0,12) (0,13) Frecuentación: Enfermería (año anterior) 0,215 -0,106
(1,38) (1,44)
Constante 1,627*** 1,859*** 1,651** 3,368** 2,443** 2,348**
(0,43) (0,47) (0,60) (1,45) (0,90) (0,65) Test de significatividad conjunta del modelo
F(5,50) = 9,07 Prob > F = 0,0000
F(6,49) = 7,91 Prob > F = 0,0000
F(7,37) = 4,29 Prob > F = 0,0015
F(8,31) = 3,87 Prob > F = 0,0029
F(11,19) = 3,01 Prob > F = 0,0170
F(13,17) = 3,37 Prob > F = 0,0186
Test de efectos fijos
F(10, 49) = 2,55 Prob > F = 0,0144
F(10, 37) = 2,50 Prob > F = 0,0211
F(8, 31) = 2,89 Prob > F = 0,0157
F(8, 19) = 3,30 Prob > F = 0,0156
F(8, 17) = 3,18 Prob > F = 0,0214
F(8, 17) = 3,18 Prob > F = 0,0214
N 66 66 55 48 39 39
R2 0,476 0,492 0,448 0,277 0,593 0,633 Nota: ***significativo al 1%, **significativo al 5%, * significativo al 10% Fuente: Elaboración propia con la utilización del programa Stata versión 11.0
Discusión y Conclusiones
238 | P á g i n a
Las estimaciones del modelo con efectos aleatorios permiten obtener las siguientes
conclusiones:
Todos los componentes del indicador de eficiencia resultan significativos en las
estimaciones A5 y A6 con el signo esperado. La tasa de cobertura estandarizada y
el coste estandarizado con los elementos que generan un mayor impacto. Un
incremento de un punto porcentual en la tasa de cobertura estandarizada aumenta
en dos puntos el indicador de eficiencia, mientras que un incremento del coste
estandarizado tiene un impacto de magnitud similar, pero de signo contrario. El
indicador cualitativo tiene un impacto superior (entre 1,8 y 1,9 puntos) respecto al
aforo estandarizado y el beneficio estandarizado. Este aspecto pone de manifiesto
que el componente de calidad tiene una gran repercusión en el indicador de
eficiencia, y con ello se valora la coherencia de la formación con los objetivos
estratégicos así como su pertinencia. La obtención de este componente de calidad
supone haber pasado varios filtros dentro del sistema acreditador regional.
El coste indirecto del año en curso no resulta significativo, pero sí el coste indirecto
del año anterior. Un aumento de un millón de euros en el coste indirecto implica
una disminución del indicador de eficiencia ponderado (-0,12 puntos). De todas
formas, el impacto del coste indirecto del año anterior es unas dieciséis veces
inferior al impacto del coste estandarizado. En cuanto al coste indirecto una mejora
que enriquecería el estudio, sería considerar la facilidad para cambiar guardias
/turnos, para lo que habría que contar con una clasificación por categorías
profesionales y especialidad de los profesionales que asisten a las acciones
formativas.
Discusión y Conclusiones
239 | P á g i n a
Respecto a las tasas de frecuentación, resultan significativas tanto la tasa de
Medicina de Familia como la de Pediatría, y esto sucede, tanto para el año corriente
como para el año anterior. Sin embargo, el impacto negativo de la tasa de
frecuentación de Pediatría es muy superior respecto a la tasa de frecuentación de
Medicina de familia. En el año corriente, el impacto de la tasa de frecuentación de
Pediatría triplica al impacto de Medicina de familia. Respecto al efecto de la
variable retardada, el impacto de la tasa de frecuentación de Pediatría del año
anterior es cinco veces superior al impacto de la tasa de frecuentación de Medicina
de familia del año anterior. Este hecho que llama la atención podría deberse a dos
factores:
1) Acreditación de la Unidad Multiprofesional de Pediatría en 2011, que
aunque afecta al campo de la formación especializada, sobre todo, supone la
implicación de profesionales cuya formación pertenece al ámbito de la
formación continuada, siendo uno de los requisitos para mantener la
acreditación su reciclaje como profesionales.
2) Cambios surgidos en cuanto a la designación de la jefatura de estudios,
con las repercusiones a nivel de organización que conllevan siempre los
cambios en las estructuras asistenciales.
El test de Wald de significatividad conjunta del modelo constata que todos los
modelos planteados son significativos.
El test de Breush-Pagan contrasta la hipótesis nula de que la varianza del término
inobservable es igual a cero. En todos los casos, A1..,A6, se rechaza la hipótesis
nula, lo cual implica que la estimación por MCO no es apropiada.
Discusión y Conclusiones
240 | P á g i n a
A continuación, en la tabla nº 71, se detallan los resultados obtenidos con el modelo de
datos de panel utilizando los efectos aleatorios.
Las especificaciones que aparecen como A1, A2,A3,A4,A5 y A6 son:
A1: tasa de cobertura estandarizado, coste estandarizado, beneficio estandarizado,
aforo estandarizado e indicador cualitativo.
A2: se incluyen las anteriores y además, el coste indirecto, entendiendo que este
coste es una aproximación del coste de oportunidad en términos de sustituciones
que hay que sufragar mientras los participantes están asistiendo a los cursos de
formación. En el campo de la formación especializada muchas de estas
sustituciones pueden ser llevadas a cabo por residentes, pero no ocurre así en el
campo de la formación continuada.
A3: se incluyen las anteriores variables explicativas, y además el coste indirecto del
periodo anterior.
F4: se incluyen las mismas variables explicativas que en A1, y además, la tasa de
frecuentación en Medicina de familia, Pediatría y Enfermería
A5: se incluyen las mismas variables que en A4, y adicionalmente, las tasas de
frecuentación de Medicina de familia, Pediatría y Enfermería del año anterior.
A6: se incluyen todas las variables explicativas consideradas, es decir, las incluidas
en A5 y además, el coste indirecto del año corriente y el del año anterior.
Discusión y Conclusiones
241 | P á g i n a
Tabla 71. Estimación del modelo de efectos aleatorios A1 A2 A3 A4 A5 A6 Tasa de cobertura estandarizada 2,154*** 2,095*** 2,172*** 2,534** 2,265** 2,031**
(0,52) (0,52) (0,55) (0,92) (0,87) (0,71)
Coste estandarizado -2,568*** -2,622*** -2,715*** -2,147*** -2,105*** -2,063***
(0,59) (0,59) (0,57) (0,58) (0,51) (0,43)
Aforo estandarizado 1,177 1,022 0,758 1,503*** 1,722** 1,478**
(0,64) (0,64) (0,63) (0,43) (0,58) (0,55)
Beneficio estandarizado 1,178 1,419*** 1,539*** 1,556*** 1,521*** 1,578***
(0,70) (0,51) (0,65) (0,67) (0,60) (0,74)
Indicador cualitativo 1,813** 1,920*** 1,971*** 1,928** 1,689** 1,827**
(0,59) (0,59) (0,59) (0,71) (0,79) (0,73)
Costes indirectos (millones €) -0,188 -0,197 -0,101
(0,13) (0,14) (0,12)
Costes indirectos (año anterior) -0,105** -0,122**
(0,04) (0,01)
Frecuentación: Medicina de familia -0,203*** -0,218*** -0,212***
(0,06) (0,01) (0,01)
Frecuentación: Pediatría -0,716*** -0,607*** -0,737***
(0,15) (0,12) (0,15)
Frecuentación: Enfermería 0,373 0,187 0,320
(0,81) (1,21) (1,24)
Frecuentación: Med. Familia (año anterior) -0,270** -0,226**
(0,08) (0,09)
Frecuentación: Pediatría (año anterior) -1,241*** -1,164***
(0,29) (0,23)
Frecuentación: Enfermería (año anterior) -0,250 -0,210
(1,13) (1,15)
Constante 1,627* 1,881** 1,778** 0,442 0,678 2,282
(0,65) (0,67) (0,63) (3,34) (3,31) (3,63)
Test de Wald significatividad conjunta
2 (5) =59.74 Prob > 2 = 0.0000
2 (6) =62.80 Prob > 2 = 0.0000
2 (7) =48.67 Prob > 2 = 0.0000
2 (8) = 42.02 Prob > 2 = 0.0000
2 (11) = 32.60 Prob > 2 = 0.0006
2 (13) = 33.50 Prob > 2 = 0.0014
N 66 66 55 48 39 39
R2 0,476 0,492 0,448 0,277 0,593 0,633
Test de Breush-Pagan
2 (1) = 6.65 Prob > 2 = 0.0099
2 (1) = 7.43 Prob > 2 = 0.0064
2 (1) = 6.85 Prob > 2 = 0.0088
2 (1) = 6.54 Prob > 2 = 0.0107
2 (1) = 7.20 Prob > 2 = 0.0079
2 (1) = 7.46 Prob > 2 = 0.0063
Nota: ***significativo al 1%, **significativo al 5%, * significativo al 10% Fuente: Elaboración propia con la utilización del programa Stata vesión 11.0
Discusión y Conclusiones
242 | P á g i n a
A continuación, se procede a comparar las estimaciones de efectos fijos y aleatorios
mediante el test de Hausman (1978). Este test sirve para comparar un estimador que
sabemos que es consistente (efectos fijos) con otro estimador que es eficiente bajo (efectos
aleatorios). La hipótesis nula especifica que el estimador de efectos aleatorios es, de hecho,
un estimador eficiente y consistente de los verdaderos parámetros. Si este es el caso, no
deberían existir diferencias sistemáticas entre los dos estimadores. El estadístico obtenido
se distribuye como una chi-cuadrado en donde el número de grados de libertad es el rango
de la diferencia entre las matrices de varianzas de ambos estimadores. En todos los
contrastes, se obtiene la misma conclusión: el modelo de efectos aleatorios es preferido
respecto al modelo con efectos fijos.
A continuación, en la tabla nº 72, se detallan los resultados obtenidos en el test de
Hausmann, al comparar los efectos fijos(F) con los aleatorios (A)
Tabla 72. Test de Hausman Comparación Estadístico p-value Resultado
F1 vs. A1 2(5) = 2,41
Prob>2 = 0,7900
Aceptamos H0 Estimación por efectos aleatorios
F2 vs. A2 2 (6) = 3,18
Prob>2= 0,7861
Aceptamos H0 Estimación por efectos aleatorios
F3 vs. A3 2 (7) = 5,48
Prob>2 =0,6016
Aceptamos H0 Estimación por efectos aleatorios
F4 vs. A4 2 (8) = 7,75
Prob >2 = 0,4552
Aceptamos H0 Estimación por efectos aleatorios
F5 vs. A5 2 (11) = 8,07
Prob>2 =0,7071
Aceptamos H0 Estimación por efectos aleatorios
F6 vs. A6 2 (13) = 8,05
Prob>2= 0,8403
Aceptamos H0 Estimación por efectos aleatorios
Fuente: Elaboración propia con la utilización del programa Stata versión 11.0 Una vez que hemos llegado a la conclusión de que es mejor estimar por efectos aleatorios,
partimos de la última estimación realizada (A6) y procedemos a introducir algunas
Discusión y Conclusiones
243 | P á g i n a
variables que se mantienen constantes en el tiempo, y que por consiguiente, no podíamos
utilizar cuando planteábamos la comparación entre efectos fijos y efectos aleatorios.
A7: introduce el número de hospitales, centros de salud y ambulatorios para cada
área de salud.
A8: introduce las mismas variables que A7, y además, la superficie en kilómetros
cuadrados de cada área de salud.
A9: introduce las mismas variables que A8 y además, el área promedio que abarca
cada Centro de salud y cada consultorio, que se obtiene al dividir el número de
kilómetros cuadrados correspondientes a cada área de salud entre el número de
centros de salud o el número de consultorios, respectivamente. La finalidad de
introducir estos indicadores de superficie en las regresiones A8 y A9 es constatar si
existe algún efecto diferencial de las áreas más grandes respecto a las más
pequeñas, en términos de costes de desplazamiento (a mayor distancia, mayor
tiempo) para poder asistir a un curso de formación.
Los resultados de estas nuevas estimaciones se muestran en la Tabla 73. En relación a la
tasa de cobertura, coste, aforo, beneficio e indicador cualitativo se mantienen las mismas
conclusiones extraídas en la tabla anterior. También se mantienen los mismos resultados
para el coste indirecto del año anterior, y las tasas de frecuentación en Medicina de familia
y Pediatría. Respecto a las nuevas variables:
Se aprecia un fuerte efecto positivo sobre la eficiencia derivado de la existencia de
un Hospital en el área de salud. Las áreas de salud están conformadas por un
Hospital, y diversos Centros de Atención Primaria y Consultorios. El Hospital
supone un centro neurálgico de formación en general, y de formación continuada
en particular. La mayoría de los profesionales que asisten a cursos de formación
Discusión y Conclusiones
244 | P á g i n a
continuada desempeñan sus labores asistenciales en los Hospitales del área de
Salud, representando un alto porcentaje en relación a los que trabajan en Centros de
Salud/Consultorios. De hecho, la gran mayoría de la formación continuada que se
imparte se lleva a cabo en las instalaciones de los Hospitales.
Posiblemente, la distribución geográfica y la configuración de la red de Centros de
Primaria/Consultorios, alejada de la “city” dificulten la asistencia a estos cursos.
Siendo consciente de esta problemática, en los últimos años se han venido
impartiendo acciones formativas que intentan aglutinar varios Centros de Salud
para intentar integrarlos en la red formativa.
Por el contrario, un mayor número de consultorios conlleva una disminución de la
eficiencia, mientras que el número de Centros de salud no resulta significativo.
También se observa que el ratio superficie entre consultorios es significativo y
negativo. En este sentido, se ha de destacar que el hecho de que un consultorio
tenga que abarcar un mayor radio geográfico tiene un impacto negativo sobre la
eficiencia en la formación continuada. Hay que tener en cuenta que las acciones
formativas que han sido consideradas en el estudio son acciones que han de contar
con unos requisitos mínimos para su impartición de cara a la acreditación, entre
otros, por ejemplo, contar con un número mínimo de participantes, que es 10. Sin
esta ratio no podrían impartirse, a excepción de talleres y sesiones cuyo ratio es 5.
Llegar como mínimo a 10 participantes, considerando la dispersión geográfica no
siempre es fácil. Una de las alternativas a esta situación es impartir “in situ” la
formación, algo que está ocurriendo con algunas iniciativas enmarcadas dentro del
Plan de Salud 2010-15, en la que se está llevando a cabo un desplegable de
Discusión y Conclusiones
245 | P á g i n a
acciones formativas, centradas por ejemplo, en la mejora de salud con iniciativas
centradas en el ejercicio físico o acciones formativas enmarcadas dentro del
programa Perséfone5, en el que se imparten acciones formativas sobre Reanimación
Cardiopulmonar en varios Centros de Salud.
A continuación, en la tabla nº 73, se detallan los resultados obtenidos utilizando modelo de
efectos aleatorios que incluyen variables constantes en el tiempo, que no podían
compararse al utilizar la comparación entre efectos fijos y efectos aleatorios.
A7: introduce el número de hospitales, centros de salud y ambulatorios para cada
área de salud.
A8: introduce las mismas variables que A7, y además, la superficie en kilómetros
cuadrados de cada área de salud.
A9: además, de incluir las variables que aparecen en A8, tiene en cuenta el área
promedio que abarca cada centro de salud y cada consultorio, que se obtiene al
dividir el número de kilómetros cuadrados correspondientes a cada área de salud
entre el número de centros de salud o el número de consultorios, respectivamente.
Tabla 73. Estimaciones adicionales por efectos aleatorios (incluyendo variables constantes en el tiempo) A6 A7 A8 A9 Tasa de cobertura estandarizada 2,031** 2,024*** 2,093*** 2,035*** (0,71) (0,65) (0,63) (0,62) Coste estandarizado -2,063*** -2,067*** -2,076*** -2,056*** (0,43) (0,54) (0,66) (0,65) Aforo estandarizado 1,478** 1,466** 1,477** 1,432** (0,55) (0,60) (0,58) (0,57) Beneficio estandarizado 1,578*** 1,580** 1,456** 1,559*** (0,74) (0,66) (0,64) (0,60) Indicador cualitativo 1,827** 1,857** 1,883** 1,875** (0,73) (0,77) (0,78) (0,70)
5 http://www.murciasalud.es/pagina.php?id=272201&idsec=5514
Discusión y Conclusiones
246 | P á g i n a
Costes indirectos (millones €) -0,101 -0,007 -0,033 -0,056 (0,12) (0,10) (0,10) (0,11) Costes indirectos (año anterior) -0,122** -0,128** -0,130** -0,132** (0,01) (0,02) (0,02) (0,02) Frecuentación: Medicina de familia -0,212*** -0,217*** -0,215*** -0,214*** (0,01) (0,02) (0,02) (0,02) Frecuentación: Pediatría -0,737*** -0,761*** -0,783*** -0,770*** (0,15) (0,12) (0,11) (0,14) Frecuentación: Enfermería 0,320 0,138 0,410 0,849 (1,24) (1,15) (1,13) (1,35) Frecuentación: Med. Familia (año anterior) -0,226** -0,296** -0,260** -0,257** (0,09) (0,09) (0,09) (0,09) Frecuentación: Pediatría (año anterior) -1,164*** -1,177*** -1,125*** -1,139*** (0,23) (0,25) (0,24) (0,24) Frecuentación: Enfermería (año anterior) -0,210 1,991 2,036 1,246 (1,15) (1,27) (1,23) (1,59) Hospitales 4,556* 4,429** 4,431** (2,16) (2,18) (2,15) Centros de salud 0,305 0,469 0,567 (0,25) (0,26) (0,70) Consultorios -0,343** -0,460** -0,421* (0,12) (0,14) (0,25) Superficie 0,002 0,002 (0,00) (0,01) Ratio superficie/centros de salud 0,013 (0,00) Ratio superficie/consultorios -0,019** (0,00) Constante 2,282 -5,340 -11,635 -9,221 (3,63) (4,69) (6,11) (7,01)
Test de Wald significatividad conjunta
2 (13) = 33,50 Prob > 2 = 0,0014
2 (15) = 49,72 Prob > 2 = 0,0000
2 (16) = 55,10 Prob > 2 = 0,0000
2 (18) = 52,76 Prob > 2 = 0,0000
N 39 39 39 39
Test de Breush-Pagan
2 (1) =7,40 Prob > 2 = 0,0065
2 (1) = 7,38 Prob >2 = 0,0054
2 (1) = 7,01 Prob > 2 = 0,0081
2 (1) = 8,33 Prob > 2 = 0,0039
Nota: ***significativo al 1%, **significativo al 5%, * significativo al 10% Fuente: Elaboración propia con la utilización del programa Stata versión 11.0
Discusión y Conclusiones
247 | P á g i n a
A continuación, y siguiendo el desarrollo de la parte teórica se propone utilizar el método
propuesto por Hausman y Taylor (1981), es decir, que algunas de las variables explicativas
están correlacionadas con los efectos individuales. De todas las variables explicativas
utilizadas, consideramos que el coste estandarizado y el aforo estandarizado pueden estar
influenciados por características específicas del área de salud. Por ejemplo, la fijación de
pautas internas sobre el tamaño máximo de los grupos admitidos en cada una de las
ediciones de los cursos de formación podría afectar a la variable aforo.
Hay que considerar, además, que desde que se consolidó el proceso de acreditación en
2009 hasta la actualidad, la tendencia en la planificación de los cursos ha ido variando en
cuanto al número de horas, pasando de cursos con una duración que en algunos casos
llegaba a 20 horas a acciones formativas cuya media no suele superar las 8 horas, de ahí
que esta variable explicativa sea una de las que más significatividad aportan. En un
contexto como el sanitario este cambio de estrategia formativa tiene un alto impacto,
porque posibilita no sólo un mayor número de inscritos en los cursos, sino una menor tasa
de abandono, y en consecuencia unos mejores resultados en cuanto a ejecución y
evaluación.
Asimismo, el cambio en la tendencia podría explicarse por el efecto de una variable
inobservable, fruto de las directrices que reciben los responsables de formación continuada
en las reuniones previas a la aprobación en Comisión Paritaria. En este sentido, por parte
de la Dirección General de Planificación ha venido recomendándose la planificación de
acciones formativas con menor número de horas.
Discusión y Conclusiones
248 | P á g i n a
El hecho de que el responsable de formación de cada área sea más o menos cuidadoso a la
hora de reutilizar material de un curso para otro o no ajustar exactamente el material al
número de participante repercutiría sobre el coste estandarizado. Además, otro efecto
inobservable que podría repercutir en esta variable explicativa estaría referida a los
indicadores del Contrato Gestión, que todos los años tienen que presentar las diferentes
áreas de salud. Este documento, en resumen, recopila una serie de indicadores referidos a
formación especializada y a formación continuada donde se miden resultados, estando uno
de ellos relacionado con el coste por hora, que en su conjunto repercute en el resultado
global de la eficiencia de dicha área de salud.
La Tabla 74 muestra los resultados de la estimación utilizando el método de Hausman y
Taylor. Se han realizado cuatro estimaciones (HT6, HT7, HT8 y HT9) para establecer un
paralelismo con las estimaciones de efectos aleatorios (A6, A7, A8 y A9). La comparación
de la estimación por efectos aleatorios y por Hausman y Taylor (HT) pone de manifiesto
que, en esta última, los coeficientes estimados para algunas variables son
significativamente inferiores:
El efecto del aforo estandarizado es 0,2 puntos porcentuales inferior en el modelo
de HT (1,428 frente a 1,678).
El efecto del coste indirecto del año anterior es 0,02 puntos porcentuales inferior en
el modelo de HT (-0,132 frente a -0,152).
El efecto de la tasa de frecuentación de pediatría del año pasado es 0,1 puntos
porcentuales inferior en el modelo de HT.
El efecto del número del número de consultorios es 0,2 puntos inferior en el modelo
de HT respecto al de efectos aleatorios (-0,622 frente a -0,421).
Discusión y Conclusiones
249 | P á g i n a
El efecto de la variable “ratio de la extensión geográfica del área de salud entre
número de consultorios” es -0,027 en el modelo de efectos aleatorios frente a -
0,019 en el de HT.
A continuación, en la tabla nº 74, se detalla los resultados de la estimación tras utilizar el
método de Hausman y Taylor.
Las cuatro estimaciones realizadas (HT6, HT7, HT8 y HT9) tenían como finalidad
establecer un paralelismo con las estimaciones de efectos aleatorios (A6, A7, A8 y A9).
Tabla 74. Estimación mediante el método de Hausman y Taylor HT6 HT7 HT8 HT9
Tasa de cobertura estandarizada 2,052** 2,026*** 2,075*** 2,055***
(0,82) (0,85) (0,85) (0,82)
Coste estandarizado -2,065** -2,067** -2,076** -2,056**
(0,95) (0,96) (0,96) (0,95)
Aforo estandarizado 1,678** 1,666** 1,677** 1,678**
(0,55) (0,60) (0,58) (0,57)
Beneficio estandarizado 1,578 1,580 1,656 1,557
(0,86) (0,86) (0,86) (0,80)
Indicador cualitativo 1,827** 1,857** 1,885** 1,875**
(0,75) (0,77) (0,78) (0,70)
Costes indirectos (millones €) -0,102 -0,007 -0,055 -0,056
(0,12) (0,10) (0,10) (0,12)
Costes indirectos (año anterior) -0,122** -0,128** -0,150** -0,152**
(0,01) (0,02) (0,02) (0,02)
Frecuentación: Medicina de familia -0,222*** -0,227*** -0,225*** -0,226***
(0,02) (0,02) (0,02) (0,02)
Frecuentación: Pediatría -0,757*** -0,762*** -0,785*** -0,770***
(0,15) (0,12) (0,11) (0,16)
Frecuentación: Enfermería 0,520 0,258 0,620 0,867
(1,26) (1,25) (1,25) (1,55)
Frecuentación: Med. Familia (año anterior) -0,226** -0,276** -0,260** -0,257**
(0,07) (0,07) (0,07) (0,07)
Frecuentación: Pediatría (año anterior) -1,266** 1,277*** 1,225** 1,257**
(0,55) (0,55) (0,56) (0,56)
Frecuentación: Enfermería (año anterior) -0,220 1,772 2,056 1,266
(1,15) (1,27) (1,25) (1,57)
Hospitales 4,556* 4,427** 4,452**
Discusión y Conclusiones
250 | P á g i n a
(2,26) (2,28) (2,25)
Centros de salud 0,505 0,667 0,567
(0,25) (0,26) (0,70)
Consultorios -0,565** -0,666** -0,622*
(0,22) (0,26) (0,25)
Superficie 0,002 0,002
(0,00) (0,02)
Ratio superficie/centros de salud 0,025
(0,00)
Ratio superficie/consultorios -0,027**
(0,00)
Constante 2,282 -5,560 -11,655 -7,221
(3,63) (4,67) (6,11) (7,01)
Test de Wald significatividad conjunta
2 (13) = 33,85 Prob > 2 = 0,0010
2 (15) = 50,72 Prob > 2 = 0,0000
2 (16) = 55,62 Prob > 2 = 0,0000
2 (18) = 54,78 Prob > 2 = 0,0000
N 39 39 39 39 Nota: ***significativo al 1%, **significativo al 5%, * significativo al 10% Fuente: Elaboración propia con la utilización del programa Stata versión 11.0 Para elegir entre efectos aleatorios y Hausman y Taylor se realiza un test de Hausman al
igual que se hizo antes para elegir entre efectos fijos y efectos aleatorios. En todos los
casos, se acepta la hipótesis nula, lo que confirma que el modelo de efectos aleatorios es el
que mejor explica el indicador de eficiencia ponderado.
Tabla 75. Test de Hausman para comparar modelo de efectos aleatorios y modelo Hausman y Taylor Comparación Estadístico p-value Resultado A6 vs. HTT6 2(13) = 3,41
Prob>2 =
0,9990 Aceptamos H0 Estimación por efectos aleatorios
A7 vs. HTT7 2 (16) = 3,78
Prob>2= 0,9992
Aceptamos H0 Estimación por efectos aleatorios
A8 vs. HTT8 2 (17) = 4,89
Prob>2 =0,9980
Aceptamos H0 Estimación por efectos aleatorios
A9 vs. HTT9 2 (19) = 10,55
Prob >2 = 0,9680
Aceptamos H0 Estimación por efectos aleatorios
Fuente: Elaboración propia con la utilización del programa Stata versión 11.0
Si comparamos los resultados obtenidos en el Test de Hausman y el de Hausman Taylor
observamos que la introducción de las nuevas variables que aluden al tema de superficie en
Discusión y Conclusiones
251 | P á g i n a
kilómetros cuadrados, y al promedio que abarca a cada consultorio y Centros de salud
repercuten en la pérdida de significatividad en algunas variables, tales como el coste, aforo,
coste indirecto y frecuentación. En el fondo, este es una aproximación más real de los
datos, ya que aunque el mayor peso de la formación continuada pivota en torno a los
Hospitales, en cuanto a ubicación física, lo cierto es que el mapa sanitario lo conforman,
además, los Centros de Salud y consultorios. Se pone de manifiesto que la gran dispersión,
la distribución geográfica y dificultad de acceso a la formación por parte de los
profesionales que forman parte de estos últimos dispositivos, influyen en los datos
obtenidos.
Por último, ya que se ha introducido en el análisis la variable referente al coste indirecto
del año anterior, también se consideró la posibilidad de que la eficiencia ponderada del año
pasado influyese sobre la eficiencia del año en curso, de manera que las áreas de salud
obtuviesen una especie de “retroalimentación” de su experiencia pasada. Para ello se
propuso utilizar la metodología de Arellano y Bond (1991). Los resultados evidenciaron
que la variable retardada no era significativa. Aunque este resultado pueda parecer un poco
decepcionante, es coherente con el hecho de que el indicador de eficiencia ponderado
constituye todavía una propuesta, y la información sobre el mismo aún no ha sido
difundida a las áreas de salud. Por consiguiente, en un futuro próximo, cuando las áreas de
salud tengan disponible la información completa sobre el indicador de eficiencia
ponderado de los últimos años, sí que sería recomendable volver a plantear un análisis con
variables retardadas.
Discusión y Conclusiones
252 | P á g i n a
4.4. DISCUSIÓN Y CONCLUSIONES
Esta tesis surgió como un proyecto, cuya finalidad no era otra sino la de generar un
indicador de eficiencia con el que se pudiera valorar el alcance de la formación continuada
en cuanto a las variables “pedagógicas” más relevantes, tales como participantes, número
de ediciones o calidad, integrando también otras que están más relacionadas con el
concepto “in sensu estricto” de eficiencia, tales como el coste monetario.
El tema de valorar el impacto de la formación no es un tema baladí. La formación en
cualquier organización es una de las más importantes estrategias de desarrollo de recursos
humanos de las que se dispone. Adicionalmente, en nuestro caso particular, la calidad de la
formación de los recursos humanos tiene un alto impacto en la actividad asistencial y por
ende en la población diana, esto es, en los pacientes. La formación, permite fomentar la
capacitación y el desarrollo personal que han de ser parte de los objetivos estratégicos de la
organización. En este sentido, la formación ha de ser considerada como una herramienta
estratégica y el hecho de no medir sus resultados es síntoma de una praxis ineficiente.
Además, la formación continuada, al margen de incidir en la viabilidad para poner en
funcionamiento un sistema de carrera profesional, es considerada como un mérito
profesional, por lo que contar con un indicador que dé cuenta de la eficiencia de los
recursos invertidos y de los resultados obtenidos es de gran utilidad para determinar qué
dirección seguir en la planificación de la formación y decidir qué mejoras llevar a cabo.
Discusión y Conclusiones
253 | P á g i n a
El impacto de la formación apunta a ser uno de los indicadores a tener muy en cuenta de
cara a la planificación de la formación. En este sentido, el último borrador del Boletín de
las Cortes Generales que aún está en el Senado, con fecha 10 de agosto de 2015, señala que
sólo se financiarán acciones formativas en las que se mida el impacto de las mismas, y ya
se apunta a la valoración de los módulos en términos económicos, es decir, tomando como
referencia el coste por participante y hora de formación. Por lo tanto, resulta gratificante
comprobar cómo el objetivo de esta tesis tendrá su utilidad también en un futuro de cara a
la gestión de la formación continuada.
Aún siendo consciente de la complejidad y dificultad de medir los resultados de la
formación continuada, con este proyecto se intenta dar un pequeño paso para poner los
cimientos y profundizar en un concepto poco trabajado, a tenor de los resultados obtenidos
en la revisión bibliográfica: eficiencia, que sobre todo, fomente la función pedagógica de la
formación, sin descuidar la función social y la función económica (con sus limitaciones),
las cuales forman parte del carácter inherente de la formación en el sentido amplio del
concepto.
Si bien es cierto que la formación continuada cuenta con unas características específicas y
especiales que la definen, el indicador que se presenta es extrapolable a cualquier ámbito
educativo, adaptándolo al contexto particular que sea objeto de evaluación. En este sentido,
por ejemplo, la tasa de cobertura en un contexto de grado universitario no estará
determinada tanto por el cociente obtenido entre número de participantes y empleados,
sino se computará a partir del número de alumnos matriculados y el que finalmente supere
la asignatura o curso.
Discusión y Conclusiones
254 | P á g i n a
Es conveniente destacar que en la actualidad existe un amplio abanico de modelos relativos
a planificación, desarrollo y evaluación de la formación, en sentido general, y que cada vez
se hace más hincapié en los procesos previos de detección de necesidades y en la
formulación precisa de objetivos en coherencia con los sistemas de evaluación. Además,
gran parte de la atención se ha focalizado en el diseño de instrumentos de evaluación no
sólo centrados en valorar el grado de alcance de conocimientos, sino en la transferencia al
puesto de trabajo, a ser posible a medio/largo plazo. Sin embargo, todo este amplio
desarrollo contrasta con la evaluación de la eficiencia de un programa o plan de formación
una vez que éste ha finalizado, siendo ésta un área mucho menos trabajada en la
investigación teórica y empírica.
El indicador que se plantea en este proyecto es un indicador de “microeficiencia”,
entendiendo por “micro” un contexto pedagógico que tiene en cuenta el coste económico,
traducido en coste directo. No obstante, en el proyecto hemos analizado otras dimensiones
del coste: el coste indirecto (estimado a partir del coste de sustitución) y la tasa de
frecuentación (número total de consultas atendidas en relación a la población asignada)
para validar el indicador mediante un modelo de datos de panel.
Si habláramos de un indicador de “macroeficiencia” aludiríamos a modelos de análisis de
coste/beneficio que podemos encontrar en Horton (2001), Phillips (2001) o Rodríguez y
Mosteira (2001). En estos modelos, los autores se han centrado más en el análisis de
costes/beneficios, desde un punto de vista mucho más global, más centrado en los
resultados para la organización.
Discusión y Conclusiones
255 | P á g i n a
Uno de los aspectos más sorprendentes es que las fórmulas planteadas en estos indicadores
de “macroeficiencia” están sustentadas en indicadores de naturaleza cualitativa, y por lo
tanto, muy difíciles de analizar. Por ejemplo, en la revisión de la clasificación de
beneficios de Horton, (2001), clasificación que con pequeñas variaciones podemos
encontrar también en Pineda (2000), se incluyen: la innovación y la creatividad, la
satisfacción y la felicidad, la iniciativa y el liderazgo, que, sin duda, son elementos que
influyen en la eficiencia, pero la pregunta es ¿cómo medirlos?.
Posiblemente, llevar a cabo un modelo de eficiencia, basado en la productividad
(Mushroom, 2014), como por ejemplo el sigma 6 de Jack Welch (1998) en un contexto de
empresa es relativamente fácil, porque la premisa es tangible y se traduce en llegar a un
máximo de 3,4 defectos de unidades producidas por millón, pero en el contexto de la
formación hay que determinar muy bien el ámbito concreto de actuación. Por esta razón, se
ha definido y diferenciado un contexto “micro”, de índole pedagógica y un contexto
“macro” de índole organizativa.
En nuestro caso, las variables consideradas son tangibles (empleados, participantes, coste,
horas de formación, coste), aunque haya latentes otras variables que influyan, tales como la
motivación de los responsables de formación continuada encargados de planificar e
implementar la formación, así como la de los propios profesionales en actualizar sus
conocimientos o las facilidades de acceso a la formación, teniendo en cuenta la carga
asistencial de los profesionales, entre otras.
En nuestro contexto, el de la formación continuada sanitaria, el concepto de
“macroeficiencia” estaría vinculado al impacto de la formación en la organización, la
Discusión y Conclusiones
256 | P á g i n a
transferencia al puesto de trabajo, el mantenimiento de las competencias, la repercusión en
la organización, y el “beneficio” sobre la población a la que se dirige, traducido éste en
mejoras de salud. Podríamos considerar que ésta es la parte que complementaría al
proyecto que se presenta.
En nuestro caso, y en sentido metafórico, se ha preferido empezar la casa por los
cimientos, siendo conscientes de que no podemos conformarnos con llevar a cabo los
planos diseñados, sino que también hay que comprobar que las instalaciones funcionen
adecuadamente y que contribuyan a una mejora en la calidad de vida de quienes habitan en
ella.
A continuación se van a resumir algunas de las conclusiones más importantes en relación a
tres aspectos concretos:
1. Revisión bibliográfica.
2. Tratamiento de datos.
3. Análisis econométrico.
En primer lugar, en cuanto a la parte de revisión bibliográfica, son muchos los modelos
que han surgido desde que el “padre de la evaluación”, Ralph Tyler (1969) propusiera su
primer modelo basado en objetivos. Resulta apasionante ver la evolución de los primeros
modelos conductistas hasta los actuales, centrados, sobre todo, en parámetros de calidad.
No se pueden establecer un punto y aparte, sino más bien un punto y seguido, ya que las
diferentes corrientes se van complementando entre sí, siendo las más interesantes las
corrientes de evaluación centradas en paradigmas mixtos, que integran parte de modelos
conductistas y parte de los humanistas.
Discusión y Conclusiones
257 | P á g i n a
Una de las dificultades encontradas ha sido precisamente la de “encuadrar” cada una de las
teorías en un paradigma concreto, ya que dependiendo de la fuente consultada los
resultados podían ser diferentes.
Los modelos de evaluación en los que se sustenta el indicador de eficiencia planteado son
de naturaleza tanto conductista como holística. Desde un punto de vista conductista, la
teoría de objetivos de Tyler representa el mayor aporte, ya que a la hora de determinar el
indicador de eficiencia, se han trabajado con anterioridad objetivos concretos en la
planificación, y posteriormente se han analizado los objetivos alcanzados en reuniones
específicas. Posiblemente, no se llega al grado de exhaustividad en los detalles que plantea
Tyler, pero sí a la esencia de su teoría. La única diferencia es que, además de ver el alcance
de los objetivos, se analiza también cómo se ha llevado a cabo el proceso durante el año
formativo.
La determinación de los objetivos es un punto clave, puesto que sin ellos, los indicadores
se resienten. Así, se ha constatado en algunas de las experiencias citadas en la presente
tesis, tal como la llevada a cabo por la Organización Internacional del Trabajo en 2011, en
el ámbito de la formación profesional en el acceso al empleo en trabajos relacionados con
la soldadura. Esta experiencia ejemplifica cómo la inexistencia de objetivos específicos
anula la valoración del impacto.
La determinación de objetivos también es un elemento clave no sólo en el ámbito de la
formación presencial, sino en el de formación a distancia. Así lo ponen de manifiesto las
experiencias encontradas en el proyecto “Networking Learning” (Bacsich, 1993), en el que
se hace hincapié en la necesidad de adaptar los objetivos y los valores de medida de cada
Discusión y Conclusiones
258 | P á g i n a
uno de los programas de formación a los diferentes niveles de gestión de la empresa, para
poder de esta manera justificar la rentabilidad.
Por lo tanto, la planificación adecuada y pertinente de los objetivos de la planificación es
de vital importancia, debiendo identificar y diferenciar cuáles son los objetivos de la
formación que llevamos a cabo, y que respondan a necesidades de la organización.
Otros modelos que han servido de base para el indicador que se presenta han sido el
modelo de evaluación estratégica de David (2008) así como el modelo de calidad EFQM
adaptado a nuestro contexto. En este sentido, podría establecerse un paralelismo con el
“Contrato de Gestión”, un documento del Servicio Murciano de Salud, en el que se marcan
objetivos y sirve para medir el porcentaje de logro de los mismos, siendo la eficiencia en
los planes de formación continuada uno de los indicadores a tener en cuenta.
Siguiendo con la revisión bibliográfica, y centrándonos en los modelos de evaluación del
impacto, el modelo de Kirkpatrick (1999) y el modelo de Phillips (2003), son los modelos
que más se ajustan a nuestro indicador de eficiencia. Como se comentó anteriormente, en
este proyecto no hemos trabajado el impacto a nivel organizativo, ni la “macroeficiencia”,
pero para la construcción del mismo se han tenido en cuenta los elementos de mayor
impacto en la formación continuada y en el contexto de partida. El modelo de Kirkpatrick,
en general, es un modelo con una exhaustiva secuenciación de todas las etapas del proceso
formativo de principio a fin, en el que a diferencia de otros modelos, sí que se especifica
qué elementos conforman cada una de las etapas descritas. En este sentido, cuando se habla
de participantes, señala la importancia de elegir un perfil adecuado. En nuestro caso, por
ejemplo, es el coordinador/a quien, antes de que cada una de las acciones formativas se
Discusión y Conclusiones
259 | P á g i n a
lleven a cabo, selecciona en base a una serie de criterios bien definidos, entre los que
figura, especialidad, grado de responsabilidad y servicio en el que se encuentra trabajando,
entre otros.
Además, es el único modelo que tiene en cuenta la figura de la coordinación, elemento que
encaja perfectamente con las premisas del departamento de formación de la Dirección
General de Planificación, Formación, Investigación y Atención al Ciudadano. En este
sentido, no existe ninguna acción formativa que pueda acreditarse sin que exista esta
figura.
Además de la coordinación, se identifica un proceso de detección de necesidades, etapa
que podría mejorarse teniendo en cuenta las necesidades del usuario, fundamentales,
también para ser tenidas en cuenta en la planificación, sobre todo de ámbito sanitario. Esta
etapa va seguida de objetivos, contenidos, participantes, cronograma, infraestructura,
personal docente, medios audiovisuales y evaluación.
En este último apartado, se han de comentar 2 aspectos:
a) Kirkpatrick diferencia cuatro niveles en su modelo: reacción, aprendizaje,
comportamientos y conductas y resultados, si bien es cierto que este último
nivel es el que está más relacionado con el impacto, propiamente dicho. Este
hecho lo diferencia de otros autores como Wade (1998) o Pineda (2001).
Realmente, la satisfacción tras la realización de una acción formativa por
parte del profesional, nos ayuda a determinar el impacto a un nivel “micro”
con ciertos sesgos de subjetividad por parte del participante, por supuesto.
Algo parecido a lo que ocurre cuando el profesional ha de enfrentarse a una
prueba de evaluación, bien sea teórica o práctica. Estas pruebas determinan el
grado de alcance de los objetivos planteados, y por lo tanto, también miden el
Discusión y Conclusiones
260 | P á g i n a
impacto, en otro nivel “micro”, siendo importante analizar la validez de las
pruebas planteadas y la coherencia con los objetivos de partida.
El concepto de impacto de evaluación de la formación alude en palabras de
Pilar Pineda (2001) a las “repercusiones que la realización de unas acciones
formativas conllevan para la organización, en términos de respuestas a las
necesidades de formación, de resolución de problemas y de contribución al
alcance de los objetivos estratégicos que la organización tiene planteados”.
Con este proyecto se da respuesta al alcance de los objetivos estratégicos, ya
que las acciones formativas cuya eficiencia se valora han sido filtradas por los
responsables de formación continuada y han contado con el visto bueno de los
responsables en materia de acreditación y formación a nivel de Consejería de
Sanidad y Servicio Murciano de Salud. Además, el resultado final del
indicador se traduce en coste en términos económicos (coste monetario que
incluye gastos de hora por formación, coordinación, colaboración, material y
medios didácticos así como dietas y desplazamiento) y beneficio, en “capital
humano”, traducido en profesionales formados.
b) En el fondo, nuestro concepto de impacto comprende diferentes niveles, ya
que ¿en qué se traduce el grado de satisfacción de los profesionales o los
resultados de aprendizaje tras las pruebas de evaluación?. Lógicamente, estos
resultados también se engloban dentro del concepto de impacto, aunque la
información aportada sea de una utilidad relativa. Es necesaria más
información para poder determinar el verdadero impacto de la formación, y es
aquí, cuando entra en juego la transferencia al puesto de trabajo y la
repercusión organizativa y social de la formación llevada a cabo. Por
Discusión y Conclusiones
261 | P á g i n a
consiguiente, se corresponde con los niveles 3 y 4 de Kirkpatrick, que a su
vez requieren de la existencia de un 5 nivel, aportado por Phillips para
cuantificar y concretar la fórmula coste/beneficio mencionada por
Kirkpatrick.
Aunque no entramos a valorar la transferencia en el puesto de trabajo o la
repercusión traducida a nivel de organización o la repercusión en la salud de
los pacientes, sí valoramos la relación coste/beneficio en cuanto a beneficio
en “capital humano”, un beneficio que calculamos con la cobertura, que nos
da una valiosa información en relación al alcance de la formación
(participantes que asisten a las acciones formativas respecto al número de
empleados total) y el número de horas de formación recibidas.
Son varias las experiencias para determinar el impacto de la formación en diferentes
niveles, siendo uno de los más recurrentes el de la formación profesional, pero todos
apuntan a valorar el impacto a gran escala, centrando sobre todo las miras en la función
económica de la formación. En este sentido, en el mercado encontramos herramientas
concretas, como el “Metrics that matters” 6 , que permiten automatizar un sistema de
evaluación del aprendizaje, pero centrándose sobre todo en el la evaluación de los
aprendizajes y comentarios de los estudiantes.
Un punto de reflexión sería pues, determinar qué tipo de impacto queremos medir, en
consonancia con las tres funciones principales de la formación: pedagógica, social y
económica.
6 https://www.cebglobal.com/exbd/human-resources/metrics-that-matter/index.page?
Discusión y Conclusiones
262 | P á g i n a
En relación al tratamiento de datos, se ha de destacar que éstos han sido obtenidos en una
serie temporal que abarca desde 2009 hasta 2014 en todas y cada una de las áreas de salud,
Subdirección General de Salud Mental y Gerencia de Urgencias Emergencias de la Región
de Murcia, que conforman el actual mapa de recursos sanitarios.
Las acciones formativas sobre las que se han recogido los datos, son actividades con
financiación INAP, es decir, acciones formativas para las que existe una subvención
estatal. La asignación se otorga en función del número de empleados con los que cuentan
las diferentes áreas de salud. Además, de estas acciones formativas INAP, las diferentes
áreas imparten formación denominada a “coste 0” y formación financiada por
patrocinadores externos. En relación a la formación a “coste 0”, esta denominación es
relativa, ya que siempre existen costes indirectos, tales como la luz consumida o la
utilización de instalaciones, entre otros, que suponen un coste, por mínimo que sea. En
relación a la formación externa, no se dispone de toda la información de todas las áreas.
La imposibilidad de contar con todos los datos de ejecución de ambos tipos de acciones
formativas (las de “coste cero” y “financiación externa”) es lo que ha llevado a considerar
sólo las acciones formativas INAP, de las que sí se disponía de toda la información precisa
para su análisis.
Las variables cuantitativas que se han tenido en cuenta son:
- Número de acciones formativas.
- Número de participantes.
- Número empleados en cada una de las áreas de salud.
- Coste de hora de formación.
- Calidad de las acciones formativas (componente cualitativo).
Discusión y Conclusiones
263 | P á g i n a
Estas variables han servido para determinar:
- Tasa de cobertura.
- Coste.
- Aforo.
- Beneficio en capital humano.
Con la finalidad de poder establecer comparaciones entre las diferentes áreas, se
estandarizaron los valores obtenidos por cada uno de los indicadores, una vez que se hubo
aceptado la normalidad de su distribución. Una vez estandarizadas todas las variables se
obtuvo finalmente el indicador de eficiencia estandarizado:
Si hubiera que hacer una valoración global de los resultados obtenidos tendrían que
mencionarse algunos factores extrínsecos, cuya influencia ha repercutido en los mismos.
Dentro de estas variables cabe destacar, el efecto de la crisis económica, que ha afectado
sobre todo a un descenso en la cobertura en 2012, ya que al ser menor la asignación
presupuestaria, el número de acciones formativas ha sido también menor, y por ende el de
profesionales formados.
Otra variable que podría haber influido en los resultados obtenidos en 2012 es la referida a
las exigentes condiciones para poder asistir a los cursos de formación, algo que se traduce
en la dificultad para que los puestos de profesionales que asistieron a los cursos fueran
sustituidos. Al observar la tabla de frecuentación general (tabla 65) puede apreciarse cómo
en 2012 en la mayoría de las áreas de las que se dispone de información tienen una
frecuentación más elevada en comparación con los años anteriores. En el caso de las áreas
con menor número de empleados (áreas C, E e I) esta diferencia no es tan acusada.
Discusión y Conclusiones
264 | P á g i n a
Se ha de destacar que al analizar el gasto total de Sanidad desde 2009 hasta 2013 en la
Región de Murcia y compararlo con el de la formación, el año 2012 es el año en que
menos se invierte en formación tanto en términos absolutos como relativos. Además, al
comparar los ratios de gasto en formación respecto a PIB regional y de gasto en Sanidad
respecto a PIB regional, se constata cómo la formación queda en un segundo plano. Éste es
uno de los motivos por los que hay que seleccionar muy bien la formación que se imparte,
con la finalidad de que sea lo más pertinente posible a la hora de planificarla, para lo que
será vital un adecuado proceso de detección de necesidades.
Una vez implementada, se habrá de constatar la eficiencia de la misma. Por ello, la medida
de la eficiencia de la formación adquiere más sentido, si cabe, en un contexto donde la
tendencia a la inversión en formación va a la baja.
Un dato que podría complementar el indicador de eficiencia propuesto es la satisfacción
por parte del profesional. Este dato, al igual que el indicador cualitativo podría añadir más
información en lo que, siguiendo a la nomenclatura utilizada por Kirkpatrick, se ubicaría
en el nivel de reacción. En el Apéndice 2 (tablas 77.A2 y 78.A3) se recoge información
sobre diferentes aspectos relacionados con la satisfacción de los pacientes. Como esta
información no se encuentra disponible por áreas de salud, no se ha podido introducir en el
análisis econométrico. No obstante, se ha calculado la correlación entre el indicador de
eficiencia ponderada promedio (Tabla 69) para la Región de Murcia y la satisfacción con el
trato recibido, para Atención Primaria y Atención Especializada, constatándose la
existencia de una relación positiva entre ambas variables. Adicionalmente, si comparamos
los resultados obtenidos en la Región de Murcia con los obtenidos a nivel nacional, tanto
en Atención Primaria como en Atención Especializada, observamos que la media regional
es mayor a la nacional, excepto en el trato de Atención Especializada. Esta variable podría
Discusión y Conclusiones
265 | P á g i n a
estar relacionada con la orientación que estos últimos años han tenido los planes de
formación continuada hacia el fomento de materias transversales como la comunicación.
El comportamiento de todas las áreas no es idéntico, pudiendo diferenciar 3 grandes grupos
en función del número de empleados. En áreas pequeñas, como el área J, la tasa de
cobertura consigue unos porcentajes que exceden el 100%, lo que se traduce en la
participación en varias acciones formativas a lo largo de todo el año por parte del mismo
participante.
Una importante reflexión que surge cuando se analizan los datos es que los momentos de
crisis suponen la mejor oportunidad de cambio y, concretamente, de cambio en la gestión.
Cuando se reducen los presupuestos las actuaciones están abocadas a agudizar el sentido
de la selección y fomentar la pertinencia de lo seleccionado. En el contexto que se
presenta, la reducción presupuestaria en acciones formativas INAP ha coadyuvado al
incremento de otras (“coste cero”).
En relación al análisis econométrico, se ha intentado validar el indicador de eficiencia
obtenido, para verificar su validez en términos de insesgadez y consistencia. Para ello, se
utilizó un modelo de datos de panel, utilizando, en primer lugar, un modelo de efectos fijos
y posteriormente, un modelo de efectos aleatorios así como un modelo intermedio
(Hausman-Taylor). Una vez se llegó a la conclusión de la idoneidad de estimar por efectos
aleatorios, se realizó una estimación en la que se introdujeron variables constantes en el
tiempo, que no podían introducirse en un modelo de comparación entre efectos fijos y
aleatorios. Estas variables fueron introducidas para compararlas con los efectos aleatorios
del test de Hausman-Taylor.
Discusión y Conclusiones
266 | P á g i n a
Este trabajo de investigación representa una propuesta para trabajar la eficiencia en el
campo de la formación continuada sanitaria, extrapolable a cualquier ámbito relacionado
con la formación. En principio, está pensado ser utilizado para la evaluación de un
programa /plan, permitiéndonos comparar Gerencias con mayor/menor número de
profesionales. Podría plantearse como futura línea de investigación la validez del
indicador en la evaluación de la eficiencia de unidades menores, tales como acciones
formativas. Quizá, una de las características que lo definen, es precisamente, su gran
aplicabilidad. El análisis de datos, mediante la utilización de diversos test econométricos
aporta un plus a la validez del mismo. La presentación del que podríamos denominar
“micro-e” , es decir, un indicador de eficiencia pedagógico basado en un contexto micro,
entre los que se encuentra como valor fundamental el cálculo del beneficio en capital
humano y que tiene en cuenta no sólo variables cuantificables, sino también algunas
intangibles, pero que influyen en el proceso (indicador cualitativo) es el punto de salida en
la carrera de fondo hacia el “macro-e”, un indicador de eficiencia que tenga en cuenta el
impacto en la organización, impacto que puede traducirse en satisfacción y mejora en la
calidad de la atención que recibe el paciente y ahorro en costes económicos, entre otros.
Como se ha puesto de manifiesto, a lo largo de todo el proyecto, aún existen áreas que
podrían analizarse con más detalles, hasta incluso añadirse, como por ejemplo, el área de la
satisfacción, tanto por parte de los profesionales que reciben la formación desglosada por
categorías, como por parte de los pacientes que son la población diana de la intervención
de los profesionales formados. Los cimientos están puestos, queda seguir construyendo y
diseñar nuevos planos.
Bibliografía
267 | P á g i n a
5. BIBLIOGRAFÍA
Adams,G. S. (1970). Medición y evaluación en educación, psicología y “guidance”.
Barcelona: Herder.
Agencia Andaluza de Evaluación Educativa. (2014). Guía de indicadores homologados:
autoevaluación de centros docentes de Andalucía. Recuperado de
http://www.juntadeandalucia.es/educacion/agaeve/docs/Guia_Indicadores_Homologados_I
nfantil_Primaria_y_Educacion_Especial.pdf
Agencia de Evaluación y Calidad. (2013). Interpretación del modelo EFQM de excelencia
para las administraciones públicas. Madrid.
Aguado-Orea J. y García D. (2006). Proyecto PRODELE 60/05. Madrid: Universidad de
Nebrija.
Aish, A. M. y Jöreskog, K. G. (1990). A panel model for political efficacy and
responsiveness: An application of LISREL 7 with weighted least squares. Quality and
Quantity, 24, 405-426.
Amat, J. O., Pineda, P. (2003). Aprendre a ensenyar: una visió pràctica de la formació de
formadors. Barcelona : Gestión 2000.
Bibliografía
268 | P á g i n a
Anderson, L.W. y Krathwohl, D. (2001). A Taxonomy for Learning, Teaching and
Assessing: a Revision of Bloom's Taxonomy of Educational Objectives. New York:
Longman.
Anderson, T. W. y Hsiao, C. (1981). Estimation of dynamic models with error
components. Journal of the American Statistical Association, 76, 598-606.
Arellano, M. y Bond, S. (1991). Some test of specification of panel data: Monte Carlo
evidence and an application to employment equations. Review of Economics Studies, 58,
277-297.
Bacsich, C. (Ed.). (1999).The costs of networked learning. Sheffield:Hallam University
Balestra, P. y Nerlove, M. (1966). Pooling cross-sections and time-series data in the
estimation of a dynamic model: the demand for natural gas. Econometrica, 34, 585-612.
Barbier J. M. (1993). Evaluación de los procesos de formación. Barcelona: Paidos Ibérica.
Biencinto, C. y Carballo, R. (2006). Determinación del impacto de la formación continua
en el sector sanitario: diseño de un modelo de relaciones entre dimensiones. Revista
Complutense de Educación. 17(1), 77-88.
Bloom, B. (1981). Evaluación del aprendizaje. Buenos Aires: Troquel.
Bibliografía
269 | P á g i n a
Bloom, B. (1987). Taxonomía de los Objetivos (Clasificación de las Metas
Educativas). Buenos Aires: El Ateneo.
Bluestone J., Johnson P., Fullerton J., Carr C., Alderman J. y BonTempo J. (2013).
Effective in-service training design and delivery: evidence from an integrative literature
review. Human Resources for Health, 11(1-26). doi:10.1186/1478-4491-11-51.
Brinkerhoff, R. O. (2005). The Success Case Method: A strategic evaluation approach to
increasing the value and effect of training. Advances in Developing Human Resources,
7(1), 86-101. Recuperado de
http://aetcnec.ucsf.edu/evaluation/Brinkerhoff.impactassess1.pdf
Cervero, R. M. y Rottet, S. (1984). Analyzing the effectiveness of continuing professional
education: an exploratory study. Adult Education Quarterly, 34(3), 135-146.
Cervero, R. M., Rottet, S. y Dimmock, K. H. (1986). Analyzing the effectiveness of
continuing professional education at the workplace. Adult Education Quarterly, 36, 78-85.
Chamberlain, G. (1984). Panel data. En Z. Griliches y M. Intrilligator (Eds.), Handbook of
Econometrics (pp.1247-1318). Amsterdam: North-Holland.
Chang, E. C. (2000). Perfectionism as a predictor of positive and negative psychological
outcomes: examining a mediation model in younger and older adults. Journal of
Counseling Psychology, 47(1), 18-26.
Bibliografía
270 | P á g i n a
Chow, G. C. (1960). Test of equality between sets of coefficients in two linear regressions.
Econometrica, 28, 591-605.
Churches, A. (2009). Taxonomía de Bloom para la Era Digital. Recuperado de
http://www.eduteka.org/taxonomiabloomdigital.php
Churches, A. (2007). Educational Origami, Bloom's and ICT Tools. Recuperado de
http://edorigami.wikispaces.com/Bloom's+and+ICT+tools
Cronbach, L. J. (1963). Course improvement through evaluation. Teachers College Record
64, may, pp. 672-86
Cronbach, L.J. (1982). Designing evaluations of educational and social programs. San
Francisco: Jossey-Bass
Cummings, L. E. (1993). Hospitality`s solid waste policy patchwork: A study of states´s
regulatory environments. Journal of International Academy of Hospitality Research, 16, 1-
24.
David, F. (2008). Conceptos de administración estratégica. South Carolina: Pearson.
De la Orden, A. H. (1982). La evaluación educativa. Buenos Aires: Docencia.
De la Orden, A. H. (1988). La calidad de los centros educativos, asunto para un
congreso. Bordón, 40(2), 149-161.
Bibliografía
271 | P á g i n a
De la Orden, A. H. (1990). Evaluación de los efectos de los programas de
intervención. Revista de Investigación Educativa, 8(16), 61-76.
Deming W. E. (1989). Calidad, Productividad y Competitividad: la salida de la crisis.
Madrid: Díaz de Santos.
Donaldson, S. I. (2013). The future of evaluation in society: a tribute to Michael
Scriven. Greenwich, CT: Information Age.
Dye, T. y MacManus, S. (2015). Politics in states and communities. South Carolina:
Pearson.
Eisner, E. (1985). The art of educational evaluation: a personal view. East Sussex: The
Falmer Press, Lewess.
Eisner, E. (1987). Procesos cognitivos y curriculum. Barcelona: Martínez-Roca.
Feigenbaum, A. V. (1991). Total quality control. New York: McGraw-Hill
Fernández M.A. (2005). Propuesta de indicadores del proceso de enseñanza/aprendizaje en
la formación profesional en un contexto de gestión de calidad total. Investigación y
Evaluación Educativa, 11(1). Recuperado de
http://www.uv.es/relieve/v10n2/relievev11n1_4.htm
Ferrándiz J. (2014). Modelo EFQM: autoevaluación. Madrid: Servicio Madrileño de
Salud.
Bibliografía
272 | P á g i n a
Fitz-enz, J. (2000). The ROI of human capital: measuring the economic value of employee
performance. Nueva York: Amacom.
Fornell, C. G., Johnson M. D., Anderson E.W., Cha J. y Bryant B.E. (1996). The American
Customer Satisfaction Index: nature, purpose and findings. Journal of Marketing, 60(4), 7-
18.
Friberg, N. (1995). The role of technical and vocational education in the swedish
education system. Berlin: United Nations Educational, Scientific, and Cultural
Organization.
Gagné, R. M. y Briggs, L. J. (1987). La planificación de la enseñanza: sus principios.
Mexico: Trillas.
Gilbert, A., Churchill, Jr. y Surprenant, C. (1982). An investigation into the determinants
of customer satisfaction. Journal of Marketing Research, 19 (4), 491-504.
Gitlow, H., Oppenheim, A., Oppenheim, R. y Levine, D. (2004). Quality Management:
Tools and Methods for Improvement. New York: McGraw-Hill.
Gobierno de Colombia (2015). Experiencia en la unidad administrativa de Personeria de
Manizales. Recuperado de
http://www.personeriamanizales.gov.co/es/nuestra-gestion/indicadores/1687-indicadores
Bibliografía
273 | P á g i n a
Goodstein, L., Nolan, T. y J. Pfeiffer, J.W. (1993). Applied strategic planning: How to
develop a plan that really works. New York: McGraw-Hill Professional.
Grotelueschen, A. D. (1986). Quality assurance in continuing professional education.
Georgia: University of Georgia. Dept. of Adult Education Occassional Paper.
Gutiérrez, H. P. y De la Vara, S. R. (2004). Control estadístico de calidad y seis sigma.
Madrid: McGraw-Hill.
Haavelmo, T. (1944). The probability approach in econometrics. Supplement to
Econometrica, 12, 1-118.
Hamodi C., López Pastor V. M. y López Pastor A. P. (2015), Medios, técnicas e
instrumentos de evaluación formativa y compartida del aprendizaje en educación superior.
Perfiles educativos, 37(147). ISSN 0185-2698
Hausman, J. A. (1978). Specification tests in econometrics. Econometrica, 46, 1251-1271.
Hausman, J. A. y Taylor, W. E. (1981). Panel data and unobservable individual effects.
Econometrica, 49, 1377-1398.
Horton W. (2001). Evaluating E-learning. Treasure Valley: The Association for Talent
Development.
Bibliografía
274 | P á g i n a
Huerta E., Llinàs M. y Parellada F. J., (2012). The GDOR model. A new methodology for
the analysis of training needs: the case of Andorra. Intangible capital, 8(2), 406-424.
Jackson, C. (1984). Evaluation studies: review annual. Londres: Beverly Hills.
Jiménez, M. L. y Barchino, R. (2011). Evaluación e implantación de un modelo de
evaluación de acciones formativas. Madrid: Universidad de Alcalá de Henares.
Jiménez R. E. (2004). Indicadores de calidad y eficiencia de los servicios hospitalarios.
Una mirada actual. Revista Cubana de Salud Pública, 30(1),17-36. Recuperado de
http://www.redalyc.org/articulo.oa?id=21430104
Jöreskog K. G. (2000). Award for Distinguished Scientific Applications of Psychology.
American Psychologist, 62, 768-769.
Kaplan, R.y Norton, D. (1992). Cuadro de Mando Integral. Madrid: Gestión 2000.
Kenney, J., Donnelly, E. y Reid M. (1979), Manpower training and development: an
introduction. Londres: Institute of Personnel Management.
Kirkpatrick, D. L. (1994). Evaluating training programs: the four level. San Francisco:
Berrett-Koehler Publishers.
Kirkpatrick, D. L. (1999). Evaluación de acciones formativas: los cuatro niveles.
Barcelona: Gestión 2000.
Bibliografía
275 | P á g i n a
Lancaster, T. (2000). The incidental parameter problem since 1948. Journal of
Econometrics, 95, 391-413.
Le Boterf, G., Barzucchetti, S. y Vincent, F. (1993). Cómo gestionar la calidad de la
formación. Barcelona: Gestión 2000.
López, A., Ruiz, J. y López, R.C. (2008). Cuestionario de autoevaluación adaptado a un
servicio universitario siguiendo el modelo EFQM de excelencia. Universidad de
Murcia. Recuperado de
http://www.ua.es/en/servicios/ayr/autoevaluacion/pdf/cuestionario_autoevaluacion.pdf
López, J., Martínez-Tur, V., Tordera, N. y Peiró, J. M. (2000). Contribuciones de la
psicología social al estudio de la satisfacción de los usuarios y consumidores. Revista de
Psicología Social, 15(2), 5-24.
Lozano J. (2003). El retorno de la inversión del e-learning. AprendeRH.
Macdonald, B (1979). Democracy and Evaluation. Norwich: CMI Occasional Paper Series
University of East Anglia.
Macdonald, B. (1995). La evaluación como Profesión de servicio público: perspectivas
de Futuro. En M. J. Sáez (Eds.), Conceptualizando la Evaluación en España. Alcalá de
Henares: Universidad Alcalá de Henares.
Bibliografía
276 | P á g i n a
Mamolar, P. (2000). El problema de la rentabilidad de las inversiones formativas: nuevos
enfoques de evaluación. Capital Humano Revista para la integración y desarrollo de los
recursos humanos, 132, 24-30.
Mamolar, P., Bustillo C., Arribas D. y Minguijón J. (2006). Evaluación 360º de las
competencias de mandos y directivos. Mejico: Tea-Ediciones.
Martínez-Tur, V., Tordera, N., Peiró, J.M. y Potocnik, K. (2011). Linking service climate
and disconfirmation of expectations to customer satisfaction: a cross-level study. Journal
of Applied Social Psychology, 41, 1189-1213.
Ministerio de Sanidad Chile. (2015). Manual del Informe de Referencia de Terceros,
Sistema de Evaluación del Desempeño Profesional Docente. Recuperado de
www.docentemas.cl/docs/Manual%20IRT%202015.pdf
Mundlak, Y. (1978). On the pooling of time series and cross-sections data. Econometrica,
46, 69-85.
Mushroom, E. (2014). Relación entre calidad, productividad y competitividad. Recuperado
de
https://www.clubensayos.com/psicología/relacion-entre-calidad-productividad-y-
competitividad/1407686.html
Neyman J. y Scott, E. L. (1948). Consistent estimation from partially consistent
observation. Econometrica, 16, 1-32.
Bibliografía
277 | P á g i n a
Olaz, A. J. (2009). Definición de un modelo de clima laboral basado en la gestión por
competencias. Papers, 91, 193-201
Organización Internacional del Trabajo (2011). Guía para la evaluación de impacto de la
formación. Recuperado de
http://guia.oitcinterfor.org/sites/default/files/guia/guia-evaluacion-impacto.pdf
Ortiz, E. A. (2015). La evaluación del impacto científico en las investigaciones educativas
a través de un estudio de caso. Revista Electrónica de Investigación Educativa, 17(2), 89-
100. Recuperado de
http://redie.uabc.mx/vol17no2/contenido-ortizt.html
Paez, D., Echeburúa, E. y Borda, M. (1993). Evaluación de la eficacia de los tratamientos
psicológicos: una propuesta metodológica. Revista de Psicología General y Aplicada,
46(2), 187-198.
Páez, D., Ubillos, S. y León, M. (1996). Evaluación del cambio de actitudes y conductas
ante el SIDA. En N. Basabe, D. Páez, R. Usieto, H. Paicheler y J. Deschamps (Eds.), El
Desafío Social del sida (pp.113-134). Madrid: Fundamentos.
Parlett, M. y Hamilton, D. (1982). Evaluation in illumination: A new approach to the study
of innovative programmes. Melbourne: Borchardt Library, La Trobe University.
Pérez-Quintero, A. L. (2013). Eficiencia, eficacia y efectividad en la calidad empresarial.
Recuperado de
http://www.gestiopolis.com/eficiencia-eficacia-y-efectividad-en-la-calidad-empresarial/
Bibliografía
278 | P á g i n a
Phillips, J. (2003). Return on investment in training and performance improvement.
Massachusetts: Butterworth-Heinemann.
Pineda, P. (2000). La evaluación de la formación en las organizaciones: situación y
perspectiva. Revista Española de Pedagogía, 216, 291-312.
Pineda, P. (2000). Evaluación del impacto de la formación en las organizaciones. Educar,
27, 119-133
Pineda, P. (2001). Economía de la educación: una disciplina pedagógica en pleno
desarrollo. Teoría de la educación, 12, 143-158.
Polesky, G. (2006). Curso de preparación para Green Belt en la metodología Seis Sigma.
Puebla: Universidad de las Américas.
Restrepo Ramírez, P. (1990). Evaluación del trabajo y resultados: aproximación a
los servicios sociales. Madrid: Consejería de Integración Social, D.L.
Robinson, D. y Robinson, J. (1989). Training for Impact. Training and Development
Journal, 43(8), 34-42.
Robles, N. (2008). Metodología para la evaluación de la eficacia y la eficiencia en la
capacitación del recurso humano. Tecnología en Marcha, 21(4), 51-59.
Bibliografía
279 | P á g i n a
Rodríguez L. y Mosteiro A. (2001). Medición del retorno de la inversión en formación,
dentro del marco de la nueva economía. Capital humano, 14(150), 30-34
Rosales, M. (2015). Proceso evaluativo: evaluación sumativa, evaluación formativa y
assesment: su impacto en la educación actual. Congreso Iberoamericano de Ciencia,
Tecnología, Innovación y Educación. ISBN: 978-84-7666-210-6 – Artículo 662
Saba Software Inc. (2002). Saba human capital development and management solutions.
Recuperado de: http://www.e-learningguru.com/wpapers/saba_analytics.pdf
Schultz T. (1981). Investing in people: The economics of population quality. San
Francisco: University of California Press.
Scriven, M. (2000). Evaluation models: viewpoints on educational and human services
evaluation. Boston: Kluwer Academic Press, cop.
Shapiro, S. S., and M. B. Wilk.(1965). An analysis of variance test for normality (complete
samples). Biometrika, 52, 591-611.
Stake, R. (1967). The countenance of educational evaluation, Teachers College Record 68,
abril, pp. 523-540.
Stake, R. (1975). Evaluating the arts in education: A responsive approach. Columbus:
Merril.
Bibliografía
280 | P á g i n a
Stake, R.E. (1975). Program evaluation, particularly responsive evaluation. University of
Western Michigan: Ocasional Paper Series nº 5.
Stake, R.E. (2006), Evaluación comprensiva y evaluación basada en estándares,
Barcelona: Graó.`
Stata (versión 11.0) (computer software). Software: StataCorp
Stenhouse, L. La investigación y desarrollo del currículo. Ed. Morata. Madrid, 1984
Stufflebeam, D. L. y Shinkfield, A. J. (2007). Evaluation theory, models, and applications.
San Francisco: Jossey-Bass.
Stufflebeam, D.L. (2000). The CIPP model for evaluation. In D.L. Stufflebeam, G.F.
Madaus & T. Kellaghan, (Eds.), Evaluation models. (2ª ed) (Chapter 16). Boston: Kluwer
Academic Publishiers.
Stufflebeam, D.L. y Shinkfield, A.J. (1987). Evaluación sistemática: guía teórica y
práctica. Madrid: Paidós-MEC.
Tejada J. y Ferrández-Lafuente E. (2011). Problemáticas del impacto de la Formación.
Departamento de Pedagogía Aplicada. Universitat Autònoma de Barcelona. Recuperado de
http://formacionxxi.com/porqualMagazine/do/get/magazineArticle/2011/10/text/xml/Probl
ematicas_del_impacto_de_la_Formacion_Continua.xml.html
Bibliografía
281 | P á g i n a
Tejada, J. y Ferrández, E. (2007). La evaluación del impacto de la formación como
estrategia de mejora en las organizaciones. Revista Electrónica de Investigación
Educativa, consultado el día 15 de noviembre de 2014 en
http://redie.uabc.mx/vol9no2/contenido-tejada2.html
Tyler, R. (1969). Educational evaluation: new roles and new means. Chicago: The
National Society for the Study of Education.
Tyler, R. (1982). Principios básicos del currículo. Buenos Aires: Troquel.
Ubillos, S. (1994). Problemas de la evaluación de los programas preventivos ante el SIDA.
En L. Valenciano y R. Usieto (Eds.), Avances en el tratamiento médico y psicosocial del
SIDA. Madrid: CESA.
Universitat Oberta de Catalunya. Duart J. (2002). ROI y e-learning: más allá de beneficios
y costes. Recuperado de
http://www.uoc.edu/web/esp/art/uoc/duart0902/duart0902.html
Wade, P. (1998). Cómo medir el impacto de la formación. Madrid: Centro de
Estudios Ramón Areces S.A.
Wallace, T. D. y Hussain, A. (1969). The use of error component model in combining
cross-section and time-series data. Econometrica, 37, 55-72.
Bibliografía
282 | P á g i n a
REFERENCIAS LEGALES:
Ámbito europeo:
Comunidad Económica Europea (1990). Decisión del Consejo de las Comunidades
Europeas, de 29 de Mayo, del programa de acción para el desarrollo de la formación
profesional continuada en la Comunidad Europea (FORCE). Recuperado de
https://www.boe.es/doue/1993/181/L00037-00040.pdf
Comunidad Económica Europea (2001). Recomendación 2001/166/CE, de 12 de febrero,
del Parlamento Europeo y del Consejo relativa a la cooperación europea en materia de
evaluación de la calidad de la educación escolar. Recuperado de
http://eur-lex.europa.eu/legal-content/ES/TXT/HTML/?uri=URISERV:c11038b&from=ES
Ámbito nacional:
España (1999). Resolución de la Subsecretaría del Ministerio de Sanidad y Consumo, de
30 de Julio, del Sistema Acreditador de Actividades de Formación Continuada.
Recuperado de
https://www.boe.es/boe/dias/1999/08/26/pdfs/A31755-31756.pdf
España (2003). Ley 44/2003, de 21 de noviembre, de ordenación de las profesiones
sanitarias. Recuperado de
http://www.boe.es/buscar/pdf/2003/BOE-A-2003-21340-consolidado.pdf
Bibliografía
283 | P á g i n a
España (2015). Proyecto de Ley por la que se regula el Sistema de Formación Profesional
para el empleo en el ámbito laboral . Texto remitido por el Congreso de los Diputados
621/000153 (Congreso de los Diputados, Serie A, Núm.exp.121/000148).
Región de Murcia (2004). Orden, de 30 de julio, de la Consejería de Hacienda por la que se
actualizan las cuantías de las indemnizaciones y retribuciones por realización de
actividades de formación. Recuperado de
http://www.borm.es/borm/documento?obj=anu&id=33145
Región de Murcia (2006). Decreto 223/2006, de 27 de octubre, por el que se dictan normas
para la aplicación del sistema de acreditación de formación continuada de las profesiones
sanitarias. Recuperado de
http://borm.carm.es/borm/documento?obj=anu&id=307429
España (2007). Real Decreto 1142/2007, de 31 de agosto, por el que se determina la
composición y funciones de la Comisión de Formación Continuada de las Profesiones
Sanitarias y se regula el sistema de acreditación de la formación continuada. Recuperado
de
https://www.boe.es/boe/dias/2007/09/14/pdfs/A37544-37546.pdf
Bibliografía
284 | P á g i n a
Región de Murcia (2014). Orden, de 10 de abril, de la Consejería de Sanidad y Política
Social de la Región de Murcia por la que se regula la selección del personal estatutario
temporal del Servicio Murciano de Salud. Recuperado de
http://www.borm.es/borm/documento?obj=anu&id=699815
Anexos
285 | P á g i n a
6. ANEXOS
Anexo 1. Estimación del coste indirecto de formación
En el cálculo del indicador de eficiencia se ha tenido en cuenta el coste de la hora de
formación, tal y como se recoge en el B.O.R.M. publicado el 16 de septiembre de 2004.
Podemos considerar que es el coste directo, pero a dicho coste cabría añadirle el coste
indirecto, ya que cuando un profesional sanitario asiste a un curso de formación
continuada, su plaza ha de ser sustituida por otro profesional.
En el caso de los especialistas en Medicina Familiar y Comunitaria, los residentes suelen
ser quienes sustituyan, aunque no siempre es así. Por lo tanto, para el sistema se generan
unos costes derivados de la sustitución por otros profesionales, que hemos denominado
“costes indirectos “.
Para estimar dicho coste se parte del coste laboral por hora en actividades sanitarias. A
continuación se muestran los datos correspondientes al coste laboral por hora desde el año
2008 hasta 2014.
Tabla 76. A1. Promedio coste laboral por hora en actividades sanitarias (€/hora) 2008 2009 2010 2011 2012 2013 2014 24,64
26,12
26,08
26,01
24,84
24,6
25,08
Fuente: Encuesta Anual de Coste Salarial (INE)
Anexos
286 | P á g i n a
Figura 33. Coste laboral hora efectiva sanidad 2008-2014 Fuente: Elaboración propia a partir de Encuesta Anual de Coste Salarial (INE)
Se aprecia que en el año 2009 se produce un aumento en el coste, que se mantiene hasta el
año 2011 con un ligero descenso, para descender en el año 2012, subiendo ligeramente
durante el 2013 y 2014. Por lo tanto, los años 2009 y 2012 son los años que suponen el
punto de inflexión, tanto en lo relativo al aumento como al descenso del coste por hora.
A continuación se ha calculado el número de horas promedio de formación recibidas por
cada participante, para lo que se ha dividido el número total de horas entre el número de
ediciones.
Por último, se ha multiplicado el resultado anterior por el número de participantes y por el
coste laboral por hora en actividades sanitarias ( ).
Por tanto, el coste indirecto soportado por el área i en el año t se puede expresar como:
(A1)
Anexos
287 | P á g i n a
Tabla 77. A1. Costes indirectos hora formación 2009-14 COSTES INDIRECTOS 2009-2014
2009 2010 2011 2012 2013 2014
A 730.251,57 € 19.070.519,81 € 39.899,34 € 485.180,45 € 431.788,31 € 436.328,52 €
B 618.089,15 € 16.141.398,26 € 24.813,54 € 341.396,01 € 353.548,13 € 307.798,84 €
C 237.232,89 € 6.195.337,05 € 13.889,34 € 126.177,27 € 184.302,13 € 146.269,04 €
D 116.072,47 € 3.031.232,55 € 7.308,81 € 59.670,23 € 80.659,30 € 36.960,08 €
E 110.015,24 € 2.873.048,01 € 5.696,19 € 68.369,29 € 49.078,45 € 60.070,18 €
F 235.327,17 € 6.145.568,93 € 21.796,38 € 248.285,13 € 194.570,66 € 193.592,83 €
G 298.083,62 € 7.784.453,78 € 29.235,24 € 232.996,69 € 296.435,84 € 847.302,72 €
H 271.249,23 € 7.083.673,68 € 7.282,80 € 103.785,47 € 123.393,60 € 141.763,74 €
I 120.127,18 € 3.137.121,25 € 5.358,06 € 43.457,43 € 37.490,40 € 44.124,08 €
J 122.382,35 € 3.196.015,11 € 5.618,16 € 96.645,40 € 136.234,80 € 150.019,71 €
K 186.534,55 € 4.871.349,73 € 6.294,42 € 61.011,32 € 139.091,91 € 135.720,42 € Fuente: Ministerio de Sanidad Política Social e Igualdad
Anexos
288 | P á g i n a
Anexo 2. Satisfacción de los pacientes con la atención recibida
Aunque lo óptimo sería poder constatar el efecto de los cursos de formación sobre la
atención recibida por los pacientes, por el momento no es posible relacionar directamente
el indicador de eficiencia con la calidad de la atención recibida por los mismos.
No obstante, sí que se dispone de encuestas sobre la valoración de las consultas tanto de
medicina familiar como de consultas de especialistas. A continuación, se presentan los
resultados desde 2009 hasta 2013 comparando la valoración para el conjunto de la Región
de Murcia con la media a nivel nacional.
Los aspectos analizados son:
- Facilidad de citación.
- Trato del personal sanitario.
- Información recibida sobre su problema de salud.
- Consejos del médico (ejercicio, tabaco, alcohol…).
- Facilidad para acudir al especialista, es decir, derivación. Este aspecto en el caso de
los médicos especialistas no procedía ser analizado.
Anexos
289 | P á g i n a
Tabla 78. A2. Valoración de pacientes en relación con los médicos de Atención Primaria 2009 2010 2011 2012 2013
Facilidad de citación
Murcia (Región de) 6,64 6,72 7,15 7,32 7,37
Total nacional 6,51 6,89 7,06 7,13 7,41
Trato del personal sanitario Murcia (Región de) 6,89 7,01 7,24 7,35 7,38
Total nacional 7,42 7,50 7,75 7,74 7,82
Información recibida Murcia (Región de) 7,15 7,26 7,51 7,80 7,77
Total nacional 7,20 7,34 7,50 7,53 7,56
Consejos del médico Murcia (Región de) 7,33 7,52 7,42 7,49 7,48
Total nacional 7,12 7,25 7,38 7,37 7,50
Facilidad para acudir al especialista Murcia (Región de) 7,35 7,36 7,56 7,86 --
Total nacional 7,19 7,26 7,39 7,41 --
Nota: Calificación en una escala de 1 a 10, en la que 1 significa que se valora como 'totalmente insatisfactorio' y 10 que se valora como 'totalmente satisfactorio'. (Esta pregunta se hace a todas las personas que participan en la encuesta, con independencia de que hayan acudido o no a consulta del médico de familia) Fuente: Barómetro sanitario. Ministerio de Sanidad, Servicios Sociales e Igualdad.
- Facilidad de citación: Como puede apreciarse el incremento de la satisfacción se
correlaciona con el paso de los años.
- Trato del personal sanitario Como puede observarse, al igual que ocurría con la
facilidad para obtener cita a lo largo de los años, la satisfacción va en aumento, si
bien es cierto que la media está por debajo de la media nacional, por lo que hay un
margen de mejora en este sentido.
- Información recibida: Puede apreciarse como desde 2009 ha ido aumentando
progresivamente y a partir de 2011 la media en la Región de Murcia es superior a la
media nacional.
Anexos
290 | P á g i n a
- Consejos del médico: En esta valoración se observan pequeños altibajos en relación
a la satisfacción. En cuanto a la valoración de la Región de Murcia el año 2010
representa el valor más alto por encima de la media nacional.
- Facilidad para acudir al especialista: Sorprende que la puntuación de la valoración
tanto a nivel regional como nacional vaya incrementándose, destacando que es
especialmente muy elevada en 2012.
Tabla 79. A3. Valoración de pacientes en relación con la Atención Especializada 2009 2010 2011 2012 2013
Facilidad de citación Murcia (Región de) 5,87 5,50 6,09 6,19 6,17
Total nacional 5,41 5,60 5,66 5,72 5,92
Trato del personal sanitario Murcia (Región de) 6,89 6,91 7,23 7,44 7,41
Total nacional 7,21 7,20 7,36 7,42 7,47
Información recibida sobre su problema Murcia (Región de) 7,61 7,49 7,60 7,95 8,04
Total nacional 7,03 7,13 7,24 7,30 7,34
Consejos del médico Murcia (Región de) 7,76 7,55 7,46 7,60 7,85
Total nacional 6,90 6,98 7,08 7,13 7,25
Nota: Calificación en una escala de 1 a 10, en la que 1 significa que se valora como 'totalmente insatisfactorio' y 10 que se valora como 'totalmente satisfactorio'. (Esta pregunta se hace a todas las personas que participan en la encuesta, con independencia de que hayan acudido o no a consulta del médico de familia) Fuente: Barómetro sanitario. Ministerio de Sanidad, Servicios Sociales e Igualdad.
- Facilidad de citación: Los resultados obtenidos son inferiores a los que aparecen en
los especialistas de Atención Primaria. No hay una tendencia fija a nivel regional y
nacional.
- Trato del personal sanitario: Se observa una tendencia creciente tanto a nivel
regional como a nivel nacional. Es en 2012 cuando la media conseguida en Murcia
está ligeramente por encima de la media nacional.
Anexos
291 | P á g i n a
- Información recibida sobre su problema: Éste es uno de los aspectos mejor
valorados, hasta incluso si se compara con la misma pregunta en especialistas de
Atención Primaria, llegando a alcanzar en la Región de Murcia una puntuación por
encima de 8 y por encima de la media nacional que se encuentra en 7,34 en 2013.
- Consejos del médico: La puntuación en este apartado relativo a la Región de
Murcia está por encima de la media. Al igual que ocurría con las valoraciones
anteriores, puede observarse que va progresivamente aumentando a lo largo de los
años.
Existen algunas temáticas transversales en los planes de formación continuada tales como
la comunicación, tarjeta sanitaria, que seguro tendrán su repercusión en la valoración de la
facilidad para conseguir cita, trato personal ó información recibida. En este sentido, se ha
de tener en cuenta la existencia de factores que exceden el campo formativo y que son los
derivados de la gestión asistencial que desde cada área se lleva a cabo.
Anexos
292 | P á g i n a
Anexo 3. Descripción de la base de datos de panel
Tabla 80. A1. Descripción de la base de datos de panel
Año Área
Tasa de cobertura
estandarizada Coste
estandarizado Aforo
estandarizado Beneficio
estandarizado Indicador cualitativo
Indicador de eficiencia
ponderado 2009 1 -0,72 1,68 0,18 2,18 0,13 -0,80 2009 2 -0,52 -0,24 0,63 1,63 0,08 2,79 2009 3 0,21 0,58 -0,68 -0,19 -1,08 -0,01 2009 4 -0,95 0,50 -0,53 -0,77 -0,17 0,00 2009 5 -0,38 0,51 -0,18 -0,80 0,04 0,05 2009 6 0,53 0,13 -1,31 -0,20 -1,08 0,03 2009 7 -0,36 -0,13 -0,91 0,11 -0,29 0,05 2009 8 -0,13 -0,59 2,01 -0,02 -0,50 2,02 2009 9 0,90 -2,28 -0,77 -0,75 -0,71 0,10 2009 10 -1,01 0,49 0,32 -0,74 1,42 0,00 2009 11 2,42 -0,66 1,24 -0,43 2,13 22,76 2010 1 -0,42 1,22 -0,19 2,15 0,61 -0,52 2010 2 -0,90 -0,35 0,37 1,33 0,97 0,86 2010 3 0,26 -0,07 -1,00 -0,08 -1,36 0,00 2010 4 -0,86 0,13 -0,15 -0,67 -0,19 0,03 2010 5 0,50 0,41 0,95 -0,58 -0,19 0,59 2010 6 0,67 0,05 -0,75 0,28 -0,48 0,27 2010 7 0,33 -1,09 -0,76 0,56 0,10 1,14 2010 8 -1,67 -2,05 1,09 -0,80 -1,43 0,38 2010 9 -0,72 -0,50 -1,66 -1,03 -0,70 0,00 2010 10 1,66 1,06 1,61 -0,44 0,90 -0,43 2010 11 1,15 1,20 0,49 -0,72 1,78 -0,50 2011 1 -0,21 1,46 0,58 2,05 0,09 -1,89 2011 2 -0,75 -0,08 1,82 1,31 0,98 3,48 2011 3 -0,34 0,75 -0,18 -0,18 -0,75 0,03 2011 4 -1,49 -0,28 0,31 -0,57 1,34 -0,83 2011 5 0,41 0,53 -0,38 -0,75 -0,39 0,06 2011 6 -0,09 0,17 -1,63 -0,11 0,03 -0,43 2011 7 1,02 -1,80 0,28 1,07 0,51 22,48 2011 8 -1,50 -0,86 0,23 -0,58 -0,81 -0,09 2011 9 0,54 -1,08 -1,74 -0,88 -1,05 0,01 2011 10 0,81 1,32 0,48 -0,69 1,52 -0,67 2011 11 1,62 -0,14 0,22 -0,66 -1,47 -0,58
Anexos
293 | P á g i n a
Año Área
Tasa de cobertura
estandarizada Coste
estandarizado Aforo
estandarizado Beneficio
estandarizado Indicador cualitativo
Indicador de eficiencia
ponderado 2012 1 0,61 1,32 0,04 2,23 -0,03 -1,66 2012 2 -0,65 0,40 2,23 1,21 0,38 2,05 2012 3 1,15 1,53 -1,11 -0,31 -0,85 0,01 2012 4 -1,70 0,39 -0,50 -0,78 0,71 -0,08 2012 5 0,62 -0,08 -0,10 -0,72 -1,27 -0,12 2012 6 0,39 -0,65 -0,66 0,55 -0,69 0,38 2012 7 0,09 -0,71 -0,28 0,45 -0,28 1,41 2012 8 -1,46 -1,78 0,42 -0,47 -0,11 -0,87 2012 9 -0,63 -0,97 -1,38 -0,89 -1,10 0,00 2012 10 1,35 -0,18 0,56 -0,52 1,53 5,30 2012 11 0,23 0,74 0,78 -0,77 1,70 0,36 2013 1 0,02 1,81 -0,18 1,95 -0,45 -1,11 2013 2 -0,21 -0,59 0,97 1,33 -0,13 5,06 2013 3 1,38 0,35 -0,20 0,00 -1,01 -0,01 2013 4 -0,86 -0,09 -0,25 -0,82 0,27 0,03 2013 5 -0,43 1,43 -0,76 -1,06 0,75 0,01 2013 6 0,08 0,31 -1,02 0,08 -0,53 -0,01 2013 7 0,22 -1,12 -0,15 0,88 -0,05 3,90 2013 8 -1,05 -0,85 0,98 -0,48 -0,29 -0,06 2013 9 -0,19 -1,17 -1,82 -1,16 -1,33 -0,07 2013 10 -1,12 0,57 1,45 -0,38 0,35 -0,11 2013 11 2,16 -0,65 0,96 -0,36 2,42 22,50 2014 1 0,10 0,77 -0,26 0,88 0,21 0,42 2014 2 -0,42 -0,41 -0,07 0,34 -0,19 0,83 2014 3 -0,36 0,34 -0,48 -0,34 -1,67 -0,10 2014 4 -0,74 1,47 -0,78 -0,80 -0,19 0,00 2014 5 0,54 0,40 -0,49 -0,71 -1,47 -0,06 2014 6 -0,05 0,79 -0,50 -0,14 0,11 0,09 2014 7 -0,27 -0,79 2,79 2,62 -0,09 16,17 2014 8 -0,36 -1,24 0,25 -0,36 0,30 1,48 2014 9 -0,41 -1,71 -0,81 -0,77 0,21 0,08 2014 10 2,79 0,90 0,30 -0,33 0,70 0,55 2014 11 -0,81 -0,51 0,07 -0,39 2,08 0,58
Anexos
294 | P á g i n a
Año Área
Coste indirecto (miles €)
Frecuentación general
Hospitales Centros de Salud
Consultorios
Medicina de familia Pediatría Enfermería
2009 1 730,25 5,42 5,33 2,62 1 14 33 2009 2 618,09 5,94 5,74 3,34 2 16 45 2009 3 237,23 6,62 5,57 4,14 1 9 29 2009 4 116,07 7,47 6,88 4,03 1 6 21 2009 5 110,02 5,97 3,81 1,72 1 3 3 2009 6 235,33 5,77 5,7 2,76 1 15 23 2009 7 298,08 - - - 1 11 18 2009 8 271,25 - - - 1 5 10 2009 9 120,13 - - - 1 4 3 2009 10 122,38 - - - 1 19 - 2009 11 186,53 - - - 0 27 17 2010 1 19070,52 5,71 5,25 2,79 1 14 33 2010 2 16141,40 6 5,55 3,22 2 16 45 2010 3 6195,34 6,7 5,39 3,9 1 9 29 2010 4 3031,23 7,25 6,01 3,78 1 6 21 2010 5 2873,05 5,58 3,66 1,71 1 3 3 2010 6 6145,57 6,17 5,72 3,18 1 15 23 2010 7 7784,45 - - - 1 11 18 2010 8 7083,67 - - - 1 5 10 2010 9 3137,12 - - - 1 4 3 2010 10 3196,02 - - - 1 19 - 2010 11 4871,35 - - - 0 27 17 2011 1 39,90 5,83 5,63 2,77 1 14 33 2011 2 24,81 5,88 5,67 3,15 2 16 45 2011 3 13,89 6,28 5,61 5,15 1 9 29 2011 4 7,31 6,9 6,56 3,72 1 6 21 2011 5 5,70 5,61 3,8 1,72 1 3 3 2011 6 21,80 5,33 5,33 2,61 1 15 23 2011 7 29,24 5,68 6,09 2,73 1 11 18 2011 8 7,28 5,9 5,68 2,99 1 5 10 2011 9 5,36 7,18 6,77 3,21 1 4 3 2011 10 5,62 - - - 1 19 - 2011 11 6,29 - - - 0 27 17
Anexos
295 | P á g i n a
Año Área
Coste indirecto (miles €)
Frecuentación general
Hospitales Centros de Salud Consultorios
Medicina de familia Pediatría Enfermería
2012 1 485,18 6,68 6,48 3,19 1 14 33 2012 2 341,40 6,31 5,9 3,27 2 16 45 2012 3 126,18 6,38 5,9 5,03 1 9 29 2012 4 59,67 8,52 8,07 4,66 1 6 21 2012 5 68,37 6,72 5,17 3,15 1 3 3 2012 6 248,29 5,88 6,01 2,79 1 15 23 2012 7 233,00 6,21 6,7 2,88 1 11 18 2012 8 103,79 12,59 6,19 3,37 1 5 10 2012 9 43,46 15,35 6,93 3,44 1 4 3 2012 10 96,65 - - - 1 19 - 2012 11 61,01 - - - 0 27 17 2013 1 431,79 6,4 5,76 3,1 1 14 33 2013 2 353,55 6,31 5,5 3,13 2 16 45 2013 3 184,30 5,17 4,61 4,4 1 9 29 2013 4 80,66 7,76 6,35 4,5 1 6 21 2013 5 49,08 5,8 3,98 3,14 1 3 3 2013 6 194,57 5,57 5,11 2,75 1 15 23 2013 7 296,44 5,91 5,72 2,79 1 11 18 2013 8 123,39 6,57 5,71 3,19 1 5 10 2013 9 37,49 7,63 4,83 3,09 1 4 3 2013 10 136,23 - - - 1 19 - 2013 11 139,09 - - - 0 27 17 2014 1 436,33 6,29 5,67 3,03 1 14 33 2014 2 307,80 6,25 5,61 3,12 2 16 45 2014 3 146,27 7,29 3,64 3,58 1 9 29 2014 4 36,96 7,59 6,08 3,9 1 6 21 2014 5 60,07 5,55 3,73 3,39 1 3 3 2014 6 193,59 5,45 4,97 2,81 1 15 23 2014 7 847,30 5,8 5,49 2,87 1 11 18 2014 8 141,76 6,78 5,26 3,71 1 5 10 2014 9 44,12 7,35 4,93 2,98 1 4 3 2014 10 150,02 - - - 1 19 - 2014 11 135,72 - - - 0 27 17
Anexos
296 | P á g i n a
Año Área Superficie
(Km2) Ratio superficie/centros
de salud Ratio
superficie/consultorio 2009 1 1996 143 60 2009 2 1174 73 26 2009 3 2406 267 83 2009 4 2382 397 113 2009 5 1580 527 527 2009 6 1785 119 78 2009 7 940 85 52 2009 8 306 61 31 2009 9 568 142 189 2009 10 1231 65 - 2009 11 11287 418 664 2010 1 1996 143 60 2010 2 1174 73 26 2010 3 2406 267 83 2010 4 2382 397 113 2010 5 1580 527 527 2010 6 1785 119 78 2010 7 940 85 52 2010 8 306 61 31 2010 9 568 142 189 2010 10 1231 65 - 2010 11 11287 418 664 2011 1 1996 143 60 2011 2 1174 73 26 2011 3 2406 267 83 2011 4 2382 397 113 2011 5 1580 527 527 2011 6 1785 119 78 2011 7 940 85 52 2011 8 306 61 31 2011 9 568 142 189 2011 10 1231 65 - 2011 11 11287 418 664
Anexos
297 | P á g i n a
Año Área Superficie
(Km2) Ratio superficie/centros
de salud Ratio
superficie/consultorio 2012 1 1996,01 143 60 2012 2 1174,4 73 26 2012 3 2406,14 267 83 2012 4 2381,72 397 113 2012 5 1579,7 527 527 2012 6 1784,88 119 78 2012 7 940,2 85 52 2012 8 305,68 61 31 2012 9 567,8 142 189 2012 10 1230,92 65 - 2012 11 11287 418 664 2013 1 1996,01 143 60 2013 2 1174,4 73 26 2013 3 2406,14 267 83 2013 4 2381,72 397 113 2013 5 1579,7 527 527 2013 6 1784,88 119 78 2013 7 940,2 85 52 2013 8 305,68 61 31 2013 9 567,8 142 189 2013 10 1230,92 65 - 2013 11 11287 418 664 2014 1 1996,01 143 60 2014 2 1174,4 73 26 2014 3 2406,14 267 83 2014 4 2381,72 397 113 2014 5 1579,7 527 527 2014 6 1784,88 119 78 2014 7 940,2 85 52 2014 8 305,68 61 31 2014 9 567,8 142 189 2014 10 1230,92 65 - 2014 11 11287 418 664
Fuente: Elaboración propia con la utilización del programa Stata versión 11.0
Top Related