La evaluación del impacto de la formación
-
Upload
desarrollo-profesional-en-salud-agencia-de-calidad-sanitaria-de-andalucia -
Category
Health & Medicine
-
view
441 -
download
1
description
Transcript of La evaluación del impacto de la formación
Marbella, 21 de febrero de 2013
La Evaluación del Impacto de la formación
Formación continuada: ¿un medio o un fin?
Formación continuada: un medio
Responder a las necesidades de los profesionales para que puedan prestar una
atención excelente a la salud de la ciudadanía
¿Cómo podemos garantizar la utilidad de la formación que desarrollamos?
Resultados de acreditación de actividades y programas de formación
Estándares PorcentajeLos instrumentos que se describen o se adjuntan para evaluar la satisfacción son coherentes con la modalidad y tipo de formación a la que pertenecen.
98,39
Se adjuntan o se describen detalladamente los instrumentos para valorar la satisfacción del docente/ponente/tutor.
69,86
Existen procedimientos de recogida de información sobre la adquisición de conocimientos y/o habilidades procedimentales, mediante herramientas de evaluación y/o recogida de los acuerdos de actuación (protocolos, guías, etc.) derivados del desarrollo de la actividad
62,35
Las herramientas o procedimientos para evaluar la transferencia permitirán obtener información sobre la aplicabilidad del aprendizaje en el puesto de trabajo
8,25
Los indicadores de impacto aportan información sobre los cambios producidos en el contexto asistencial y/u organizativo.
3,88
Existen criterios de evaluación de la transferencia del aprendizaje que permitirán establecer niveles de adquisición de competencias (impacto en la conducta profesional)
2,81
Resultados de acreditación de actividades y programas de formación
ALGUNAS CUESTIONES
Pineda habla de las repercusiones que la realización de unas acciones formativas conllevan para la organización, en términos de respuesta a las necesidades de formación, de resolución de problemas y de contribución al alcance de los objetivos estratégicos que la organización tiene planteados
Veredas (se refiere al aumento de la competitividad de las empresas y la mejora de la situación laboral de los trabajadores (efectos deseados indirectos) y también de otros posibles efectos no buscados que pudieran registrarse.
Garzón lo vincula al mejoramiento de procesos y productos al crecimiento personal y colectivo , a la aplicación de los conocimientos al puesto de trabajo, satisfacción de necesidades organizacionales y sociales, y rendimientos de la inversión.
¿Qué entendemos por impacto de la formación?
El modelo de Kirkpatrick
¿Qué entendemos por impacto de la formación?
Homogeneizar el concepto
Efectividad de la formación realizada sobre el desarrollo de los profesionales y su incidencia en el logro de los objetivos de la organización (de funcionamiento, económicos, asistenciales, etc.)
Detección objetiva de la necesidad formativa. Identificación de resultados de aprendizaje de aplicación directa a la práctica profesional. Elección de las técnicas adecuadas. Evaluación de la práctica profesional (transferencia). Comparación de los resultados de la evaluación de la práctica profesional con el diagnóstico inicial.
Evaluación del impacto: un proceso
Principales “errores”
• Ausencia o escasa definición del diagnóstico inicial de manera objetiva.• Vaga definición de los objetivos generales o excesivamente ambiciosos.• Objetivos específicos no centrados en la práctica profesional.• No situar al destinatario como protagonista de su proceso de capacitación
¿es importante/necesario evaluar el impacto?, ¿para qué?
Si el propósito de la formación continuada es favorecer la adquisición, desarrollo o fortalecimiento de las competencias de los profesionales en su puesto de trabajo, debería ser importante saber si efectivamente se ha producido esa mejora.
Si la competencia es la capacidad para hacer, conocer la opinión de los participantes sobre el desarrollo de una actividad, nos permitirá evaluar la calidad de su diseño o de la planificación, pero no si se ha adquirido o mejorado esa capacidad.
Evaluar los conocimientos adquiridos nos informará de si el alumnado sabe más que antes, pero no si ha incrementado su capacidad de llevarlo a la práctica.
No evaluar el impacto no significa que no lo haya, sino que lo desconocemos y no nos permite tomar decisiones para facilitar la mejora del profesional en su desarrollo.
¿qué aspectos analizar?, ¿qué efectos nos interesan?
el aislamiento de variables y la concreción de los aspectos de análisis o variables identificadas.
la dificultad de acceso a determinadas informaciones necesarias de la organización, la falta de apoyo de los directivos y responsables, o la falta de medios para poner en práctica las habilidades adquiridas, las exigencias del trabajo diario, etc.
identificar quién o quiénes deben realizar la evaluación.
cómo hacer una medición objetiva de la transferencia.
…
Principales dificultades
¿se puede evaluar siempre?, ¿de qué depende?
• De los objetivos de aprendizaje. Si no van destinados a la capacitación en la práctica profesional, no será posible.
• De las técnicas didácticas empleadas. Si no van encaminadas a, por lo menos, simular la práctica profesional, no será posible.
• De los destinatarios. Si el alumnado no tienen la posibilidad de transferir el aprendizaje a la práctica profesional, no será posible.
• De la implicación de otros agentes de la organización.
• De la factibilidad, en términos de coste-beneficio.
Es probable que casi todas las actividades formativas, si están bien diseñadas, generen impacto, pero no siempre es posible medirlo objetivamente.
Objetivos CURSO TALLER SEMINARIO SIMPOSIO
SESIÓN CLÍNICA
JORNADA CONGRESO
Conocer o saber No No No No No
Saber cómo No No No
Simular un hacer
No No
Hacer Sí Sí
Si el enfoque es un programa de capacitación/implantación siempre es posible evaluar la transferencia y el impacto.
¿existen herramientas estandarizadas o generales?
Existen una gran variedad de modelos, donde la clave no está en el instrumento, sino en la metodología de evaluación, que ha de ser planificada desde el momento en que se define la necesidad. Definir la necesidad no es lo mismo que detectarla.
Modelo de Le Boterf: Ciclo Deming (PDCA) Corregir un fallo en la detección de la necesidad es más difícil que los que se producen el proceso formativo.
Enfoque de Inversión de Mamomar: Detección de las necesidades, especificando las competencias, (habilidades y conductas) y los indicadores previos y esperados.
Modelo de Barbier: evaluación a partir del perfil individual, basado en la adquisición de destrezas.
Modelo de Chang (IDEAMS): Identificar las necesidades y decidir si la formación puede mejorar el desempeño
Modelo de Cervaro y Rotter, de evaluación orientado a resultados de Jackson, el de Robinson & Robinsom, el de Ubillos, etc.
Los itinerarios formativos permiten dibujar la ruta de desarrollo de los profesionales, en relación a sus perfiles competenciales, que se van a traducir en programas formativos a la medida de cada profesional, teniendo en cuenta el nivel de capacitación o dominio previo.
ELABORAR ITINERARIOS FORMATIVOS PARTIENDO DE LOS MAPAS DE COMPETENCIAS QUE DEFINEN CADA PUESTO DE TRABAJO
Cómo se elaboran los itinerarios formativos
Partiendo del mapa de competencias, los itinerarios permiten organizar y secuenciar la formación, atendiendo a las rutas de desarrollo y a las necesidades establecidas en los planes.
1. Definición de puestos de trabajo (funciones, actividades, tareas y requerimientos), a través del mapa de competencias (competencias, prácticas concretas, requisitos e indicadores)
Puesto de trabajo: Responsable de UGC
Función: Optimizar la eficiencia de la actividad de su unidad, en términos de costes económicos y de esfuerzo.
Competencia: Capacidad para la gestión eficiente de los recursos disponibles
Tareas/BP: Realiza/r una gestión eficiente del tiempoLleva/r a cabo una administración adecuada de los recursos
económicos disponiblesAdministrar los recursos humanos bajo su responsabilidad bajo un
criterio de eficiencia.Gestiona/r los recursos materiales y de equipamiento……
Gestión eficiente de recursos
Hace un uso adecuado de los recursos económicos disponibles.
BásicoRealiza una valoración del presupuesto de su unidad en relación a la actividad asistencial de la misma
MedioMonitoriza periódicamente el presupuesto de la unidad
AltoDefine de forma continua las actividades y actuaciones de sus profesionales para que sean más eficientes
Muy altoEstablece medidas correctoras en la desviaciones presupuestarias tras una valoración de la adecuación de los recursos
Hace un uso eficiente del tiempo. BásicoTiene identificados los principales tiempos de respuesta para las actividades incluidas en su oferta de servicios sanitarios
Medio
Implementa circuitos internos (en su Unidad) y externos (en relación con otras Unidades) que hacen más eficiente la gestión de los procedimientos de su cartera de servicios.
AltoMonitoriza y autoevalúa los tiempos de respuesta y corrige o mejora las desviaciones
Muy alto
Evalúa las mejoras en relación a los tiempos de respuesta. Compara su gestión en el control de los plazos con Unidades similares e interioriza cambios que hacen más eficiente su gestión
2. Traducción del mapa de competencias en elementos formativos
Competencia Objetivo general de aprendizaje.
Buenas prácticas Objetivos específicos de aprendizaje.
Evidencias o requisitos: Resultados de aprendizaje
esperados (Contenidos)
Itinerario formativo para responsables de UGC
Ejemplo de la competencia Gestión eficiente de los recursos.
OBJETIVO GENERAL COMPETENCIA ASOCIADA
Llevar a cabo una gestión de los recursos disponibles que permita incrementar la eficiencia de la actividad en términos de costes económicos y de esfuerzo.
Gestión eficiente de los recursos disponibles (GCGR)
OBJETIVO ESPECÍFICO BUENAS PRÁCTICAS ASOCIADAS
GCGR.1. Optimizar los tiempos de respuesta en el desempeño de la actividad asistencial
Hace un uso eficiente del tiempo.
GCGR.2. Optimizar el uso de los recursos económicos disponibles para hacer más eficiente la gestión de la actividad asistencial.
Hace un uso adecuado de los recursos disponibles.
El logro de la totalidad de estos objetivos, que han de ser evaluables, debe tener como resultado la adquisición de la competencia en cuestión.
Traducir los requisitos o evidencias, en los resultados de aprendizaje que se esperan lograr con la puesta en marcha de los programas formativos, y de los que se extraen los contenidos.
Acciones concretas que el destinatario de la formación debe realizar en su práctica profesional.
Objetivos específicos
Nivel Nivel medio Nivel alto Nivel muy altoBásico
GCGR.1 Identificación de los principales tiempos de respuesta relacionados con la cartera de servicios y objetivos de los Acuerdos de gestión
Elaboración de circuitos de actuación y asignación de responsabilidades en aquellas actividades en las que intervienen tiempos de respuesta establecidos.
Análisis de los tiempos de respuesta y sus desviaciones.
Identificación de formulas de mayor resolución asistencial y organizativa para optimizar los tiempos establecidos.
GCGR.2 Identificación de indicadores de gestión del presupuesto
Detección y control de desviaciones presupuestarias. Análisis de costes directos de los servicios
Priorización de actuaciones de mejora para corregir desviaciones presupuestarias
Diseño de un sistema de seguimiento y monitorización de indicadores presupuestarios.
RESULTADOS DE APRENDIZAJE ESPERADOS
Incorporación de resultados de aprendizaje progresivo y evaluables, derivados de las evidencias asociadas a cada nivel de logro
Identificación de perfiles medios
A través de los perfiles medios, podemos identificar las buenas prácticas con mayor margen de mejora por colectivos, es decir con niveles bajos y medios, permite priorizar en aquellas buenas prácticas que generen más impacto.
Derivado de ello se identifican líneas estratégicas con mayor oportunidad de mejora.
Agrupación de competencias relacionadas, en módulos formativos para establecer programas a medida
Itinerario formativo para responsables de UGC
Selección del alumnado en base al PDILos criterios de selección del alumnado vienen identificados por los perfiles individuales, de manera que cada profesional debería recibir el contenido formativo asociado a su nivel de capacitación inicial para aquellas prácticas concretas que forman parte de su plan de desarrollo profesional.
Evaluación del impacto en el desarrollo individual
Evaluación del impacto en el desarrollo grupal
Evaluación del impacto en la organización
ASPECTOS A EVALUAR
CRITERIOS RESULTADOS ESPERADOS
QUIÉN EVALUA CÓMO CUÁNDO
Identificación de tiempos de respuesta relacionados con la cartera de servicios y objetivos de los Acuerdos de gestión
Existencia de documento con la identificaciónSI/NO
Al menos el 80% de las UGC los identifican
El 80% de los directores de UGC con nivel bajo en la BP asociada los identifican
Responsable asistencial
Ficha a cumplimentar por el responsable de la evaluación
3 meses tras la formación
Mejora del profesional en el desarrollo de la BP…
EDP Incremento de , al menos, un nivel en el X% de los destinatarios
Responsable de formación
Informes de necesidades anuales
Ciclo siguiente al desarrollo de la formación
Qué evaluar Indicador inicial Indicador final
Identificación de tiempos de respuesta relacionados con la cartera de servicios y objetivos de los Acuerdos de gestión
El 50% de las UGC no tienen identificados los tiempos de respuesta
Al menos el 80% de las UGC tienen identificados los tiempos de respuesta
Mejora del profesional en el desarrollo de la BP…
El 30% de los directores de UGC tienen un nivel medio en la BP…
Al menos el 60% de los directores de UGC (alumnos) han pasado a un nivel alto en la siguiente EDP
CONCLUSIONES Identificar la necesidad de mejora.
Decidir si puede mejorarse con formación
Definir de manera objetiva la necesidad formativa: a qué competencias y buenas prácticas está asociada la necesidad de mejora. Cuál es la situación inicial?
Qué resultados concretos se esperan lograr?
¿Son evaluables? Y si es así, qué aspectos específicos se evaluarán, quién debe recoger la información, de dónde, quién la analiza, etc
Marbella, 21 de febrero de 2013
Muchas graciasMayte Periáñez
Responsable de Desarrollo profesional en saludAgencia de Calidad Sanitaria de Andalucía