Evaluación del impacto de la capacitación y programas

de Recursos Humanos con el modelo R.O.I

Luis Hernán Delgado GuerreroJefe Departamento Diseño Instruccional

ldelgado@teleduc.clldelgadog@uc.cl

http://luishernandelgado.blogspot.com

Como introducción veamos esta historia

Personajes

Juan FernándezDirector del establecimiento

Margarita RojasCoordinadora general de Proyectos

Al final de una reunión de coordinación Juan Fernández le preguntó a Margarita Rojas acerca de los talleres de comunicación que se habían realizado para un porcentaje significativo de los funcionarios de la institución

El taller presentaba la tipología Myers-Briggs (MBTI)

y mostró a los participantes cómo interactuar y

entenderse entre ellos, en sus actividades rutinarias.

El MBTI clasifica a la gente en uno de 16 tipos

de personalidad .

Juan dijo:

“ Encontré el taller muy interesante e intrigante. Puedo identificarme de manera certera con mi tipo particular de personalidad, pero tengo la curiosidad de saber que valor específico o utilidad le ha traído este taller a los funcionarios

¿Tienes alguna forma de mostrar los resultados de los 25 talleres?.

Margarita respondió rápidamente:

“Efectivamente hemos mejorado los equipos de trabajo y las comunicaciones al interior del establecimiento. He escuchado a funcionarios hacer comentarios de lo bien que les han hecho los talleres”

Juan continuó:

“Tienes algo más preciso, por ejemplo sabes cuanto dinero se gastó en los talleres.”

Margarita respondió

“No estoy segura si tenemos algún dato preciso, y tampoco estoy 100% segura de cuanto dinero gastamos, pero seguro puedo averiguarlo”.

Juan concluyo con algo de incitación:

Algo más especifico sería de ayuda. Por favor entiende que yo no me estoy oponiendo a este tipo de programas, pero me gustaría asegurarme queestamos agregando valor al trabajo o a las condiciones laborales de los funcionarios.

“Margarita estaba un poco preocupada por los comentarios de su director, sabia que él personalmente había tomado el taller y había manifestado abiertamente su gusto ¿por qué estaba preocupado de los costos?. Ella sentía que se les estaba ofreciendo un gran taller a los funcionarios, sentía que los equipos de trabajo habían mejorado pero no había forma de saberlo de manera segura. ¿Que debía hacer, responder a su director o ignorar el tema?

Preguntas

¿Es esta una situación típica de una organización?

¿Cuáles son los temas y problemas básicos en este caso?

¿Qué debería hacer Margarita?

El asunto es que….

• Hoy en día es más común en las instituciones un creciente interés en monitorear y administrar eficientemente sus proyectos y programas.

• Hay un creciente interés por invertir bien y evaluar.

• Existe mayor conciencia que los proyectos y programas independiente de sus fines deben tener algún tipo de evaluación que le permita determinar el éxito en los logros de los objetivos de intervención.

Dentro del ámbito de la evaluación de proyectos, un modelo que es considerado de gran utilidad y aplicación en la evaluación de programas de intervención y acciones formativas en general es el Modelo ROI

ROI (Return on Investment)ROI (Return on Investment)

• RRetorno / etorno / RRecuperoecupero

• OObservable / bservable / OObjetivobjetivo

de la de la

• IIniciativa / niciativa / IInversiónnversión

MODELO ROI

• Se basa en el Modelo de los 4 Niveles de Donald Kirkpatrick, de fines de los años 50. Originalmente, nace en el mundo de la Capacitación.

• Jack Phillips le agrega, en los 80, una serie de principios para su aplicación, documenta cientos de casos y entrega las técnicas para evaluar el retorno financiero de los proyectos.

• Durante los 90 y esta década se convierte en el Modelo de Evaluación más usado en el mundo, de probada eficacia, y cuyo uso se extiende a diferentes tipos de Programas de RRHH y organizacionales en general

Niveles de Kirkpatrick

1.La reacción de los participantes

Este nivel es sin duda el tipo de evaluación más utilizada en la mayoría de cursos de formación y programas en general. Ello porque puede realizarse a través de un cuestionario de opinión, o de forma más cualitativa mediante grupos de discusión.

Niveles de Kirkpatrick

2. El aprendizaje

Esta evaluación (en su versión formativa y/o sumativa) persigue comprobar el nivel de conocimientos y habilidades adquiridos por el alumnado a través de tests o pruebas de rendimiento validadas y fiables.

Niveles de Kirkpatrick

3. La TransferenciaConsiste en detectar si las competencias adquiridas con la formación se aplican en el entorno de trabajo y si se mantienen a lo largo del tiempo (mejor desempeño de la tarea, más rapidez, menos errores, cambio de actitud, etc.) Para su implementación se recomienda efectuar una serie de entrevistas además de otras técnicas de recolección de datos que permitan obtener información acerca de la aplicación de lo aprendido al entorno laboral.

Niveles de Kirkpatrick

4. El impacto o Resultado: Esta evaluación es utilizada sobre todo por las empresas. Aunque tradicionalmente la evaluación del impacto o de los resultados se ha basado en criterios económicos (demostrar un mayor número de ventas, mayor productividad, menos errores y/o reclamos) es importante señalar que el conocimiento producido, la capacidad de innovación que genera o la fidelización de las personas empleadas es también importante de ser consignada.

Quinto Nivel ROI

Retorno sobre la Inversión

Es aquí donde se cuantifica el costo-beneficio de un programa en términos monetarios. En líneas generales se puede decir que compara los beneficios del programa con sus costos.

Los Cinco Niveles de Medición Los Cinco Niveles de Medición (J.Phillips)(J.Phillips)

IMPACTO

ESFUERZO DE IMPLEMENTACIÓN

Bajo Medio Alto

Medio

Alto

NIVEL 1 REACCIÓN

NIVEL 1 REACCIÓN

NIVEL 2APRENDIZAJE

NIVEL 2APRENDIZAJE

NIVEL 3CONDUCTAS

NIVEL 3CONDUCTAS

NIVEL 4RESULTADOS

NIVEL 4RESULTADOS

NIVEL 5ROI

NIVEL 5ROI

Referencia de www.institutoroi.com

Ejercicio 1

Veamos a que nivel de evaluación es el objetivo que se señala:

• Disminuir las negligencias en un 20%• Iniciar al menos tres proyectos de reducción de

costos• Lograr un promedio de 75% de eficacia en un

simulador• Usar todas la habilidades de interacción con cada

usuario en al menos un 50% de los casos• Incrementar el índice de satisfacción usuaria en un

25% en 3 meses.

Ejercicio 2

Análisis de caso: Centro de Salud Regional

Volvamos al modelo

Referencia de www.institutoroi.com

Referencia de www.institutoroi.com

A estas alturas nos queda claro la importancia de la medición, pero

esta depende de una eficiente recogida de datos

• Sin embargo es uno de los punto más descuidados en la evaluación de una intervención.

• Los programas corren riesgo de desperdiciar recursos si no clarifican las preguntas que se están tratando de responder o los problemas a mejorar a través de un estudio de impacto.

Aquí hay una lista de propósitos que un estudio de impacto podría

cumplir• Determinar si una intervención está cumpliendo

sus objetivos.• Determinar la relación costo/beneficio de una

intervención.• Identificar fortalezas y debilidades en un

programa.• Determinar que población se ha visto mas o

menos beneficiada. • Recoger datos para promover futuros programas

Planes de evaluación y recolección de datos base

Preguntas preliminares

• ¿Cómo serán usados los datos?• ¿Qué tipos de datos se necesitan?• ¿Cómo serán analizados los datos?• ¿Qué instrumento/s se aplicará/n?• ¿Cuáles son las consecuencias de la información

sesgada?• ¿Cuál y como será el tiempo de evaluación?

Ejercicio 3:

Aplicación de Instrumento de Recolección de datos

Las aplicaciones ROI se han diversificado

• Mejoramiento del Desempeño• Aprendizaje y Desarrollo• Desarrollo Organizacional• Programas de RRHH• Iniciativas de Calidad• Iniciativas de bienestar y salud• Implementación Tecnológica• E-Learning• Comunidades de Aprendizaje

Ejemplo: Cómo evaluar el impacto en un

sistema de competencias

Nivel Enfoque de Medición

1. Reacción Midiendo la aceptación y comprensión de los supervisores y usuarios del sistema

2. Aprendizaje Midiendo el cambio en competencias, vía pruebas, casos, simulaciones.

3. Aplicación Recogiendo portafolios de evidencia, chequeando aplicaciones en terreno

4. Impacto Midiendo los efectos en el desarrollo de las competencias

5. Retorno Comparando el costo de la implementación con los beneficios

Referencia de www.institutoroi.com

Indicadores que permitirían evaluar el impacto de un Proyecto EPS?

Problema Abordado

Indicador(Indicar fórmula)

Evaluación Pre (%)

Evaluación Post (%)

Resultados Obtenidos

Instrumentos de Evaluación

Inversión ($) Beneficios(Cuanti y Cualitativos)

Insuficiente capacitación del personal en trato usuario.

Nº de capacitaciones realizadas/ Nº capacitaciones programadas.

Personal sin capacitación en trato usuario.

Personal capacitado en trato usuario.

Capacitación al 100% de los funcionarios en trato usuario.

Encuesta usuaria Pre y Post intervención.

$965,000 Nivelación del Equipo del Consultorio en temas de trato usuario.

Nº funcionarios que asisten a capacitaciones/ Nº total de funcionarios Consultorio.

Educación de deberes y derechos de los usuarios en box de atención y salas de espera.

Asistencia a Taller de Capacitación.

Cohesión del equipo de trabajo.

Desconocimiento de usuarios externos en relación a sus deberes y derechos.

Usuarios externos poco empoderados en cuanto a sus deberes y derechos.

Usuarios externos informados de sus deberes y derechos.

Participación de todos los estamentos en el proceso educativo.

Educación permanente a usuarios internos y externos.

Mejoramiento de la atención y trato usuario.

6.-RESULTADOS DE LA INTERVENCION EPS AYSEN

¿Podríamos implementar un sistema de evaluación del impacto de un

Proyecto EPS?

¿Podríamos implementar un sistema de evaluación del

impacto de un Proyecto EPS?

Muchas Gracias

ldelgado@teleduc.clldelgadog@uc.cl

http://luishernandelgado.blogspot.com