02 Evaluacion ROI

8/18/2019 02 Evaluacion ROI

1/22

1

Gestión de la formación en base al modelodel retorno de inversión

Evaluación de los programas de

formación en base al Modelo del Retorno

de Inversión

Jaime Moreno Villegas: [email protected]

Septiembre de 2013

1. Enumerar las funciones claves de la gestión estratégica del proceso deformación.

2. Enumerar los niveles de evaluación de los programas de formación.

3. Determinar el nivel de evaluación de un programa de formación.

4. Planificar la evaluación de los programas de formación en los cinconiveles.

5. Usar la metodología ROI para evaluar los programas de formación.

6. Identificar programas de formación que tengan impacto y retorno deinversión.

7. Realizar mejoras al proceso de detección de necesidades decapacitación para que identifique programas que puedan ser medidos enel nivel de impacto y retorno de inversión.

Al final del módulo los participantes estarán en la capacidad de:

Objetivos de aprendizaje

© 2013. Jaime Moreno Villegas. 2


2/22

2

1. Reacción

2. Aprendizaje

3. Aplicación

4. Impacto

Mide la satisfacción de los usuarios con el program a

Mide el aprendizaje de los participantes

Mide si los participantes aplican lo aprendido en su t rabajo

Mide el impacto o cambio en los resultados

Mide el retorno económico de la inversión5. ROI


Los 5 niveles de evaluación

La reacción y percepción que tienen los participantes del evento y sus

características a la finalización del mismo.

Conferencia: Finanzas personales en época de crisi s

Al final de la conferencia, los participantes calificarán al menos con 4 / 5 las siguientes afirmaciones:

1. La exposición del conferencista fue clara y comprensible.

2. El contenido de la conferencia fue muy útil.

3. Aplicaré las recomendaciones presentadas.

4. Usaré el material que se entregó en la conferencia.

Los ítems de reacción tienen que enfocarse más al contenido del evento y la

Intención de aplicación, antes que al desempeño del instructor.Se recomienda que el 100% de cursos y eventos se evalúe en este nivel.


Reacción


3/22

3

Las acciones que los participantes están en capacidad de realizar como consecuencia del programa de formación.

Al final de este módulo los participantes estarán en capacidad de:

Formular objetivos de aprendizaje

Acción o desempeño

a ejecutar Objeto de la acción

Todo curso debería tener objetivos de aprendizajeentre el 40% y 60% de cursos deben evaluarse en este nivel


Aprendizaje

Las acciones que los participantes llevarán a cabo en su trabajo,

después del programa de formación.

Cursos Objetivos de aplicación (N3)

Técnicas de entrevistaAplicar las técnicas de entrevistas en al menos el 90% de lasentrevistas de forma inmediata

Rediseño de p rocesos Rediseñar el 100% de los procesos del área hasta fin de año

Habilidades de negociaciónUsar las habilidades de negociación en al menos el 80% detransacciones con los proveedores

Asesoría comercialAsesorar a todos los clientes de acuerdo a las técnicas aprendidasen el curso

Si resulta difícil plantear objetivos N3 a un curso, pregúntese:¿Es pertinente este curso? ¿beneficia a la organización?

Entre el 20% y 40% de cursos deben evaluarse en este nivel.


Aplicación o transferencia


4/22

4

Cursos Objetivos de impacto (N4)

Técnicas de ventas Incrementar el volumen de ventas en un 10%

Estrategias de marketing Aumentar la participación de mercado en un 5%

Elaboración de pólizas de seguroReducir el tiempo de emisión de las pó lizas. Actual 24 horas,meta: 12 horas.

Mejoramiento de la calidad de productos Reducir el índice de defectos por unidad en un 10%

Los resultados que se esperan como consecuencia delcurso y que serán medidos por indicadores de gestión

previamente identificados.

No todos los cursos de formación se miden en este nivel, pero tenga en cuentaque a partir de este nivel, la capacitación tiene un valor estratégico.Entre el 10% y 20% de cursos deben evaluarse en este nivel.


Impacto

Cursos Objetivos de impacto (N4)

Técnicas de ventasUn año después del curso por cada dólar invertidoesperamos un retorno de $ 2.2 dólares

Estrategias de marketingUn año después del curso se espera una relaciónbeneficio – costo de al menos 1.5

Mejoramiento de la calidad de productosUn año después del curso se espera un retorno deinversión del 200%

El retorno económico esperado de la inversión efectuada

Se puede calcular ROI siempre que hayan existido impactos positivos (N4),los beneficios puedan ser costeados y se hayan registrado la categoría decostos del programa. Entre el 5% y 10% de cursos deben evaluarse en este nivel.


Retorno de inversión


5/22

5

Desempeño del instructor Objetivos y contenidos delprograma

MaterialesRecursos audiovisuales Logística

Instalaciones

Desde el punto de vista del Modelo ROI, la información más crítica de estaevaluación es:

Intención de Aplicación Nivel de autoeficacia

Favorabilidad del entorno


Evaluación de reacción

• La predisposición inicial que tieneel participante para aplicar loaprendido en su trabajo.

Intención deAplicación

• El grado de seguridad que tiene el

participante en sus propiascapacidades para aplicar loaprendido.

Nivel de Auto-eficacia

• La percepción del participanterespecto a las facilidades quebrinda el entorno de trabajo paraaplicar los aprendizajes.

Favorabilidaddel entorno


Reacción, cont.


6/22

6

Pienso aplicar lo aprendido en mi trabajo.Los conceptos, herramientas y metodologías que he aprendido son aplicablesa mi trabajo.El curso me ha generado algunas ideas que pienso aplicar en mi trabajo.

Estudios han demostrado que la “intención de aplicación” es uno de lospredictores de la transferencia real al trabajo. Mayor intención, mejorprobabilidad de aplicación.


Reacción, cont.

Intención deAplicación

Me siento listo o preparado para aplicar lo aprendido en mi trabajo.Este curso ha aumentado mi seguridad con el tema.

Tengo la seguridad de que me irá bien cuando aplique lo aprendido en mi trabajo.

Estudios han demostrado que si la intención de aplicación se acompaña deun bien nivel de autoeficacia, la probabilidad de transferencia es mayor


Reacción, cont.

Nivel de Auto-eficacia


7/22

7

Dispongo del tiempo necesario para aplicar lo aprendido en mi trabajo.Dispongo de los recursos necesarios para aplicar lo aprendido en mi trabajo.Considero que mi jefe o compañeros me pueden apoyar en aplicar lo aprendido.Pienso que mi entorno de trabajo favorece la aplicación de aprendizajes.

Los estudios sugieren que cuando la percepción respecto al entorno de trabajoEs negativa, las posibilidades de aplicación están seriamente limitadas, a pesar

de los dos factores anteriores.


Reacción, cont.

Favorabilidaddel entorno

4,2

4,2

2,8

3,5

3,1

4,6

4,5

4,3

4,7

Satisfacción general

Logística

Favorabilidad del entorno

Autoeficacia

Intención de aplicación

Materiales

Objetivos y contenidos

Metodología

Desempeño del instructor

Evaluación de Reacción

Curso: Coaching EjecutivoN = 14

5 = total acuerdo4 = de acuerdo3 = mediano acuerdo2 = en desacuerdo

1 = total desacuerdo

¿Cuál es su pronóstico respectoa las posibilidades de aplicación deeste curso en el trabajo?


Reacción, cont.


8/22

8

Al final del programa los participantes estarán en capacidad de:

1. Consultar y encontrar información en el Código del Trabajo.2. Identificar los tipos de contratos de trabajo.3. Calcular la jornada laboral de acuerdo al tipo de contrato.4. Elaborar el rol de pagos.5. Calcular las provisiones de ley.6. Calcular liquidaciones.7. Explicar derechos y obligaciones del empleado y del empleador.

Las tareas donde la persona debe ser competente son los objetivos de

formación del programa

Curso: Legislación Laboral


Aprendizaje

Desempeño a evaluar

Condiciones bajo las queefectuará el desempeño

Criterios, estándares onormas de evaluación

Evaluaciónde

aprendizaje

Método de evaluación

Elementos para evaluar

Compara el desempeño del participante contra unos estándares dedesempeño o normas de competencia previamente establecidas.

La evaluación de aprendizaje también se conoce como:1. Evaluación referida al criterio.2. Evaluación contra estándares de desempeño.3. Evaluación de competencia laboral.


Aprendizaje, cont.


9/22

9

ObjetivosCognoscitivos

ObjetivosProcedimentales

Definir los cinco niveles de evaluación de los programas.

Instalar un censor de carga.

ObjetivosAfectivos

Sustentar las razones por las cuales uno está a favor o en contra delsuicidio asistido.

Tipos de Objetivosde Aprendizaje


Aprendizaje, cont.

ObjetivosCognoscitivos

ObjetivosProcedimentales

Pruebas de conocimientosPruebas técnicasPruebas oralesAnálisis de casos

Juegos de rolesPruebas de desempeño ySimulaciones con el usode listas de chequeo yrúbricas de evaluación

INSTRUMENTOS Y CRITERIOS DE EVALUACIÓN DEL APRENDIZAJE

Son las respuestas correctasde la pregunta o del caso Estándares de proceso

Estándares de resultadoEstándares mixtos


Aprendizaje, cont.


10/22

10

El grado en que los participantes aplican en su trabajo los

conocimientos y habilidades aprendidos, para mejorar su desempeño y

aumentar la efectividad organizacional

Aprendizaje Aplicación en eltrabajoTransferencia

Si la gente no aplica lo que aprende, la capacitación sirve de poco


Aplicación

1 •Aprendizaje

2 •Aplicación

3 • Impacto y ROI

Cadena de valor de la formación


Aplicación, cont.


11/22

11

50 jefes van a un curso de “formación de instructores”.Después de un año solo 5 de ellos han realizado cursos en lainstitución.

Un grupo de personas va al curso de “mejoramiento deprocesos”. Seis meses después se encuentra que no se harealizado el mejoramiento de ningún proceso.

Un grupo de gerentes asiste al curso “formulación deobjetivos e indicadores de gestión”. A los tres meses se

constata que ninguno de ellos ha formulado objetivos niindicadores para sus áreas.


Aplicación, cont.

Aprendizaje enel programa

Resultadose impacto

APLICACIÓN

La “Aplicación de los Aprendizajes” es elpuente indispensable para que la capacitación

tenga impacto y retorno de inversión


Aplicación, cont.


12/22

12

Generalizar las

aplicaciones

Aplicar demaneracontinua

en eltrabajo

Aplica r enel trabajo

Practicarpara

establecerel

desempeño

Adquirir elconocimiento para el

uso

Adquirirconocimien

to

PROCESO DE APRENDIZAJE DESEMPEÑO EN EL TRABAJO

El proceso de transferencia del aprendizaje


Aplicación, cont.

1 Aprender las características de la retroalimentación

2 Aprender los pasos de la retroalimentación

3Hacer juegos de roles con otros participantes para ensayar los pasos de laretroalimentación

4 Aplicar los pasos de la retroalimentación en una situación real con uncolaborador

5Continuar las retroalimentaciones de manera regular con todos loscolaboradores

6Sobre los principios de la retroalimentación, delegar y empoderar a losempleados para tener un mejor impacto en el desempeño del grupo

CURSO: Retroalimentación del desempeño Dirigido a: Jefes

Aprendizaje Desempeño


Aplicación, cont.


13/22

13

Características delindividuo

DiseñoInstruccional

Características delentorno y la cultura

organizacional

Aprendizaje enel programa

Aplicaciónen el trabajo

Factores que afectan la aplicación


Aplicación, cont.

Antes del evento

Dice que irá, pero no va.

Acepta asistir pero con

reticencia.No tiene claro a lo que va.

Durante el evento

Aprende cosas que no

necesita en su trabajo.

Abandona el evento porquelo vienen a buscar.

Después del evento

Aprendió algo pero no se siente

seguro de aplicar. Aprendió, pero el ambiente de

trabajo impide la aplicación.

Aprendió, pero su jefe y sus pares

no le animan ni le apoyan.

Falta de

transferencia

Transferencia

TRANSTEMPORALIDAD

DE LAS BARRERAS A LA

TRANSFERENCIA


Aplicación, cont.


14/22

14

Actores Antes Durante Después

Gerentes Enviar comunicación sobre laimportancia del programa.

Asistir a la clausura delevento para agradecer yanimar al grupo para querealice las apl icaciones.

JefesMantener reunión conparticipantes para motivarlosal programa.

Los jefes de cada áreavisitan a su equipo en la horadel almuerzo para agradecery reforzar su participación enel curso

Mantener reunión con losparticipantes para revisarplan de acción.

Apoyar la ejecución del pl an.

RecursosHumanos

Enviar información detalladadel programa.

Ayudar al instructor aentregar y explicar el u so delos planes de acción

Comunicar el período en elque se harán lasevaluaciones de aplicación

Participante

Participar en la reunión del

jefe y leer la informaciónenviada por recursoshumanos.

Completar el plan de acciónen el programa.

Mantener reunión con el jefe

para pulir plan de acción.Solicitar apoyo al jefe cuandosea necesario

Instructor Proponer posibles objetivosde aplicación a losparticipantes para revisión.

Reservar tiempo para que losparticipantes elaboren el plande acción y orientarles sobrela manera de completar elformato.


Planificar las acciones de aplicación

El área de formación debe formar a la persona que maneja personas(supervisores, jefes, gerentes, etc.) para que desempeñen el papel de“agentes de transferencia”.

Objetivos de Aprendizaje, N2

Aprender las estrategias de transferenciaque se pueden aplicar antes, durante ydespués de los eventos de formación,para que los colaboradores apliquen loaprendido en el trabajo.

Objetivos de Apli cación, N3

Aplicar las estrategias de transferenciaen el 100% de los casos donde loscolaboradores asistan a programasde formación.

Formación de agentesde transferencia


Aplicación, cont.


15/22

15

Los instructores internos de la organización:

1. Definirán objetivos de aprendizaje orientados al desempeño.2. Formularán los objetivos de aplicación de los cursos que dicten.3. Sugerirán las estrategias de transferencia de los cursos que dicten.4. Indicarán a los agentes de transferencia las condiciones

organizacionales necesarias para la transferencia.

POLÍTICA ORGANIZACIONALDE CAPACITACIÓN

Subsistema de Instructores Internos


Aplicación, cont.

NivelOrganizacional

Impacto

Tangiblea. Tiempob. Volumenc. Calidadd. Costos

Intangiblea. Satisfacciónb. Motivaciónc. Compromisod. Otros

Programas de nivel 4se miden en el nivelde impacto.

ROI


Impacto


16/22

16


Impacto

Análi sis de Imp acto Esmalt e: Defec to s po r Uni dad: Cásca ra de Naran ja

0

5

10

15

20

25

Ene-07 Feb-07 Mar-07 Abr-07 May-07 Jun-07 Jul-07 Ago-07 Sep-07 Oct-07 Nov-07 Dic-07 Ene-08 Feb-08 Mar-08 Abr-08 May-08 Jun-08

ALínea Base

enero - mayo 2007promedio = 9.6

Período de formación y evaluación

junio 2007

BPeríodo de Impacto

jul io 2007 - ju nio 2008promedio = .167

Posible mejoraM = B - A

-9.433 = .167 - 9.6


Impacto


17/22

17

An ális is d e Im pac to : P rom edi os Mens ual es d e Ven tas

0,00

50.000,00

100.000,00

150.000,00

200.000,00

250.000,00

300.000,00

Meses

V o l u m e n d e v e n t a s

Series1 134.63 120.52 169.58 171.83 150.86 151.06 182.45 174.58 208.77 183.85 217.33 196.78 205.60 246.84 241.44 222.29 206.19

ENERO/2007

FEBR

EO/2007

MARZO/2007

ABRIL/2007

MAYO/2007

JUNIO/2007

JULIO/2007

AGOSTO/20

SEPTIEMBR

OCTUBRE/2

NOVIEMBRE/

DICIEMBRE/

ENERO/2008

FEBRERO/2

MARZO/2008

MAYO/2008

JUNIO/2008

ALINEA BASE

PROMEDIO = $ 171 858.40

BINTERVENCIÓN(Capacitación)PROMEDIO =$ 224 477,02

Inicio de lacapacitación

Fin de lacapacitación

PERIODO DEINTERVENCIÓN

Mejora = B - A$ 52 618,62


Impacto

Grupos decontrol

Análisis detendencias

Múltipleslíneasbase

Estimaciónde

expertos

Métodos de aislamiento de los efectosdel programa


Impacto


18/22

18

Grupo APromedio de ventas

40 (experimental)

Grupo BPromedio de ventas

40 (control)

Recibe cursode capacitación

No recibe cursode capacitación

Promedio de ventasdespués de un año

60

Promedio de ventasdespués de un año

40

La mejora de 20 puntos se debe al curso de ventas

Grupos de Control


Impacto

100

90

80

70

60

50

40

30

20

10

0

1 2 3 4 5 6 7 8 9 10

V o l u m e n d e v e n t a s

Líneabase

Curso deventas

X = 40

Real

Pronosticada

X = 40

X = 60

brecha

Punto decorte

Análisis de tendencias


Impacto


19/22

19

Tasa de selección

0

5

10

15

20

25

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

A B

Costos de reclutamiento

0

2

4

6

8

10

1 2 3 4 5 6 7 8 9 10 11 12

N u m e r o

A B

Tiempo de Ciclo

0

10

20

30

40

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

# dias

A B

Múltiples líneas base


Impacto

Probables factores deinfluencia

Porcentaje deinfluencia

Porcentaje deconfianza o

seguridad en laestimación

Porcentaje deinfluenciaajustado

Demanda inusitada delproducto

10% 60% 6%

Efecto de la publicidad 26% 80% 21%Condicionesmacroeconómicas favorables

10% 50% 5%

Curso de ventas 54% 70% 38%

TOTAL100%

(debe sumar 100%)(no debe

sumar 100%)

Estimación delgrupo de expertos


Impacto


20/22

20

Estimación del grupo de expertos: 38%

Mejora = punto de corte - línea base60 – 40 = 20 (mejora)20 x 0.38 = 7.6 = 8

Los expertos estiman que de los 20 puntos de mejora, unos 8 puntosse deben a la influencia del curso de ventas.

Se trata de una estimación bastante conservadora


Impacto

ROI% =

Beneficios Netos del Programa

Costos del ProgramaX 100

Donde:Beneficios Netos del Programa =

Beneficios del Programa – Costos del Programa


Retorno de inversión


21/22


22/22

• Reacción

• % de programas conpronóstico positivo deaplicación

Aprendizaje

• % de programas concambios significativos deconocimientos


KPIs del proceso de formación

• Aplicación

• % de programascon aplicación

positiva

Impacto

• % de programas conimpacto positivo

ROI

•Retorno acumuladode la inversión


KPIs del proceso de formación

02 Evaluacion ROI

Documents

Transcript of 02 Evaluacion ROI