27 | sep | 2012 Escuela de Negocios Itaú Unibanco Evaluación de la Capacitación Congreso Clade...

27 | sep | 2012

Escuela de Negocios Itaú Unibanco

Evaluación de la Capacitación

Congreso Clade 2012

AGENDA

1. Breve Reseña – Itaú Unibanco

2. ¿Cómo es el proceso de las acciones de desarrollo?

3. ¿Por qué es importante medir los resultados de la capacitación?

4. ¿Cuáles son los beneficios del uso de la medición de resultados de la formación

para las organizaciones y los recursos humanos?

5. Presentación de los cuatro niveles de medición de resultados de la formación, en

base a la metodología de Kirkpatrick.

6. Las metodologías para la aplicación del estudio, aplicabilidad, impacto y retorno

de la inversión.

7. Presentación de un caso de retorno de la inversión.

1 . Breve reseña de Itaú Unibanco

1er Banco Brasileño y uno de los 15 mayores* bancos del mundo por

valor de mercado.

En Brasil

Presente en el 93% de los municipios con más de 50 mil habitantes.

4.714 puntos de atención, de los cuales 3.844 son sucursales y 870 son PAB.

102 mil colaboradores.

1,08 MM de participaciones en capacitación con 3,4 MM de horas en 2011.

U$ 76,5 MM fue el presupuesto para capacitación en 2011.

En América Latina

Presente en 4 países (Argentina, Chile, Paraguay, Uruguay).

273 sucursales y PAB.

Oficinas de representación en Perú y Colombia dedicadas a la operación de Itaú BBA centrada en

inversores institucionales.

México con foco en tarjetas de crédito.

5,8 mil colaboradores.

* Datos al 29/jun/2012 (fuente: Bloomberg)

2. El proceso de preparación de las acciones de desarrollo es cíclico, continuo y dinámico...

1. Diagnóstico:

estudio de la necesidad de acciones de desarrollo a partir: de los gaps de conocimiento y de

habilidades + de las evaluaciones de efectividad de

las acciones de desarrollo + estrategia de negocio

2. Diseño: elaboración de las

acciones de desarrollo a partir del diagnóstico

4. Evaluación: Verificación de los

resultados obtenidos con la

capacitación

3. Implementación:

ejecución y conducción de la

acción de desarrollo

Fuente: adaptado de Chiavenato, I, Gestión de Personas

Metodología que utiliza los indicadores de negocio/resultado del área cliente para entender gaps y para

evaluar

Actualmente, utilizamos dos grupos de indicadores en la Escuela Itaú Unibanco de Negocios...

No Financiero

Nº participaciones, nº de capacitados y

horas de capacitación en total

Por área, por tipo de cargo, por habilidad

desarrollada

FinancieroCosto/Inversión

Por participación/ por participante/ por

horas de capacitación

No Financiero

Evaluación de Reacción, Aprendizaje y

Aplicabilidad

Reacción respecto al 100% de los programas

Aprendizaje y aplicabilidad por indicación

FinancieroRetorno Económico – ROI

Relación de costos-beneficios generados

exclusivamente por las acciones de desarrollo

en indicadores de resultado del área cliente (ej.:

ventas)

Indicadores de Proceso Indicadores de Calidad

3. ¿Por qué es importante medir los resultados de la capacitación?

Para medir la satisfacción del participante y del cliente con

relación a la capacitación desarrollada.

Para asegurarnos de invertir en lo que es esencial para la

organización.

Para medir el impacto de las acciones de capacitación en los

resultados de los negocios y/o en el cambio de

comportamiento, de acuerdo con nuestra cultura y valores.

Para medir el retorno económico de la inversión (ROI).

4. Cuáles son los beneficios del uso de la medición de los resultados de la formación para las organizaciones y los RRHH

Comenzamos a actuar de forma más estratégica ante los desafíos de

negocios.

Tenemos la oportunidad de que se nos deje de considerar un área de

gastos para transformarnos en un área que puede generar “ingresos”

indirectamente.

Posibilidad de tomar decisiones con base en metodologías de

educación o continuidad de proyectos a partir de datos tangibles.

Redireccionamiento de los recursos que vayan a invertirse.

¿Les ha gustado?¿Cuánto les ha

gustado el curso?Formularios 100%

¿Han aprendido?¿Cuánto han

aprendido?

Tests, exámenes

y simulacrosDel 40% al 70%

¿Están haciendo

uso de ello?

¿Hasta qué punto

lo aplican

en el trabajo?

Medida de

desempeñoDel 30% al 40%

¿Están

pagando?

¿Cuál es el retorno

de la capacitación

sobre la inversión?

Análisis costo

beneficio10%

5. Los cuatro niveles de medida de capacitación – Modelo de Kirpatrick

4º Resultado

3º Comportamiento

2º Aprendizaje

1º Reacción y Satisfacción

Naturaleza Cuestión Instrumentos Cobertura

Fuente: Kirkpatrick, 1978

6. Metodología utilizada en nivel 3 - APLICABILIDAD

Nuestros primeros estudios de aplicabilidad se llevaron a cabo

en 2011.

Objetivo: evaluar la aplicabilidad de los conocimientos adquiridos en

la capacitación desde el punto de vista del colaborador y del gestor con

objeto de medir su efectividad en el día a día.

Publico objetivo: colaborador que participó en la capacitación, gestor

del colaborador que fue capacitado y, en casos de gestión de personas,

también equipo del colaborador.

6. Metodologías utilizadas en nivel 3 - APLICABILIDAD

Cantidad de evaluadores: un 15% de la población capacitada, como

mínimo, para asegurar la muestra estadística, y un 30% como máximo.

Esa elección puede ser aleatoria, pero tenemos que garantizar que un

mismo participante de la capacitación y un mismo gestor no se sometan a

una nueva evaluación de cualquier otra capacitación durante 3 meses

por lo menos.

Plazo de aplicación de la evaluación: 3 meses, como mínimo, y 6

meses, como máximo, a partir del momento en que termine la

capacitación.

6. Modelo de estudio en nivel 3 - APLICABILIDAD

Encuesta de AplicabilidadNecesidad1. Motivo por el que participé en la capacitación: ( ) Necesidad de este nuevo conocimiento en mi rutina de trabajo ( ) Necesidad de perfeccionamiento ( ) Indicación del gestor ( ) Acción prioritaria en mi plan de desarrollo individual ( ) No lo sé2. El contenido de la capacitación es relevante para la actividad que ejerzo.SíNoImpacto del programa3. Después de la capacitación, apliqué el conocimiento adquirido en mi día a día.En caso negativo, el colaborador responderá a la próxima cuestión:¿Por qué motivos aún no has utilizado este conocimiento en tu rutina de trabajo? ( ) El área de actuación no necesita este conocimiento ( ) Ya no ejerzo la misma función ( ) Falta de oportunidad para ponerlo en práctica ( ) Falta de condiciones adecuadas ( ) La capacitación no fomentó el aprendizaje necesario para que lo aplicase en mi trabajo ( ) Otro (especificar)4. La calidad de mi trabajo mejoró después de participar en esta capacitación. 5. Estos nuevos conocimientos contribuyeron a mi desarrollo.Apoyo de mi gestor/ ambiente6. Recibo apoyo de mi gestor para aplicar estos nuevos conocimientos.7. La dinámica de mi día a día posibilita la aplicación de los conocimientos adquiridos en la capacitación. Materiales y recursos.8. Tengo acceso a los recursos necesarios para implementar los conocimientos adquiridos en la capacitación.

Escala - utilizada para las cuestiones de 4 a 8

Totalmente en desacuerdo Parcialmente en desacuerdoNi de acuerdo / ni en desacuerdoParcialmente de acuerdoTotalmente de acuerdo

2011

11 proyectos

2012

57

proyectos

¿Por qué analizar la capacitación a partir del ROI?

¿El colaborador aumentó efectivamente sus resultados (ej.: sus ventas) exclusivamente por lo que aprendió en la capacitación?

¿Los resultados logrados justifican los costos directos y otros derivados de la capacitación?

Estas preguntas son importantes porque, muchas veces, aunque la

capacitación traiga consigo resultados –el aumento en ventas (impacto

positivo)–, no es suficiente para compensar lo que costó su

implementación.

6. Metodologías utilizadas en nivel 4 - ROI

Definición del programa que se va a medir

Definición de los indicadores por evaluar

Cálculo del retorno sobre la

inversión en capacitación

Análisis de resultados no relaciona-dos con el Retorno Económico

Definición de metodología de ROI

Fuentes de los indicadores

Análisis cualitativo de las informa-ciones

Plan de acción y

mejoras de ser

necesario

Planificación Análisis de DatosAnálisis de Impacto

Retorno Económico

3 meses 2 meses3 meses 1 mes

Grupo de Trabajo

ACRF

Analista Escuela

Negocio

Estudio

Indicadores



Medimos ROI desde 2003.

Hasta 2010 ya han sido medidos 7 proyectos.

En 2011 retomamos el proyecto de forma

centralizada.

En 2012 estamos con 3 proyectos en marcha.

Premisa de análisis econométrico de impacto:

Comprensión de la estrategia del negocio y de las variables que lo afectan.

Comprensión de la estructura de base de datos del negocio.

Comprensión del flujo y de la capacitación en sí.

Premisa para la realización del trabajo:

Elección de los responsables que participarán en el grupo de trabajo.

Elección de una capacitación y un área específica para someterla a

evaluación.

Compromiso asumido de presentar los resultados y adoptar las acciones

que corresponda independientemente de los valores a favor o en contra

referentes a la capacitación.

Decisión sobre la forma de comunicación del trabajo.


Informaciones Generales de la Evaluación Económica de las

Acciones de Capacitación

Metodología de análisis:

retorno económico de la capacitación a partir de la evaluación de impacto, de

las informaciones de ingresos y del costo de la capacitación.

Forma/técnica:

para calcular el impacto: división por pares de personas capacitadas y no

capacitadas, a partir de variables observables, a efectos de garantizar una

relación de causa entre capacitación y resultado;

para calcular los ingresos cuando el impacto calculado no esté en forma

monetaria: es necesario disponer de una forma de convertir ese valor, como, por

ejemplo, la atribución de valuation promedio en caso de impacto en unidades de

ventas.


ROI – Retorno Monetario de la Acción de Desarrollo

Objetivo: medir el retorno económico de la inversión en capacitación para que sirva de soporte al análisis estratégico.

Capacitación evaluado: capacitación presencial Metodología Comercial (32 horas).

Población analizada: Operador de Negocio canal comercial Leves.

7. Estudio de caso - ROI


Medir el impacto de la capacitación permite cuantificar las

relaciones de causa entre la capacitación y la cantidad de

ventas.

Tal medida nos permitirá afirmar si, de hecho, la capacitación fue

responsable de los cambios ocurridos en las ventas.

En otras palabras: a falta de tal capacitación, los cambios observados en

las ventas no habrían ocurrido.

Promedio general de las variables de resultado y control

TOTAL

No capacitado Capacitado

NPV (R$) R$ 177.380 R$ 206.033

Spread (%) 11,63 10,81

Volumen Operado Promedio (R$) R$ 839.448 R$ 1.037.132

Nº de operaciones 51,96 60,52

Ticket Promedio (R$) R$ 16.154 R$ 17.137

Meses de experiencia en media 18,50 28,94

Premisa: contratos incumplidos desde hace más de 60 días se excluyeron del valor consolidado de las variables de resultado per capita promedio.

* Se rechazaron los valores muy altos y muy ajos, el 1% de las puntas de la distribución.

NPV Promedio (R$) Nº Operaciones Promedio Spread Promedio (%)

No capacitado CapacitadoNo capacitado

Capacitado No capacitado Capacitado

Hombre 180.308 201.395 53 59 11,76 10,96

Mujer 175.437 208.869 52 61 11,45 10,56

Soltero 172.259 202.887 51 60 11,41 10,65

Casado 183.211 209.291 53 61 11,86 10,97

Hasta Enseñanza Secundaria Completa

169.518 187.770 51 58 11,86 11,07

Hasta Enseñanza Superior Completa

175.121 207.184 51 60 11,47 10,76

Posgrado 192.882 223.272 57 69 12,15 10,51

Datos brutos separados

solamente entre capacitados y no

capacitados

Promedio NPV mensual

Existe diferencia en la productividad entre capacitados X no capacitados cuando el control se efectúa tan solo en función del mes, no obstante no podemos considerar que esta diferencia se debe a la capacitación porque no tuvimos en cuenta las demás variables, principalmente el tiempo de experiencia en el cargo.

Promedio NPV por categoría de meses de experiencia

0

50000

100000

150000

200000

250000

300000

Meses de experiência

Sem Treinamento Presencial Com Treinamento Presencial

0

50.000

100.000

150.000

200.000

250.000

300.000

jan/07 fev/07mar/07abr/07mai/07 jun/07 jul/07 ago/07set/07 out/07nov/07dez/07

Mês

Sem Treinamento Presencial Com Treinamento Presencial

Cuando presentamos el resultado promedio con relación al tiempo de experiencia, esta diferencia entre capacitados y no capacitados no es perceptible. Por eso, tenemos que utilizar otras metodologías que aíslen el efecto de la capacitación.

Observación: datos brutos separados solamente entre capacitados y no capacitados

Comportamiento similar entre

grupos

Metodología – Matching (Pareo)

Se calcula la diferencia entre el promedio del valor neto operado de los CAPACITADOS y del

promedio de los NO CAPACITADOS. Solamente se incluyen en el grupo no capacitado

aquellos con las mismas características observables del grupo de los capacitados.

Ponderación de los similares a partir de las variables observables

NO COMPARABLES

No capacitados

Capacitados

Grupo no capacitados

Grupo capacitados

SIMILARES A LOS CAPACITADOS

Experiencia en el cargo (meses) Región Geográfica y Superintendencia Comercial Edad, género, estado civil, escolaridad Nº total de e-learnings realizados Mes de referencia

IMPACTO

Impacto de la capacitación presencial - Total

Efecto de la capacitación general Efecto de la capacitación presencial

Impacto de la capacitación

¿Estadísticamente significativo al 5%?



Nº Operaciones 2,9 Sí - No

NPV Promedio (R$) R$ 12.572 Sí R$ 9.475 Sí

% NPV Promedio 9,6% Sí 8,14% Sí

Spread Promedio - No - No

* Metodología de pareo Kernel y error estándar calculado a partir del bootstrap con corrección de tendencia.

** Impacto estadísticamente significativo al 5% asegura que el resultado presentado es distinto de cero. Cuando no es estadísticamente significativo, no podemos afirmar que la capacitación surtió efecto.

El efecto de la capacitación general tiene en cuenta cualquier forma de capacitación.

El efecto de la capacitación presencial mide exclusivamente el efecto de la capacitación presencial, es decir, se descuenta el efecto de la capacitación vía e-learning.

Los e-learnings se ofrecieron a lo largo de

2007.

Impacto de la capacitación presencial para submuestras

Objetivo del análisis: medir el impacto de la capacitación en las variables de resultado

para los diferentes niveles de experiencia después de la capacitación.

Los niveles de experiencia se separaron en tres categorías:

1. Capacitados con 18 meses de experiencia, como máximo, en el cargo;

2. Capacitados con de18 a 36 meses de experiencia, como máximo, en el cargo; y

3. Capacitados con más de 36 meses en el cargo.

Resumen de los impactos en cada una de las tres categorías

¿El efecto de la capacitación es diferente de cero?Para capacitados con0-18 meses de experiencia

Para capacitados con 18-36 meses de experiencia

Para capacitados con más de 36 meses de experiencia

Nº Operaciones

NPV Promedio (R$)

% NPV Promedio

Spread Promedio

- -SíSí

Impacto de la capacitación presencial (aumento adicional) en las submuestras

Operadores capacitados con 18-36 meses de experiencia

Operadores capacitados con más de 36 meses de experiencia





Nº Operaciones 10,07 Sí -10,38 Sí

NPV(R$) R$ 34.327 Sí - No

% NPV Promedio 33,15% Sí - No

* Metodología de pareo Kernel y error estándar calculado a partir del bootstrap con corrección de tendencia.

** Impacto estadísticamente significativo al 5% asegura que el resultado presentado es diferente de cero. Cuando no es estadísticamente significativo, no podemos afirmar que la capacitación causó impacto.

Impacto mes a mes de la capacitación presencial

-100000

-80000

-60000

-40000

-20000

0

20000

40000

60000

80000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Un

idad

es d

e ve

nta

s ad

icio

nal

es

Meses posteriores a la capacitación

16 meses es lo que se calcula que dure el impacto de la capacitación

Tendencia de la productividad adicional después de la capacitación

Desviación estándar de la estimación

Estimación por mes después de la capacitación con alto error estándar

Retorno Económico per capita – Submuestra

Muestra capacitada con menos de 18

meses de experiencia

Muestra capacitada con 18-36 meses de

experiencia

Muestra capacitada con más de 36 meses

de experiencia

Meses de retorno - 16 meses -

Impacto mensual de la capacitación – en NPV

- R$ 34.327 -

Tasa CDI, descontado el IPCA 0,34% a.m

Mes promedio de la capacitación 10º 27º 68º

Flujo de Caja

VP Ingresos totales (A)VP Costos de la capacitación* (B)

VPN – Valor Presente Neto (C) = (A) + (B)

(R$ 32.761)

(R$ 32.761)

R$ 479.748(R$ 30.645)

R$ 447.108

(R$ 26.321)

(R$ 26.321)

Total de capacitados 341 ( 59%) 102 ( 17%) 136 ( 24%)

TIR a.m - 101% a.m. -

Nota: resultado referente al impacto del NPV positivo y estadísticamente significativo.

* El prorrateo del costo administrativo no se tuvo en cuenta.

Retorno económico total de los capacitados en 2007

Nota: resultado referente al impacto positivo y estadísticamente significativo.

Submuestra – Ingresos conseguidos por la población capacitada con18-36 meses

VPN - Ingresos (102) (A)

R$ 48.934.296

VPN Costo - Nº de capacitados 0-18 (342) (B) (R$ 11.171.501)

VPN Costo - Nº de capacitados 18-36 (102)(C)

(R$ 3.125.823)

VPN Costo - Nº de capacitados >36 (132) (D)

(R$ 3.579.699)

VPN – Valor Presente Neto(E) = (A)+(B)+(C)+(D)

R$ 31.065.809

Plazo de recuperación de la inversión 1 mes

Resultados

La capacitación causó impacto en NPV (ingresos) en el caso

de los capacitados que tienen de 18 a 36 meses de experiencia

en el cargo.

Tal resultado indica que esta capacitación tiene carácter de

perfeccionamiento y no de desarrollo inicial.

Conclusión

Mantener la metodología comercial para la población con de 18

a 36 meses de experiencia en el cargo.

Desarrollo de un programa de formación para la población con

de 0 a 18 meses de experiencia en el cargo.


Principales cuidados que debemos tener para medir correctamente los resultados de la capacitación...

Alineamiento con el área de negocio al inicio del proyecto.

Contar con un equipo especializado para diseñar el indicador, buscar aliados que tengan conocimiento.

Dificultad de aislar algunos indicadores específicos de la capacitación recibida.

Tiempo – no desistir del proyecto en función del plazo necesario para su desarrollo.

Falta de comunicación clara.

Tengan la seguridad de que medir la capacitación nos acerca a la

meta de ser un RRHH Estratégico....

Muchas graciasRafael Turchiai Gabriel

Escuela Itaú Unibanco de [email protected]

27 | sep | 2012 Escuela de Negocios Itaú Unibanco Evaluación de la Capacitación Congreso Clade...

Documents

Transcript of 27 | sep | 2012 Escuela de Negocios Itaú Unibanco Evaluación de la Capacitación Congreso Clade...