Diseño de una métrica que permita medir una formación eLearning

Presentada porYajaira Rosario

Introducción  Cómo podemos saber si el “aprendizaje” se ha

cumplido tras haber impartido un curso?. Esto lo sabemos con la evaluación. A continuación le presentare un modelo global de evaluación de acciones formativas de 4 niveles, que evalúa no solo la satisfacción (Nivel1-Reacción) de los participantes con respecto al curso y el grado de aprendizaje alcanzado (Nivel 2-Aprendizaje), sino qué tanto se han logrado cambios en el desempeño como consecuencia del aprendizaje (Nivel 3-Conducta) y qué impacto tiene ello en el negocio (Nivel 4-Resultados).

Desarrollado por el Dr. Don Kirkpatrick en la década de 1950, el modelo originalmente contenía los cuatro niveles de evaluación previamente mencionados. Ahora, los niveles se han aclarado por Don, Jim, y Wendy Kirkpatrick para formar lo que se llama Modelo "nuevo mundo" de Kirkpatrick. Dado que el concepto ha ido evolucionando junto con la formación, sigue siendo un marco de evaluación pertinente y robusto.

Enseguida se explica brevemente cada uno de los niveles. Cabe mencionar que ninguno de ellos es menos importante que el otro. Debe avanzarse secuencialmente al otro nivel y no se debe saltar ninguno de ellos.

Los 4 niveles de evaluación: 

Nivel 1: Reacción Qué mide?  Nivel de satisfacción, el interés y el

compromiso de los estudiantes (las últimas dos son adiciones del nuevo modelo). 

La evaluación de este nivel mide cómo reaccionan los participantes ante una determinada acción formativa, es decir, cuál fue su nivel de satisfacción tras haber participado en ella. Pero más allá de la simple satisfacción, las adiciones del  Modelo "nuevo mundo" de Kirkpatrick miden también el nivel compromiso (el grado en que los participantes están involucrados activamente y contribuyen a la experiencia de aprendizaje) y la relevancia (el grado en el que los participantes tendrán la oportunidad de utilizar o aplicar lo que aprendieron). 

Preguntas apropiadas incluyen: "¿Cuál fue su nivel de satisfacción después de participar en este curso?", "¿Te sientes comprometido?", Y "¿Fue relevante?

¿Cómo se realiza?  Esta evaluación se realiza mediante formularios o cuestionarios de reacción, que generalmente determinan las categorías a medir y utilizan escalas de satisfacción: Excelente, muy bueno, bueno, regular, malo.

¿Qué información aporta?  Esta evaluación aporta información relevante sobre la calidad del curso. Permite realizar ajustes inmediatos, por ejemplo: sobre la forma de enseñar del instructor, sobre la calidad de los materiales, sobre el contenido, etc.

Nivel 2: Aprendizaje

¿Qué mide? ¿Qué conocimientos, habilidades, actitudes y nivel de confianza fue adquirido por los participantes?

El autor indica que sin aprendizaje no puede ocurrir ningún cambio en la conducta. Por tanto, evaluar el nivel de aprendizaje alcanzado por los participantes como consecuencia de haber participado en un proceso formativo, es indispensable.

¿Cómo se realiza?  Esta evaluación se realiza antes de iniciar el curso y al finalizar, para realizar una comparación de resultados y valorar qué cambios han tenido lugar. Se compone generalmente de una prueba escrita para medir los conocimientos y actitudes y una prueba de desempeño para medir las habilidades.

¿Qué información aporta?  A partir de la medición del aprendizaje se puede analizar dónde se ha acertado y dónde se ha fallado, con el fin de planificar otras técnicas o métodos para mejorar la calidad y cantidad del aprendizaje en futuros programas. Además, sabiendo en qué grado el aprendizaje ha ocurrido, podemos esperar ciertos resultados en el tercer nivel de evaluación, que es el cambio de conducta.

¿Qué mide? ¿Los participantes utilizan las habilidades recién adquiridas en el trabajo?

Los líderes de los negocios esperan no solamente una acción formativa que guste a los participantes y que aporte un aprendizaje, esperan que como resultado de estos dos, los participantes generen un cambio en su conducta, que mejore su desempeño. El tercer nivel mide dicho cambio en la conducta.

El modelo del Nuevo Mundo Kirkpatrick sugiere que para lograr la transferencia de conocimientos, los alumnos necesitan incentivos. Los incentivos requieren procesos que recompensen y refuercen el rendimiento de ciertos comportamientos críticos.

Nivel 3: Conducta

Estos sistemas no sólo apoyan a los estudiantes que aplican lo que han aprendido a sus puestos de trabajo, sino que también fomentan un sentido de responsabilidad entre aquellos que realizan con éxito los comportamientos. 

¿Cómo se realiza?  Se realiza mediante entrevistas y/o encuestas a participantes, sus jefes inmediatos, sus subordinados y otras personas que pudieran estar involucradas o interesadas en que el cambio de conducta se produzca. Preferentemente debe dejarse que pase un tiempo considerable para realizar esta medición, el autor recomienda que sea de dos a tres meses.

¿Qué información aporta?  Permite ver si los conocimientos, habilidades y actitudes aprendidos fueron transferidos al puesto de trabajo. Y si no fue así, identificar las razones que lo impiden y realizar ajustes. Por ejemplo, puede ser que los conocimientos se hayan adquirido pero que las condiciones de clima laboral no hayan permitido que se pongan en práctica, ya sea porque el jefe inmediato no le ve utilidad, porque no se le ha dedicado suficiente tiempo, etc.

Nivel 4: Resultados Qué mide? ¿El curso ayudó a mejorar los

resultados del negocio? ¿Ocurrieron los resultados previstos como resultado de la experiencia de formación?

Las organizaciones a menudo hablan de ROI (Retorno de la Inversión), pero el model del Nuevo Mundo Kirkpatrick  considera el ROE (Retorno de las Expectativas), un concepto mucho más útil. A diferencia de el enfoque estrecho del ROI, el ROE conduce a un resultado duradero. Kirkpatrick afirma que en lugar de hacer preguntas limitadas como "¿Voy a recuperar mi dinero?", Es mucho mejor considerar orientados a resultados preguntas, como "¿A qué se parece el resultado?" o "¿Qué queremos cambiar en nuestra organización?"

¿Cómo se realiza?  Se realiza mediante entrevistas a los involucrados con el impacto. 

Es imprescindible que las partes involucradas entran en un proceso de negociación, para que el encargado de formación pueda asegurarse de que las expectativas de las partes interesadas son realistas y medibles con los recursos disponibles.

¿Qué información aporta?  Esta medición aporta indicios o indicadores tangibles que nos permitan retroalimentar las necesidades de formación.