Aclaraciones Modelo EFQM 2010.

Aclaraciones de EUSKALIT sobre el Modelo EFQM© 2010 1

ACLARACIONES DE EUSKALIT SOBRE EL MODELO EFQM© 2010 INTRODUCCIÓN 1

CRITERIOS AGENTES: Modificaciones relevantes en los títulos de los subcriterios 2

CRITERIOS RESULTADOS: Subcriterios a leer con especial atención 2

MATRIZ REDER AGENTES 3

ENFOQUE 3

Sólidamente fundamentado 3

Integrado 4

DESPLIEGUE 4

Implantado 4

Sistemático 4

EVALUACIÓN, REVISIÓN Y PERFECCIONAMIENTO 4

Medición 5

Actividades de Aprendizaje y Creatividad 5

Mejora e Innovación 5

MATRIZ REDER RESULTADOS 7

RELEVANCIA Y UTILIDAD 7

Ámbito y relevancia 7

Integridad 8

Segmentación 8

RENDIMIENTO 9

Tendencias 9

Objetivos 13

Comparaciones 14

Causas 14

PUNTUACIÓN DE LOS RESULTADOS 15

Agradecimientos 15

Este documento de aclaraciones ha sido preparado por miembros del Club de Evaluadores de EUSKALIT con una amplia experiencia tanto en el EFQM Excellence Award como en el Servicio de Evaluación Externa de EUSKALIT y busca clarificar posibles dudas de interpretación de la nueva

versión 2010 del Modelo EFQM©

de Excelencia. Para entender este documento es necesario realizar

la lectura del mismo junto con el documento original del Modelo EFQM 2010. Las aclaraciones que presentamos a continuación son las directrices que se deben seguir en el Servicio de Evaluación Externa de EUSKALIT.

INTRODUCCIÓN

El Modelo EFQM es un marco no prescriptivo de referencia para la gestión y para la evaluación de las organizaciones. Se estructura en 9 criterios que se despliegan en 32 subcriterios. Los subcriterios describen los grandes elementos que debe gestionar toda organización. Si bien, el sentido no prescriptivo del que hablamos se aprecia en que, aunque no sea habitual, una organización podría presentar razones convincentes por las que uno o varios de los subcriterios del Modelo no aplicasen en su gestión. Si estuviese debidamente justificado, el evaluador debería promediar la puntuación entre el resto de subcriterios tal y como se explica en una NOTA en la matriz REDER del propio Modelo EFQM 2010, página 29. Para facilitar la comprensión de estos 32 subcriterios, se han incorporado dentro cada uno de ellos entre 4 y 6 elementos a considerar. Son ejemplos que deben ayudar a aclarar el significado de cada subcriterio, son ejemplos de lo que en la práctica hacen muchas organizaciones excelentes, pero ni es una relación exhaustiva, ni tampoco es obligatorio que una organización los tenga todos en cuenta o los lleve a la práctica en su gestión. Se destacan en rojo y cursiva aquellos aspectos novedosos de la nueva versión del Modelo EFQM, manteniéndose otros ejemplos que ya aparecían en el documento de aclaraciones anterior realizado también por EUSKALIT.


Modificaciones relevantes en los títulos de los Subcriterios:

CRITERIOS AGENTES

2d. La estrategia y sus políticas de apoyo se comunican, implantan y supervisan. En la anterior versión del Modelo EFQM se indicaba que la comunicación y despliegue de la política y estrategia de una organización se realizaban a través de los procesos clave. En el Modelo 2010, hacerlo así sigue siendo una opción muy clara (tal y como se señala en el tercer elemento del subcriterio), pero queda a la consideración de cada organización cuál es la forma de comunicar, implantar y supervisar su estrategia. Si se hace de otra manera (a través de mini compañías, departamentos u otra tipología de procesos, por ejemplo), lo importante es que haya coherencia entre el enfoque para comunicar y desplegar la estrategia de la organización y el sistema organizativo de la misma (por procesos, por proyectos, por departamentos, por negocios, etc.) para orientarse a la consecución de los resultados deseados. No debe olvidarse que la gestión por procesos sigue siendo uno de los ocho conceptos fundamentales de la Excelencia y el propio modelo indica que “…las organizaciones Excelentes se gestionan mediante procesos estructurados y alineados estratégicamente a partir de decisiones basadas en datos y hechos para obtener resultados equilibrados y sostenidos”. 4a, 4b y 4c. Interpretación del concepto sostenible Se busca profundizar en cómo las organizaciones gestionan sus aliados y proveedores (4a), sus recursos económico-financieros (4b) y sus edificios, equipos, materiales y recursos naturales (4c), no sólo teniendo en cuenta la gestión de los mismos en el corto plazo, sino siendo conscientes y asumiendo su responsabilidad en un futuro sostenible equilibrando su impacto económico, social y ambiental. Debemos ver cómo las organizaciones contemplan estos elementos en su estrategia y valoran cómo ser competitivos y sostenibles al mismo tiempo. Para profundizar en esta acepción de sostenibilidad, se recomienda la consulta del Concepto Fundamental de la Excelencia: Asumir la Responsabilidad de un futuro sostenible (pág. 8 del Modelo EFQM 2010). 5c. Los productos y servicios se promocionan y ponen en el mercado eficazmente. Este nuevo enunciado de un subcriterio, no quiere decir que estas actividades sean nuevas para las organizaciones ni para el propio Modelo EFQM y para la evaluación, sino que se ha considerado que la importancia de las mismas podría requerir un subcriterio específico nuevo (5c) para ser contadas. En el subcriterio 5a se debe incluir cómo la organización realiza el diseño y la gestión de sus procesos, en el 5b lo relativo al desarrollo de los productos y servicios y en el 5c se incluiría lo relativo a cómo se promocionan esos productos y servicios (publicidad, marketing, etc.) y cómo se ponen en el mercado (red de ventas que se utiliza, distribuidores, franquicias, etc.). Dentro de las posibles áreas que se incluyen en el subcriterio 5c, la tercera tiene una traducción incorrecta. Donde pone: Implantan el modelo empresarial y la proposición de valor definiendo los puntos de venta que les diferencian…debe entenderse, “cuáles son los elementos distintivos o ventajas diferenciales que la organización identifica y presenta de su producto o servicio respecto a los de otros”.

CRITERIOS RESULTADOS

Subcriterios a leer con especial atención 6a, 7a, 8a. Percepciones. Medidas cuantitativas, cualitativas y trazabilidad de resultados Aunque las encuestas de satisfacción a clientes, personas o sociedad sean una forma frecuente de medir la percepción directa de estos colectivos, en el Modelo 2010 (al igual que en la versión anterior) siguen apareciendo otras fuentes que utilizan las organizaciones excelentes para obtener esa información, tales como los grupos focales, las clasificaciones de proveedores, las felicitaciones y quejas, entrevistas, evaluaciones del desempeño, etc. Algunas de estas metodologías son cuantitativas, otras son cualitativas y otras mixtas y hay organizaciones que las utilizan indistintamente o incluso de manera complementaria. Hay organizaciones que realizan encuestas de satisfacción y profundizan en las áreas de mejora detectadas utilizando los grupos focales (que también requieren de seguir una metodología en cuanto a número y perfil de participantes, desarrollo de las sesiones, representatividad de los resultados, etc.). Otras organizaciones alternan la utilización de diferentes metodologías a lo largo de los años. Lo importante es que la organización elija la metodología más adecuada en cada caso para recoger la información relevante y poder tomar decisiones.


En cuanto a la trazabilidad de los resultados, es la organización la primera interesada en poder seguir la evolución de sus resultados y por tanto, debería tener en cuenta que si decide utilizar diferentes metodologías, éstas deberían permitirle ver la evolución de los resultados internamente y por tanto también poder presentársela a los evaluadores para que evalúen la tendencia de los mismos. Ejemplo: Puede ser positivo que una organización que lleva muchos años haciendo encuestas y obtiene resultados cuantitativos satisfactorios, o simplemente que le aportan poca información para la mejora, decida probar, por ejemplo, a realizar grupos focales para profundizar en las percepciones de alguno de sus grupos de interés. Antes de cambiar de metodología debería asegurarse de que los resultados que va a obtener (cuantitativos y/o cualitativos) le van a permitir seguir obteniendo la información sobre si la percepción de la satisfacción del colectivo preguntado se mantiene, sube o baja (indistintamente de la metodología) y por tanto, si la trazabilidad de los resultados no se va a ver afectada. Las metodologías de medición y la trazabilidad de los resultados son más relevantes, si cabe, viendo el nuevo atributo de Integridad en la matriz REDER de resultados, que nos hace reflexionar sobre si los resultados son oportunos, fiables y precisos.

MATRIZ REDER AGENTES

Las siglas del concepto REDER hacen referencia a: Resultados, Enfoque, Despliegue, Evaluación, y Revisión y Perfeccionamiento. La lógica que sustenta la Matriz REDER coincide con el clásico ciclo PDCA (PLAN-DO-CHECK-ACT), en el que se debe:- Planificar el enfoque, Desplegar el enfoque, Comprobar (evaluar) la efectividad, y después Actuar en base a lo aprendido, mejorando así o perfeccionando el enfoque, con lo que cerramos el círculo. En la Matriz REDER, existen tres elementos a tener en cuenta a la hora de puntuar los agentes facilitadores: Enfoque Despliegue Evaluación, Revisión y Perfeccionamiento. Cómo evaluar el Enfoque El enfoque se valora en base a dos atributos:

Sólidamente fundamentado: el enfoque tiene una lógica clara, tiene definidos los procesos, se centra en las necesidades de los grupos de interés y se ha perfeccionado con el tiempo.

Para considerar que el enfoque está sólidamente fundamentado, el evaluador debe ver la lógica o las razones por las que la organización ha adoptado un planteamiento; por ejemplo, como resultado de sus actividades de aprendizaje (investigaciones, estudios, grupos de intercambio de buenas prácticas, benchmarking). Un enfoque sólidamente fundamentado se implantará mediante procesos claramente definidos y desarrollados, documentados en la medida que sea oportuno para la correcta gestión de los mismos, estará orientado a cubrir las expectativas de los grupos de intereses implicados o afectados y se habrá perfeccionado con el tiempo. Esta última referencia temporal indica que el evaluador debe buscar además si se han ido introduciendo mejoras en el enfoque a lo largo del tiempo, por tanto, si ese enfoque ha mostrado signos de madurez o ha sido puesto en práctica y demostrado ya algún resultado. Si ha habido ciclos de evaluación y revisión se pueden buscar las mejoras que se han ido incorporando al enfoque a raíz de los ciclos de revisión y mejora. Si es un


enfoque nuevo, por el contrario, no habrá tenido tiempo de perfeccionarse y por tanto su solidez no podrá ser valorada en igual medida.

Integrado: el enfoque apoya la Estrategia, y está vinculado a otros enfoques, cuando procede. El evaluador buscará ejemplos que demuestren que uno o varios enfoques han sido puestos en práctica para obtener unos resultados deseados (en el corto o en el largo plazo). Una organización excelente es aquella que presenta elementos de gestión vinculados entre sí para reforzarse mutuamente creando sinergias y apoyando el logro de sus objetivos estratégicos. Las organizaciones menos avanzadas suelen presentar sistemas de gestión con prácticas aisladas unas de otras, con solapamientos, con objetivos contradictorios, o bien no plenamente alineados con la política y estrategia. Cómo evaluar el Despliegue El despliegue se valora en base a dos atributos:

Implantado: el enfoque está implantado en las áreas relevantes Para evaluar la implantación hay que tener en cuenta cómo el enfoque se ha puesto en práctica en los diferentes niveles de responsabilidad de la organización, en sus diferentes centros productivos, unidades de negocio, procesos, empleados, o en los diferentes productos y/o servicios que ofrece. El evaluador debería profundizar en ver cuál es el grado de implantación de los diferentes enfoques de la organización buscando evidencias del tipo: “Hemos desplegado…hasta el 80% de la plantilla”, “todos los líderes hemos recibido al menos 20 horas de formación en calidad total” o “hemos establecido indicadores y objetivos en la totalidad de los 20 procesos que configuran nuestro mapa de procesos” o “hemos aplicado… en 3 de nuestros 5 centros productivos”. Igualmente, se podría evidenciar viendo si la organización tiene clara la frecuencia con la que pone en práctica determinados enfoques.

Sistemático: El enfoque está implantado de manera estructurada y oportuna y es capaz de gestionar cambios en su entorno, si es necesario.

Se refiere a si el evaluador puede ver que la organización está implantando el enfoque de forma estructurada, ordenada, de acuerdo a los criterios y pautas establecidos por parte de los responsables asignados, ha marcado un plan o calendario para el despliegue teniendo en cuenta la complejidad del proyecto y si el ritmo del despliegue es oportuno (ni demasiado lento, ni demasiado rápido). Y si se presentan ejemplos de cambios (pequeños o profundos) realizados cuando las circunstancias del entorno lo requieren. Ejemplo: La sistemática se puede evidenciar, por ejemplo, cuando una organización presenta cómo a la hora de desplegar un nuevo enfoque ha realizado la comunicación previa necesaria, han realizado pruebas piloto, han definido claramente a los responsables de las actividades, están establecidos los plazos y los recursos necesarios, se ha dado la formación necesaria a las personas afectadas, se han fijado indicadores para medir el grado de cumplimiento de las acciones y se ha tenido en cuenta no solo el corto sino también el largo plazo y su mantenimiento a lo largo del tiempo, es decir, su sostenibilidad. Cómo evaluar la Evaluación, Revisión y Perfeccionamiento La Evaluación, Revisión y Perfeccionamiento se valora en base a tres atributos:


Medición: se mide periódicamente la eficacia y eficiencia de la puesta en práctica del enfoque y de su despliegue. Las medidas seleccionadas son adecuadas.

Se refiere a si se tiene en cuenta cómo la organización mide tanto la eficacia de sus enfoques (que consiguen los resultados esperados), como la eficiencia (cuántos recursos, tiempo y dinero se consumen) y cómo se contempla la relación existente entre ambas. En este caso, más que los resultados de la medición (que se presentarán en los Resultados), la organización debería aportar evidencias del proceso de medición, de la frecuencia con la que se mide y del por qué de los mecanismos de medición adoptados por la organización, quién es el responsable de la medición, con qué frecuencia se aplica, etc.

Actividades de Aprendizaje y Creatividad: El aprendizaje se utiliza para identificar mejores prácticas y oportunidades de mejora internas y externas. La Creatividad genera enfoques nuevos o los modifica.

Hay muchas formas de llevar a cabo actividades de aprendizaje, como por ejemplo las visitas a organizaciones avanzadas, asistencia a cursos, charlas o congresos, la lectura de libros y revistas, las búsquedas en bases de datos de buenas prácticas, la participación en talleres y grupos de intercambio de prácticas de gestión, la colaboración con universidades o con centros de investigación, el apoyo de consultores y expertos, o el benchmarking interno y/o externo, tanto con una organización del mismo sector como con otras de sectores muy diferentes. Fruto de esos aprendizajes externos las organizaciones pueden valorar si sus enfoques son anticuados, normales, mejores o incluso, “best in class” (referencias en su sector o ámbito). La palabra “creatividad” se utiliza con profusión en Modelo EFQM 2010, especialmente en la matriz REDER. Anteriormente el atributo a evaluar era “Actividades de aprendizaje”. Se ha ampliado a “Aprendizaje y Creatividad” remarcando así la importancia de la creatividad para generar nuevos enfoques o modificarlos. Situaciones donde puede intervenir la creatividad:

Una copia clavada al original observado. Aquí no interviene la creatividad.

Una copia adaptando a nuestra organización lo observado o aprendido. Aquí ya empieza a intervenir la creatividad.

La comprensión de unos conceptos o principios básicos que nos permitan hacer un desarrollo novedoso y original. Aquí puede intervenir mucho la creatividad.

Podemos estimular la creatividad mediante las herramientas que existen al efecto (tormentas de ideas, pensamiento lateral, etc.) aplicadas a un caso concreto. Y podemos ver evidencias de utilización de la creatividad en las organizaciones cuando vemos evidencias de sesiones específicas de análisis de problemas, sistemas de sugerencias, aportaciones informales que se recogen y gestionan,…Habrá que ver qué se ha hecho y qué ideas han surgido de todo ello y cómo se orientan a la generación de nuevos enfoques.

Mejora e Innovación: el resultado de las mediciones y el aprendizaje es analizado y utilizado para identificar, establecer prioridades, planificar e implantar mejoras. El resultado de la creatividad se evalúa, prioriza y utiliza.

La organización debería describir la lógica mediante la cual la información que se deriva de la medición y de las actividades de aprendizaje da lugar a mejoras reales y visibles en los resultados. Anteriormente, este último atributo de la matriz REDER se denominaba “Mejora”. En la versión de 2010 se amplía a “Mejora e Innovación”. Dado que las mejoras pueden ser desde pequeñas hasta muy grandes y también se habla de innovación incremental o radical, entendemos que “mejora e innovación” se presenta como un concepto único que se expresa con dos palabras en la matriz REDER.


Hace unas décadas distinguíamos entre innovación y mejora continua. Llamábamos innovación a las grandes mejoras que se introducían en las empresas, normalmente desde la alta dirección y, a menudo, con un soporte tecnológico. A esta labor, los japoneses nos demostraron que había que sumarle el esfuerzo de todas y cada una de las personas por mejorar día a día su labor, su entorno, sus procesos de producción, la calidad del producto, etc. A esto los japoneses le llamaban Kaizen y aquí se tradujo como “mejora continua”. Lo que el evaluador debe buscar es qué ideas innovadoras y qué cambios (grandes o pequeños) marcan la diferencia en los enfoques de la organización. Igualmente, se debe buscar si la organización dispone de una forma, procedimiento o sistema que le sirva para priorizar las ideas o propuestas para actuar sólo sobre las mejores, de forma que la organización comprenda las limitaciones en tiempo, recursos y capacidades cuando se trasladan las ideas a la práctica. Valoración Total La valoración total del subcriterio se calcula en base a la puntuación total de cada uno de los tres elementos de Enfoque, Despliegue y Evaluación, Revisión y Perfeccionamiento. Teniendo en cuenta toda la información analizada en el subcriterio, el evaluador otorgará una puntuación como valoración total. La media aritmética de estas tres puntuaciones es un punto de partida para fijar la valoración total, pero dicha puntuación puede sufrir modificaciones como por ejemplo: Si la puntuación del enfoque o del despliegue es cero, la valoración total también debería ser

cero. Si el enfoque es pobre pero el despliegue es amplio, la valoración total tenderá hacia la

puntuación del enfoque (si el enfoque no es sistemático, puede que no tenga continuidad en el futuro, o en caso extremo, puede que no haya nada que desplegar).

Si la puntuación de la evaluación y revisión fuese cero pero tanto el enfoque como el despliegue son buenos, una valoración total cercana a cero sería injusta, pero la valoración total debería ser claramente inferior a la media aritmética.

El significado de las escalas existentes en la matriz REDER Los términos Sin evidencia o anecdótica, alguna evidencia, evidencia, evidencia clara y evidencia total, se utilizan en la Matriz de Puntuación REDER para clasificar la amplitud y el grado de rigor de la información y de las evidencias presentadas por la organización. Informaciones “Sin evidencia o anecdóticas” son aquellas que carecen de hechos y datos que las respalden. Por ejemplo: Nuestro Director General está comprometido con la Excelencia Los directivos practican una política de puertas abiertas Las personas son el principal activo de nuestra organización Estas palabras pudieran, por supuesto, expresar una situación real, pero a nosotros no se nos dice cómo el Director General demuestra su compromiso, o los directivos practican esta política, etc., y por tanto estas afirmaciones son anecdóticas. Por otra parte, en el extremo opuesto, la clasificación “Evidencia Total” se caracteriza por: Una información detallada y completa acompañada de ejemplos relevantes y concretos, con

mediciones, hechos, datos, fechas y responsables, que contemplen por ejemplo la frecuencia con la que se utilizan los procesos, modificaciones a lo largo del tiempo, etc.

Así que, por ejemplo, el compromiso del Director General con la Excelencia puede evidenciarse mediante descripciones como las siguientes:


Participa en las sesiones de apertura y cierre de todos los cursos de formación para los nuevos incorporados y explica los valores y principios éticos de la empresa así como los objetivos en el ámbito de la Excelencia (7 sesiones en 2010 y 12 en 2011…),

Visita de manera informal, con frecuencia establecida (semanalmente, mensualmente, etc.) a todas las áreas de la organización, con una duración mínima de 2 horas para exponer y escuchar ideas sobre el avance en la consecución de objetivos y el sistema de gestión,

participa personalmente en el proceso de reconocimiento de las personas, y en los mismos actos de reconocimiento (3 actos en 2002 y 2 en 2003, con 14 personas reconocidas por sus ideas).

Ha recibido 100 horas de formación en metodologías de relacionadas con la Excelencia, Lidera anualmente desde 1997 la realización de la autoevaluación según el modelo EFQM,

dedicando al menos 30 horas de su tiempo cada año a esta labor, Participa en el Club de evaluadores de EUSKALIT, etc. Las clasificaciones de “Alguna Evidencia”, “Evidencia” y “Evidencia Clara”, lógicamente se situarán cuando las evidencias presentadas estén en situaciones intermedias. La formación continua de los evaluadores, el análisis de casos de estudio, el compartir puntos de vista con otros miembros de los equipos de evaluación y el consejo de los evaluadores experimentados va desarrollando en los evaluadores el criterio para distinguir entre unas situaciones y otras.

MATRIZ REDER RESULTADOS

En el Modelo EFQM 2010 se ha invertido el orden de los atributos, apareciendo antes Relevancia y Utilidad que el Rendimiento y además se ha ampliado el número de atributos en los que se subdivide la Relevancia y Utilidad: ámbito y relevancia, integridad y segmentación. Este cambio de orden es un buen refuerzo visual de la importancia que tiene este aparatado en la Matriz REDER de resultados. Dado que para calcular la puntuación global en los resultados se promedia entre los Resultados (tendencias, objetivos, comparaciones y causas) y la Relevancia y Utilidad, es importante tener en cuenta que cada apartado supone el 50% de la puntuación total de cada subcriterio de resultados. Por tanto, la prioridad que muchas organizaciones conceden a presentar únicamente los resultados más favorables y no presentar aquellos resultados menos favorables pero relevantes en su gestión, es claramente desmedida y negativa a efectos de puntuación. Cómo evaluar la Relevancia y Utilidad La Relevancia y Utilidad se valora en base a tres atributos:

Ámbito y Relevancia: El ámbito de aplicación de los resultados debe tener en cuenta que los resultados aborden las necesidades y expectativas de los grupos de interés relevantes y que sea coherente con la estrategia y sus políticas de apoyo. Los Resultados Clave están identificados y priorizados. Las relaciones entre los resultados relevantes se entienden.

En muchas organizaciones se suelen clasificar los indicadores/resultados según la importancia relativa entre unos y otros. Puede haber clasificaciones mucho más detalladas, pero, al menos, debería haber tres niveles, en general:

o Resultados Clave, que son aquellos esenciales y lógicamente deberían estar ligados a los elementos que configuran la estrategia de la organización (como por ejemplo podrían ser, su Misión, Visión o Valores, objetivos estratégicos, procesos clave, etc.) y abordar las necesidades y expectativas de los grupos de interés.

o Resultados relevantes deberían estar ligados al negocio, la actividad y la naturaleza de la organización y siendo importantes, lo son de importancia menor a los clave.

o Y otros resultados de menor importancia pero que conviene hacer un seguimiento de su evolución.

Puede darse el caso de que un indicador/resultado que normalmente sea de menor importancia, en un momento determinado (porque ha decaído mucho, o porque se quiera potenciar algún aspecto estratégico concreto, o en circunstancias de crisis,...) aumente mucho su importancia relativa y pase a formar parte de los Clave.


Sería razonable que tanto los indicadores claves como los relevantes aparezcan en la memoria, si bien las limitaciones de espacio pueden hacer que no se puedan presentar en la documentación todos ellos, pero que sí se puedan consultar durante la visita. En cualquier caso, es fundamental la explicación de cómo utiliza cada organización sus indicadores y los criterios por los que los jerarquiza de una u otra manera. Es importante que la organización proporcione explicaciones y datos que faciliten que el evaluador pueda profundizar para conocer si la organización es consciente de cómo se relacionan unos resultados con otros: por ejemplo, qué influencias fuertes o débiles existen entre ellos, si existe una relación lineal o secuencial entre ellos, si hay un retardo de tiempo en el efecto entre ellos, etc. Como regla útil a la hora de valorar el ámbito de aplicación podemos hacer este análisis:

o Primero: identificar qué indicadores CLAVE Y RELEVANTES no se presentan teniendo en cuenta el planteamiento de gestión de la organización.

o Segundo: ¿Cuáles de los indicadores presentados deben considerarse como relevantes y/o claves y que grado de importancia tienen?

o Tercero: Dado que los indicadores que nos presenta la organización más los que hemos identificado que no nos presentan deberían sumar el 100% del ámbito, ¿Cuál es el peso de los que están (y son claves y/o relevantes, y cuál el de los que faltan? La puntuación final deberá reflejar el peso porcentual de “los que están”.

Integridad: Los resultados son oportunos, fiables y precisos. Se refiere a si la organización tiene claro el momento preciso y adecuado (oportuno) para obtener un resultado concreto. Así como si puede ser demasiado pronto o demasiado tarde para disponer de ese resultado. También, hasta qué punto se aprecia la consistencia, la integridad o la calidad de los datos o las fuentes de información (fiabilidad) que permiten disponer de un resultado. Y por último, si la precisión de la información utilizada y la necesaria para un resultado concreto son proporcionales o no. Estas tres características de oportunidad, fiabilidad y precisión deben ayudan a la organización a disponer de la información más íntegra para tomar las decisiones más apropiadas en el momento más propicio.

Segmentación: Los resultados se han segmentado de forma adecuada. Se refiere a si la organización segmenta los resultados de manera útil para su estrategia o estilo de gestión, es decir, en algunos casos será por clientes, o por tipos de producto o servicio, en otros, por áreas geográficas, por procesos, por perfil profesional, etc. pero en todos los casos es importante valorar que el esfuerzo le compense para la obtención de una información más adecuada para la toma de decisiones y la mejora continua.

RESULTADOS CLAVE

RESULTADOS RELEVANTES

OTROS INDICADORES

RESULTADOS CLAVE

RESULTADOS RELEVANTES

OTROS INDICADORES

COMÚN EXCEPCIÓN


Ejemplo: RELEVANCIA Y UTILIDAD Tal y como señala la matriz REDER de Resultados, el Total del apartado Relevancia y Utilidad no debe exceder la puntuación de ámbito y relevancia. Ámbito y Relevancia = 60 Integridad = 85 Segmentación = 90 La media aritmética es de 78, pero la puntuación no debe exceder de la del ámbito y Relevancia, Total Relevancia y Utilidad = 60 Cómo evaluar el Rendimiento El Rendimiento se valora en base a cuatro atributos:

Tendencias: se debe valorar hasta qué punto la evolución de los resultados es positiva y/o si el buen rendimiento es sostenido en al menos 3 años.

Partiendo del consenso general de que dos resultados es una tendencia de un solo año hemos planteado 7 casos a analizar:

INDICADOR DURANTE AÑOS CONSECUTIVOS

CASO 1

0

50

100

1999 2000 2001 2002

AÑO

PU

NT

UA

CIO

N

COMENTARIO SOBRE CASO 1: Como primera reflexión, podemos afirmar que este indicador cubre al menos 3 años de tendencias positivas, dado que los resultados van mejorando año a año. El evaluador tendrá que ver en cuántos de los indicadores se dá esta situación, y dado que ya cubrimos el requisito de “al menos 3 años”, la puntuación se estaría moviendo entre el 15% y el 100%. Si fuese en ¼ de los resultados (aprox.) = 25% Si fuese en la ½ de los resultados (aprox.) = 50% Si fuese en ¾ de los resultados (aprox.) = 75% Si fuese en todos los resultados = 100% Para valorar si se presenta en ¼, ½ ó ¾ de los resultados es necesario considerar la importancia relativa de cada resultado, en coherencia con el concepto de Ámbito y Relevancia que se explica más adelante. Es decir, si los resultados con tendencia positiva son ¼ de los presentados pero coinciden con los que menos importancia relativa tienen, la puntuación debería ser menor del 25%.

Esta escala se aplica para todos los casos que se presenten en resultados


INDICADOR CON FRECUENCIA BIENAL

CASO 2

0

20

40

60

80

2000 2002 2004

AÑO

PU

NT

UA

CIO

N

COMENTARIO SOBRE CASO 2: En este caso también se cubre el requisito de tendencias positivas y/o rendimiento sostenido durante al menos 3 años. La organización tendrá que explicar la razón por la que toma las mediciones cada 2 años como el periodo idóneo para gestionar rigurosamente los aspectos cubiertos por estas mediciones. En caso de que la memoria no lo aclarase suficientemente, debería preguntarse sobre él durante la visita. Si la frecuencia bienal es apropiada en el sistema de gestión de la organziación, el evaluador tendrá que ver en cuántos de los indicadores se dá esta situación pero ésta se estaría moviendo entre el 15% y el 100%.

INDICADOR CON FRECUENCIA MAYOR (TRIENAL, CUATRIENAL...)

CASO 3

0

20

40

60

80

100

2000 2003

AÑO

PU

NT

UA

CIO

N

COMENTARIO SOBRE CASO 3: En este caso también se cubre el requisito de tendencia positiva y/o rendimiento sostenido durante al menos 3 años. La organización tendrá que explicar detalladamente, si toma los datos con esa frecuencia porque no existe otra opción, o bien porque tiene una razón por la que las mediciones cada 3 años sean el periodo idóneo para gestionar rigurosamente los aspectos cubiertos por estas mediciones. Podría ocurrir por ejemplo en el caso de una federación de atletismo que tuviera como medición los resultados de sus atletas en las Olimpiadas y que por lo tanto tuviese un resultado cada cuatro años. Esta situación no debería confundirse con el haber dejado de realizar una medición (por ejemplo: una encuesta de personas o clientes) tras cambios en su sistema de gestión y retomar años más tarde la dinámica de medición de ese tema. Si la organización presenta una lógica de la medición con esa frecuencia de tiempo y la misma le sirve para gestionar coherentemente ese indicador, el evaluador tendrá que ver en cuántos de los indicadores se dá esta situación pero ésta se estaría moviendo entre el 15% y el 100%. Si las explicaciones no justifican la conveniencia de esa frecuencia de medición, el evaluador debería puntuar en el rango del 0 al 10%.


INDICADOR DURANTE 4 AÑOS CONSECUTIVOS Y OSCILACIONES EN LA TENDENCIA

CASO 4

020406080

100

1999 2000 2001 2002

AÑO

PU

NT

UA

CIO

N

COMENTARIO SOBRE CASO 4: En este caso, conviven dos situaciones: por una parte, hay tendencias positivas del año 2000 al 2001 y del año 2001 al 2002, es decir durante 2 años. Sin embargo, teniendo en cuenta los datos de inicio y final del gráfico vemos que desde el año 1999 hasta el 2002 hay una tendencia general positiva de 3 años. Para valorar adecuadamente esta situación es necesario un análisis amplio. En primer lugar, la organización debería explicar las oscilaciones de los resultados para demostrar que conoce y ha trabajado en la “gestión” de esos resultados. Segundo, se debería tener en cuenta además la relac ión con los objetivos que se han establecido, con las comparaciones presentadas, así como la relación causa-efecto existente entre las actuaciones presentadas en los agentes y dichos resultados. La interpretación más común será que de 1999 a 2000 la tendencia no ha sido positiva y que solo existen 2 años de tendencias positivas, por lo que la puntuación deberá estar en el entorno de 0 a 10%. Ahora bien, podría haber razones, no sólo que justificaran esas oscilaciones, como por ejemplo ciclos económicos, catástrofes naturales, sino que incluso fuesen premeditadas, como por ejemplo, decisiones estratégicas de la organización de centrar su actividad en una línea de actividad abandonando otra ya agotada, etc y que los evaluadores deberían tomar en cuenta. El análisis, y por tanto la puntuación debería contemplar todos estos elementos. Si la organización presenta una lógica clara de la oscilación de los resultados el evaluador tendría que puntuar entre el 15% y el 100%.

INDICADOR DURANTE 4 AÑOS CONSECUTIVOS Y DESCENSO EN LA TENDENCIA

CASO 5

BENEFICIOS ECONOMICOS

-5

15

35

55

1999 2000 2001 2002

AÑOORGANIZACION MEJOR COMPETIDOR OBJETIVO

COMENTARIO SOBRE CASO 5: Lo normal es que si la tendencia no es positiva la puntuación que le corresponda esté en el intervalo 0-10%, pero pueden darse excepciones.


Supongamos por ejemplo, en este caso, en que están representados los beneficios económicos durante un periodo de fuerte crisis del sector. Aunque los beneficios bajen, podríamos considerar que el rendimiento obtenido es satisfactorio durante 3 años, dado que se han alcanzado los objetivos establecidos y teniendo en cuenta que su mejor competidor ha tenido unos resultados sensiblemente peores. Si la organización presenta una explicación clara del descenso de los resultados, de las razones de los mismos (ciclos económicos, catástrofes, etc.) y de la tendencia aún peor del sector o de su mejor competidor, el evaluador podría considerar que hay un rendimiento sostenido durante 3 años y puntuar entre el 15% y el 100%. Si bien, tampoco parece lógico que demos una puntuación cercana al 100% dado que el resultado va empeorando con el tiempo.

INDICADOR CON MEDICIONES SEMESTRALES

CASO 6

0

20

40

60

80

dic

-

01

jun-

02

dic

-

02

jun-

03

dic

-

03

jun-

04

MES

PU

NT

UA

CIO

N

COMENTARIO SOBRE CASO 6: En este caso, siendo mediciones semestrales, aunque existen seis tomas de datos, como no se cubren al menos los 3 años que se piden en la matriz REDER (que en este caso abarcaría desde diciembre de 2001 a diciembre de 2004), puntuaremos entre 0 y 10 puntos, posiblemente les daremos el máximo de este rango teniendo en cuenta que la tendencia es positiva y cubre un periodo amplio. Supongamos que en este mismo caso, además damos estas puntuaciones a cada uno de los atributos: Tendencias = 10 objetivos = 60 comparaciones = 40 causa-efecto = 70 La media aritmética de estos cuatro atributos sería 10+60+40+70 / 4 = 45. Por estar el valor de la tendencia claramente desviado del resto, deberíamos bajar la puntuacion del conjunto de Resultados por debajo del 45; ahora bien, como los datos presentados cubren un periodo de tiempo cercano a los 3 años, el descenso de puntuación no sería muy grande pudiendo ser la puntuación global de 35 o 40 puntos.


INDICADOR CON BUEN RENDIMIENTO SOSTENIDO DURANTE 3 AÑOS

CASO 780 85 82 87

0

50

100

1999 2000 2001 2002

AÑO

PU

NT

UA

CIO

N

COMENTARIO SOBRE CASO 7: En este caso, aunque los resultados presentan una oscilación, podría darse la circunstancia de que estuviésemos ante un caso de “buen rendimiento sostenido”. Para justificar que es así, la organización nos deberá presentar sus objetivos, comparaciones externas y otras evidencias que demuestren que en este indicador el nivel que se ha alcanzado es realmente bueno. Si es así, deberíamos puntuar entre el 15% y el 100%.

Objetivos: Se han establecido para los Resultados Clave. Son adecuados y se alcanzan. En el Modelo EFQM 2010 se ha limitado la obligatoriedad de evaluar si la organización dispone de objetivos, si son adecuados y si se alcanzan en los resultados clave de la organización. Esto no quiere decir que ya no sea necesario fijar objetivos en otros indicadores o resultados, sino que se valora de manera especial la priorización en la gestión y el evaluador debe ceñirse en este apartado a evaluar si para los resultados clave de la organización el nivel que se desea conseguir (el objetivo) está fijado y es claramente entendido. Los objetivos pueden ser un punto concreto (superior o inferior) pero también puede ser una banda u horquilla entre dos niveles. Será fundamental entender la lógica que llevó a la organización a acordar que el nivel que se deseaba conseguir en el futuro para un resultado concreto era el fijado y porqué no se decidió fijar un objetivo similar, más alto o más bajo. Del mismo modo, habrá que evaluar si se consigue alcanzar o superar el objetivo que se deseaba conseguir y cómo actúa esta situación para adaptar los objetivos para el futuro. Con esta limitación en la exigencia de objetivos se busca profundizar en la búsqueda de lo vital frente a lo trivial. Las organizaciones deben esforzarse en aquello que resulta prioritario desde el punto de vista de la estrategia y de la mejora, y el disponer de objetivos en los resultados clave, que sean adecuados y se alcancen, parece tremendamente sensato. Es lógico que muchas organizaciones, además, sigan utilizando la fijación de objetivos en otros muchos indicadores como un elemento de visualización y consenso de un nivel deseado y de tracción para la consecución del mismo. Invertir esfuerzo en tomar los datos y llevar un indicador si, al menos, no dispone de un objetivo o referencia acerca de cuál es el estado deseado, parece poco lógico. Ejemplo: OBJETIVOS Una organización en un subcriterio concreto (7a) nos presenta:

6 indicadores

Nos explica con una lógica clara que 2 de ellos son resultados clave en la percepción de la satisfacción de las personas (y disponen de objetivos en los últimos 4 años), otros 2 son relevantes dado que inciden sobre objetivos importantes para la satisfacción de las personas (y también disponen de objetivos) y otros 2 resultados se muestran como un ejemplo de segmentaciones que se utilizan (y no tienen objetivos).

Como evaluadores, valorando que los objetivos se han establecido para los resultados clave, si son adecuados (por la lógica de su fijación, las referencias que toman con otras organizaciones, los ajustes que hacen año a año, etc.) y se alcanzan todos los años, nuestra valoración sería de 100 o próxima.


Comparaciones: Se comparan los Resultados Clave. Son adecuadas. Son favorables. Del mismo modo que para los objetivos, se ha limitado la obligatoriedad de evaluar si la organización dispone de comparaciones, si son adecuadas y si son favorables a los resultados clave de la organización. Para puntuar las comparaciones adecuadamente es necesario que la organización explique la lógica de la fijación de las comparaciones y el aprendizaje realizado con las mismas. El propio modelo recomienda que se realicen con el mejor del sector y/o con organizaciones o actividades de calidad mundial, o del máximo nivel (en la página 25 del Modelo EFQM se ha traducido erróneamente la comparación “world class” como la comparación con el mejor del mundo. El sentido correcto es el de una comparación con las organizaciones mejores en su sector o “de clase mundial” en las actividades que se comparan). Para valorar la adecuación de las comparaciones se busca que la organización nos muestre que tiene un conocimiento de medidas o resultados similares utilizados tanto dentro como fuera del propio sector o de la organización. Hasta qué punto la información con la que se realiza la comparación es válida, apropiada, fácil de utilizar, etc., qué nos aporta la comparación en un resultado concreto, si está un poco o mucho peor, si está en un nivel similar, si es un poco o mucho mejor, o incluso si es la mejor y cómo actúa esta situación en la fijación de los objetivos. El disponer de comparaciones en los resultados clave y que sean adecuadas y favorables permitirá aumentar la confianza o credibilidad para conseguir resultados concretos. Nota: podría utilizarse como comparación un competidor o la media del sector, pero para las organizaciones más avanzadas (role models) las comparaciones más apropiadas lo serían con las mejores de su sector (best-in-class) o las de nivel mundial (world-class) y mostrar que ellas son la referencia para otros (benchmark) y que tienen un nivel de actividad que a los demás les gustaría tener.

Lo que no hay que olvidar es que las comparaciones pueden (y deberían) ser informaciones que ayudasen a graduar los propios objetivos de la organización, más que la simple selección de otros datos a poner a continuación de los propios.

Las organizaciones y los evaluadores lo que deberían tener claro es que las organizaciones deberían gestionar con datos útiles. No siempre es fácil encontrar comparaciones pero la organización debe demostrar que se esfuerza en conseguirlos, demostrando una clara proactividad. La interpretación y puntuación de las comparaciones debe ir ligada a con quién se compara (una organización “líder” debe compararse con organizaciones líderes).

Ejemplo: COMPARACIONES CON LA COMPETENCIA Si por ejemplo, una organización X realiza encuestas de satisfacción a sus clientes y en ellas les pide que le comparen con otras organizaciones que son su competencia y que por tanto, son un proveedor alternativo para sus clientes, esta información podría ser de mucha utilidad a la hora de que la organización X establezca cuáles son sus puntos fuertes y áreas de mejora para mejorar la satisfacción y fidelización de sus clientes. Por tanto los evaluadores deberían otorgar importancia a esta información y contemplarla como significativa a la hora de puntuar el atributo de comparaciones.

Causas: Se comprende la relación entre los Resultados alcanzados y sus Agentes facilitadores. Según las evidencias presentadas hay confianza en que el rendimiento siga siendo positivo en el futuro.

Se refiere a ver la relación entre los resultados alcanzados y los enfoques, acciones o proyectos llevados a cabo, o de otra manera, qué resultados alcanzados nunca se hubiesen obtenido sin que esas acciones se hubiesen llevado a cabo. Por ejemplo, deberán estar claramente visibles las relaciones causa-efecto entre las acciones descritas en el criterio 3 Personas (enfoques, despliegues y evaluaciones, revisiones y perfeccionamiento) y los resultados que se han derivado de ellas, que deberán estar reflejados en el criterio 7 (Resultados en las Personas).


Una organización que lleva:

o Varios años con rendimiento satisfactorio en algunos de sus indicadores o Tiene una lógica de fijación de objetivos muy clara o Los objetivos se van alcanzando año a año o Dispone de una sistemática de evaluación y revisión muy bien estructurada o Incorpora las mejoras identificadas y las enlaza con los cambios en sus estrategias, etc.

…es una organización en la que, según las evidencias presentadas hay confianza en que el rendimiento siga siendo positivo en el futuro en ese indicador o en un subcriterio en concreto.

PUNTUACION DE LOS RESULTADOS

El Modelo EFQM y la matriz REDER de puntuación están diseñados para servir, entre otras cosas, para la evaluación de una organización en todos sus aspectos de gestión y por tanto es necesario entender que las organizaciones son sistemas donde existe una interrelación entre diferentes elementos. A la hora de aplicar la matriz REDER hay que buscar la coherencia entre los diferentes atributos que presenta cada organización tanto en la valoración de los criterios agentes como de los resultados. Los ejemplos que hemos presentado son situaciones “aisladas” para favorecer la comprensión, pero debemos recordar que el análisis y la evaluación de cada una de las situaciones deben tener en cuenta la realidad de la organización en su conjunto. Esperamos que estas aclaraciones ayuden en la interpretación del Modelo EFQM 2010 en el servicio de evaluación que prestan los miembros del Club de evaluadores de EUSKALIT.

EUSKALIT, julio de 2010 AGRADECIMIENTOS. Queremos agradecer la colaboración de todos los evaluadores que han participado en la creación de este documento de aclaraciones: José Antonio Calvo y Javier de la Peña (Acorde Consulting) Javier San José (ASLE Soprecs) Aurkene Redondo (Enbor consultores) Oscar Moracho (Innovasalud) Andone Ruiz (Olabide Ikastola) Paul Trollope (Paul Trollope) Sabin Linaza (Sayma consultores) Roberto Gil (Grupo Ormazabal) Mikel Ugalde, Terese García, Galder Lasuen, Julia de León, Lorea Arana y Fernando Sierra (EUSKALIT)

Aclaraciones Modelo EFQM 2010.

Documents

Transcript of Aclaraciones Modelo EFQM 2010.