Adaptación española de la escala de liderazgo …mpperez/pdf/articulos/18113-82925-1-PB-1A.pdf ·...

| Universitas Psychologica | Colombia | V. 17 | No. 1 | 2018 | ISSN 1657-9267 |

a Autor de correspondencia. Correo electrónico:[email protected]

Para citar este artículo: Pérez-García, P., Bolívar, A., García-Garnica, M., & Caracuel, A. (2018). Adaptación española de la escala de liderazgo pedagógico Vanderbilt assessment of leadership in education (val-ed). Universitas Psychologica, 17(1), 1-13. https://doi.org/10.11144/Javeriana.upsy17-1.aeel

DOI: https://doi.org/10.11144/Javeriana.upsy17-1.aeel

Adaptación española de la escala de liderazgopedagógico Vanderbilt Assessment ofLeadership in Education (VAL-ED)*

Spanish Adaptation of the Pedagogical Leadership Scale VanderbiltAssessment of Leadership in Education (VAL-ED)

Recepción: 29 Diciembre 2016 | Aprobación: 09 Junio 2017

Purificación Pérez-GarcíaUniversidad de Granada, España

ORCID: http://orcid.org/0000-0002-0697-9876

a

Antonio BolívarUniversidad de Granada, España

Marina García-GarnicaUniversidad de Granada, España

Alfonso CaracuelUniversidad de Granada, España

RESUMENEl liderazgo educativo ha llegado a ser un factor clave en la mejora dela calidad educativa. El objetivo de este estudio fue adaptar la escala deliderazgo pedagógico VAL-ED (Vanderbilt Assessment of Leadership inEducation) a población española (adaptación cross-cultural y validación),y obtener sus características psicométricas mediante análisis de Rasch. Losresultados obtenidos confirman que la unidimensionalidad de cada unade las seis subescalas que la componen ha sido demostrada, garantizandosu utilidad para diagnosticar el liderazgo educativo, decidir vías de mejoray llevar a cabo mediciones de la eficacia de las medidas implementadas.La conclusión es que la adaptación del cuestionario VAL-ED a poblaciónespañola es una herramienta válida y fiable para la medición del liderazgoeducativo.Palabras claveescala; liderazgo pedagógico; adaptación; inspector; directores; profesores.

ABSTRACTEducational leadership has become a key factor in the improvementof educational quality. The aim of the work was to describe theadaptation of the Pedagogical Leadership Scale VAL-ED (VanderbiltAssessment of Leadership in Education) to the Spanish population (cross-cultural adaptation process and validation) and obtain their psychometriccharacteristics through Rasch analysis. The obtained results confirmthat the unidimensionality of each of the six subscales that compose ithas been demonstrated, it is guaranteed its usefulness to diagnose theeducational leadership, to decide ways of improvement and to measure theeffectiveness of its implementation. The conclusion is that the adaptationof the VAL-ED questionnaire to the Spanish population is a valid andreliable tool for the measurement of educational leadership.Keywordsscale; educational leadership; adaptation; school inspector; principals; teachers.

Purificación Pérez-García, Antonio Bolívar, Marina García-Garnica, et al.

| Universitas Psychologica | V. 17 | No. 1 | 2018 |2

El liderazgo educativo o pedagógico ha llegadoa ser un factor clave en la mejora de lacalidad educativa (Leithwood & Louis, 2011).En España, la dirección escolar ha tenido escasasposibilidades de ejercer el liderazgo, por sudependencia de su elección por el ConsejoEscolar (Bolívar & Moreno, 2006) en uncontexto de solipsismo docente, acentuado enSecundaria. Sin embargo, en convergencia conla investigación y la política educativa (OECD,2008), actualmente se tiende a dar a la dirección,un rol más profesional, en el que se incluye ciertoliderazgo pedagógico (Bolívar, 2013).

Diversos estudios (Louis, Leithwood,Wahlstrom, & Anderson, 2010; Robinson,2011) coinciden en destacar la importanciadel liderazgo pedagógico de la direcciónescolar para incrementar la calidad de losaprendizajes, cuyos efectos son aún mayoresen contextos desfavorecidos (Bolívar, 2012).Hay un cierto consenso, evidenciado por lasmejores investigaciones (Robinson, Hohepa, &Lloyd, 2009; Leithwood, 2009; Day, Sammons,Leithwoods, & Hopkins, 2011) acerca deque las escuelas que tienen capacidad paramejorar dependen de directivos que contribuyenactivamente (dinamizan, apoyan, animan) a quesu escuela aprenda a desarrollarse, superando losretos y dificultades a que tiene que enfrentarse.

A nivel de tendencias en las políticaseducativas europeas, la OECD (2008) marcó elpulso al situar, como núcleo prioritario de mejoraen los diferentes países, el liderazgo escolar(Improving School Leadership). Más tarde, lossucesivos Informes TALIS (2009, 2012) y OECD(2016), han reafirmado la relevancia del liderazgopara el aprendizaje de la dirección escolar, altiempo que reflejaban –a nivel comparativo–algunos déficits de la dirección en España para unejercicio de liderazgo pedagógico.

Dentro de las tendencias actuales en lainvestigación sobre el liderazgo, siguiendo larevisión de Firestone y Robinson (2010), seresalta el papel que desempeña el liderazgopedagógico para organizar buenas prácticaseducativas en los centros escolares y en contribuiral incremento de los resultados del aprendizaje.

La introducción de un paradigma orientado alaprendizaje ha significado un importante giroen la investigación. Leithwood y Louis (2011)mantienen que hay una “conexión crítica” entreel liderazgo del equipo directivo (y otros líderes,en un liderazgo colectivo o distribuido) y losaprendizajes de los estudiantes.

Medir el liderazgo escolar

Se requieren instrumentos para evaluar elejercicio del liderazgo pedagógico (Bolívar,2015). Hasta ahora, ha sido usado (Gago, 2006)el Principal Instructional Leadership RatingScale (PIMRS), elaborado y empleado hace tresdécadas (Hallinger, 2011; Hallinger & Wang,2015). Una nueva evaluación de los directivosha sido desarrollada por investigadores de laUniversidad de Vanderbilt University y de laUniversidad de Pennsylvania (Porter et al.,2008), que tiene el potencial de clarificar lo quesignifica liderazgo educativo y cómo puede sermedido: Vanderbilt Assessment of Leadership inEducation (VAL-ED).

Condon y Clifford (2010) ofrecen una buenarevisión de ocho instrumentos de evaluaciónde la labor de los directivos. De modo similar,Portin, Feldman, y Knapp (2006) hacen unarevisión de los propósitos y usos que puedetener la evaluación de directivos en los sistemaseducativos.Por su parte, Brown‐Sims (2010), ensu trabajo Evaluating school principal, ofreceuna de las más extensas revisiones e información(incluyendo dirección online) de los recursos einstrumentos de evaluación de la dirección.

Contamos con un vasto corpus de estudios einvestigaciones sobre evaluación o acreditacióndel liderazgo escolar de los directivos, en muchoscasos, vinculadas a competencias o estándaresen el ámbito anglosajón (Goldring, Porter,Murphy, Elliott, & Cravens, 2009; Condon& Clifford, 2010). En una extensa revisión,Ingvarson, Anderson, Gronn, y Jackson (2006)analizan un conjunto de informes nacionalese internacionales de estándares de prácticaprofesional del liderazgo escolar, incluidos losenfoques de acreditación de líderes escolares.

Adaptación española de la escala de liderazgo pedagógico Vanderbilt Assessment of Leadership...

| Universitas Psychologica | V. 17 | No. 1 | 2018 | 3

En otra amplia investigación (Day, Sammons,& Hopkins, 2009; Sammons, Gu, & Robertson,2007), sobre el impacto del liderazgo en losresultados de los alumnos, se entiende queestos (de tipo cognitivo, afectivo, y de conductasocial), dependen, en primer lugar, como variablemediadora, de las condiciones del trabajodocente, cuyo impacto en el aprendizaje se verámoderado por otras variables como el capitalcultural de la familia o el contexto organizativo.Una y otra pueden verse influenciadas porquienes ejercen roles de liderazgo, produciendo–de este modo– mejoras en el aprendizaje delalumnado. El liderazgo escolar se encuentramediado por los procesos en el interior de laescuela y por las actividades docentes en el aula(Bolívar, 2012). De acuerdo con este consensoen la investigación, las medidas del liderazgo sedeben dirigir a las tres dimensiones: prácticasde liderazgo, desarrollo profesional y mejorade aprendizajes del alumnado.De acuerdo conlo anterior, el New Leaders for New Schools(2010) propone revisar los estándares existentesde liderazgo para los directores, de manera quecomprendan tanto los logros de los estudiantescomo los resultados de eficacia de los docentes, ypermitan establecer un modelo de evaluación dedirectores que determine la efectividad, basadaen los resultados de los alumnos, las prácticasdocentes efectivas, y las prácticas de liderazgopara lograr estos resultados.

El objetivo de este estudio fue adaptar la escalaVAL-ED a población española y obtener suscaracterísticas psicométricas mediante análisis deRasch.

Método

Muestra

La muestra estuvo compuesta por un total de 221participantes, de los cuales 51 eran inspectores,99 profesores y 71 directivos de Institutos deEnseñanza Secundaria (IES) públicos de Españade 11 comunidades autónomas. El 82% de lamuestra contaba con al menos cuatro años deexperiencia en el puesto de trabajo. El 20.5%

de la muestra contaba con menos de 4 años deexperiencia en cargos directivos; el 30.5%, entre4 y 8 años; el 26.5%, entre 9 y 16 años y el 22.5%,más de 16 años de experiencia.

Los criterios de inclusión en el estudioeran pertenecer al sector de la inspeccióneducativa, al profesorado o al equipo directivode IES de España. Dada la complejidaddel acceso a estos tres sectores, por laLey de Protección de Datos y requisitosburocráticos de las distintas Administraciones,se realizó un muestreo accidental (Bernardo& Calderero, 2000), casual (Sabariego, 2009)e intencionado (McMillan & Schumacher,2005), no probabilístico, renunciando a larepresentatividad del ámbito nacional.

Se enviaron 850 cuestionarios durante el cursoacadémico 2013, mediante entrega en reunionescientíficas, a los asistentes a la FederaciónEspañola del Fórum Europeo de Administradoresde la Educación (FEAE), la Asociación deDirectoras y Directores de Instituto de Andalucía(ADIAN) y la Federación de Asociacionesde Directivos de Centros Educativos Públicos(FEDADI), con dirección de envío de vuelta, ensobre interior, y franqueo pagado.

Se acompañaba con una carta de presentación.Se indicaba que los remitentes eran los autoresdel presente artículo, miembros de un grupode investigación con un proyecto nacional I+D, cuyo objetivo de estudio era validarun cuestionario sobre liderazgo educativo. Loscuestionarios diligenciados fueron remitidospor correo franqueado y/o recogidos porcolaboradores del estudio.

Instrumentos

El cuestionario Vanderbilt Assessment ofLeadership in Education (VAL‑ED), junto aotros (Bolívar, 2015; Wallace Foundation, 2009),es uno de los dispositivos más completos ypotentes para la evaluación de la capacidadde liderazgo educativo de la dirección escolar.Nuestro equipo de investigación ha hecho latraducción, adaptación y validación de cuyoproceso damos cuenta en esta contribución.



Fue desarrollado por académicos de lasuniversidades de Vanderbilt y Pensilvania enEE.UU., y sus aplicaciones han contado conevidencia de validez y fiabilidad satisfactorias(Porter et al., 2010a; Porter at al., 2010b).El VAL-ED se inspiró, como modelo deevaluación, en una comprensión del liderazgocomo “el proceso de influenciar a otros paralograr, por mutuo acuerdo, las metas de laorganización” (Goldring et al., 2009, p. 4).Se focalizaba en conductas asociadas a unliderazgo centrado en el aprendizaje (learning-centered leadership). El cuestionario Vanderbiltde Liderazgo en Educación (VAL-ED) es “uno delos pocos que tiene en cuenta, y deliberadamenterefuerza, la competencia del director paracompartir la autoridad y la responsabilidadpara conducir la mejora de los aprendizajesen su escuela” (Wallace Foundation, 2009, p.8-9). Mide la eficacia de las actuaciones másimportantes de la dirección que influyen enel desempeño docente y el aprendizaje delalumnado, ya sea por su acción directa o demanera compartida por su equipo.

El marco conceptual que organiza laevaluación del liderazgo se focaliza en dosdimensiones clave de las prácticas de liderazgo:componentes básicos y procesos clave. Elinstrumento evalúa ambas dimensiones, y secompone de un total de 72 ítems. Cada ítemdebía ser marcado, por un lado, según lasprincipales “fuentes de evidencia” que usa parabasar su evaluación, en donde se debe señalar almenos una fuente de evidencia de las seis quese ofertan (informes de los demás, observacionespersonales, documentos del centro, proyectos yactividades, otras fuentes, sin evidencias). Porotro lado, según la “valoración del grado deeficacia”, con 5 grados de desempeño (ineficaz,poco eficaz, eficaz, bastante eficaz, muy eficaz).

Por tanto, el cuestionario evalúa el liderazgoescolar tomando medidas de la intersecciónde estas dimensiones, es decir, de lo que losdirectores o equipos de liderazgo deben hacerpara mejorar el aprendizaje académico y social delos alumnos (componente básico) y cómo creanestos componentes básicos (los procesos clave).

Los componentes básicos se refieren acondiciones de la escuela que apoyan elaprendizaje de los alumnos y las condicionespara que los docentes enseñen mejor. Talescomponentes representan las dimensiones delliderazgo de la dirección, y son los siguientes:Objetivos de aprendizaje elevados (ítems 1 al 12),Currículum riguroso(ítems 13 al 24), Calidadde la enseñanza(ítems 25 al 36), Cultura deaprendizaje y trabajo en equipo(ítems 37 al 48),Relación con la comunidad(ítems 49 al 60), yResponsabilidad por los resultados (ítems 61 al72).

Los procesos clave son los que medianteel liderazgo, individual y colectivo, influenciana la organización y a otros miembros oactores relevantes, para establecer y cumplircon los diferentes componentes básicos. En cadauno de estos, se pregunta por los procesosclave que son: planificación, implementación,apoyo y desarrollo, inclusión, comunicación,seguimiento.

Traducción y adaptación del VAL-ED

Hemos seguido la metodología de adaptación deun cuestionario a otro contexto cultural (cross-cultural adaptation), que posibilite mantener unavalidez y fiabilidad similares al instrumentooriginal. De acuerdo con la literatura científicaal respecto (Beaton, Bombardier, Guillemin, &Feraz, 2000), en una primera fase lo hemosadaptado para posteriormente validarlo.

Cuando un cuestionario pertenece a otrocontexto cultural se requiere no sólo unatraducción literal “sino que también debenser adaptados a la cultura para mantenerla validez del contenido del instrumento aun nivel conceptual a través de diferentesculturas” (Beaton et al., 2000, p. 3186).

En este sentido, tuvimos en cuentalas observaciones que realizan diversosestudios sobre la adaptación transculturalde cuestionarios. Más que la traducciónfiel, adaptar un instrumento exige consideraraspectos culturales, idiomáticos, lingüísticosy contextuales (Hambleton, Merenda, &



Spielberger, 2005; Muñiz, Elosua, & Hambleton,2013).

En nuestro caso, ha sido muy costoso pues,a los habituales problemas, se sumaba quela dirección escolar en España no ejercía unconjunto de funciones que aparecían en el VAL-ED, lo que nos ha forzado a darle un sentido quepudiera hacerlo comprensible para directivos,inspectores y profesorado. Fue bueno el empleode una Comisión de expertos (Vinokurov, Geller,& Martin, 2007) que trató de ver si existíaequivalencia conceptual en base a criterios comoclaridad, lenguaje común y adecuación cultural,además resolvió por consenso dudas sobre laforma de redacción.

En nuestra adaptación al español, la fiabilidaddel cuestionario fue calculada con el coeficientedel alpha de Cronbach que arrojó un resultado de0.978.

Análisis de datos

Se realizó un análisis descriptivo de la muestra yun análisis factorial exploratorio mediante SPSSv24, además del análisis de Rasch con el softwareRUMM2020.

Resultados

En primer lugar, se llevó a cabo un análisis Raschdel instrumento global. Para ello, se utilizaronlas respuestas a la “Valoración del grado deeficacia”, que constituyen categorías de respuestaordenadas de 0 a 4, y por tanto válidas para elanálisis de Rasch. Los resultados del análisis delos datos globales, tomando el VAL-ED como uninstrumento unitario, mostraron una significativafalta de ajuste al modelo de Rasch (χ2 = 381.73;p< 0.001). Este resultado era sugerente de que elliderazgo educativo medido por el VAL-ED podíatratarse de un constructo multidimensional, enconcordancia con otros estudios (Day et al.,2009; New Leaders for New Schools, 2010;Porter et al., 2008). Para determinar si lasdimensiones del constructo subyacente al VAL-ED eran las 6 dimensiones del liderazgo que se

recogen en el instrumento, se realizó un análisisde Rasch por separado para cada una de lasdimensiones. Los resultados indicaron que lasrespuestas de los participantes, en ninguna de lasdimensiones diferenciadas en el cuestionario seajustaban al modelo de Rasch. A continuación,para examinar si las dimensiones subyacentes enel liderazgo medido en el VAL-ED eran los 6componentes básicos que también se recogen enel cuestionario, se realizaron nuevos análisis deRasch por separado para cada uno de ellos. Losresultados también indicaron que ninguno de loscomponentes se ajustaba al modelo.

Tras comprobar que ni las dimensiones, ni loscomponentes diferenciados en el VAL-ED sonsubescalas con constructos unidimensionales,se realizó un análisis factorial exploratoriopara determinar su estructural factorial (Brown,2001). Mediante el método de ComponentesPrincipales y la rotación Varimax, se obtuvieron11 factores con autovalor superior a 1, queexplicaban el 75.7 % de la varianza total. Los5 últimos factores aportaban cada uno apenasun 1 % de la explicación de la varianza total,por lo que, siguiendo las recomendaciones dela literatura para evitar factores con aportaciónirrelevante (Brown, 2001), se optó por unasolución de 6 factores que explicaban el 67.16% de la varianza. En la Tabla 1, se muestran losítems agrupados en cada factor, sus respectivascargas factoriales y el porcentaje de la varianzaexplicado por cada factor. La medida Kaiser-Meyer-Olkin (KMO = 0.854) y la prueba deesfericidad de Bartlett (Chi cuadrado = 7143,65;p < 0.001) indicaron la adecuación de losdatos para el análisis factorial. Tan solo 2 ítemsobtuvieron una carga factorial inferior al 0.4recomendado por la literatura (Gorsuch, 1997).Sin embargo, se han mantenido para obtener másinformación sobre ellos mediante los análisis deRasch.



Tabla 1Resumen de resultados del análisis factorialexploratorio. Para cada factor se incluye entreparéntesis el autovalor y el porcentaje decontribución a la varianza total explicada y doscolumnas, una (a la izquierda) correspondiente alos números de cada ítem en el cuestionario VAL-ED ordenados según su carga en el factor y otra (ala derecha) con la carga factorial de cada ítem

Se realizó un análisis Rasch de las respuestasa los ítems agrupados en cada uno de losfactores obtenidos para determinar si estos teníancaracterísticas psicométricas adecuadas para serconsiderados subescalas unidimensionales concapacidad para medir aspectos específicos delconstructo liderazgo latente en el VAL-ED.

El ajuste al modelo de Rasch para determinarla validez de cada uno de los factores delcuestionario se determinó con los estadísticoshabituales. En la Tabla 2, se presenta el resumende los resultados de los análisis de cada factor.En primer lugar, se obtuvo el valor chi cuadradode la interacción ítem-rasgo, que indica si elordenamiento jerárquico de los ítems en el factorpermanece igual a lo largo de los diferentesniveles del constructo o rasgo latente. En losfactores 1, 2, 5 y 6, el valor del test chicuadrado fue no significativo, indicando que lasrespuestas de los participantes a todos los ítemsde estos cuatro factores del VAL-ED se ajustanal modelo de Rasch. Sin embargo, en el factor 3,el ítem número 5 (“Estimula al alumnado paraalcanzar con éxito los objetivos de aprendizaje”)presentaba un residuo estandarizado superior

a 2.5, que es la divergencia máxima que serecomienda entre los valores esperados y losobtenidos. Un residuo elevado indica que noexiste la relación probabilística esperada entre eseítem y otros ítems incluidos en el factor. Estafalta de relación es sugerente de que el desajustese debe a que el ítem no contribuye al rasgolatente del factor. Por este motivo se decidióeliminar el ítem 5. Posteriormente, el nuevoanálisis indicó que el factor 3 sí se ajustaba almodelo. En el factor 4, los ítems que presentarondesajuste por residuos estandarizados superiores a2.5 fueron los números 12 (“Supervisa de manerapormenorizada los resultados conseguidos”) y 52(“Crea relaciones con las empresas para apoyar elaprendizaje social y académico del alumnado”).Una vez eliminados, el factor 4 también seajustó al modelo. A posteriori, se comprobóque ninguno de los 3 ítems eliminados de lassubescalas 3 y 4 se ajustaba a ninguna de las otrassubescalas.

Tabla 2Resumen de resultados de los análisis Rasch de lasrespuestas a los ítems del cuestionario VAL-EDagrupados por factores

Nota. El valor de Chi cuadrado (χ2) para todoslos ítems del factor indica el ajuste global del

factor al modelo de Rasch; ISP: Índice deSeparación de Personas equivalente al valor delcoeficiente α de Cronbach; Unidimensionalidad:porcentaje de t-tests significativos con un 95%

de confianza; IC: Intervalo de Confianza (Límiteinferior – Límite superior en porcentajes).

En segundo lugar, se determinaron los residuosde las respuestas a los ítems y de las personas paracada factor. Los valores generalmente aceptadosestán en torno a una media de 0.5 y unadesviación típica máxima de 1.4 (Bond & Fox,2015). Los residuos de los ítems de los 6 factoresse encuentran dentro de los valores aceptables.En los residuos de las personas encontramosuna media ligeramente inferior en el factor 4, y



desviaciones típicas que superan el valor de 1.4en los factores 1, 2 y 4.

En tercer lugar, se determinó launidimensionalidad de cada uno de los factoresaplicando el procedimiento recomendado porTennant y Pallant (2006) como el más exigente, yque consiste en realizar análisis de componentesprincipales de los residuos, definiendo en primerlugar 2 subsets de ítems según la carga positiva onegativa de cada ítem en el primer componente(Smith & Miao, 1994). A continuación secomprueba el ajuste al modelo de Rasch de cadasubtest por separado, y se obtiene la estimaciónde la localización de los sujetos en cada uno.Posteriormente, se comparan las estimacionesmediante una prueba t apareada. El criterioutilizado para demostrar la unidimensionalidadde una escala, es que el porcentaje de t testssignificativos que quedan fuera del intervalo deconfianza al 95 %, no exceda el 5 % del total.En los casos que se supere el 5 %, se consideraque la unidimensionalidad es aceptable siempreque el límite superior del intervalo de confianzasea menor o igual al 5 % (Tennant & Conaghan,2007). En la Tabla 2, se observa que las escalas2, 5 y 6 cumplen el criterio que demuestra launidimensionalidad de la escala. En el caso delos factores 1, 3 y 4, la unidimensionalidad esaceptable debido a que el límite superior delintervalo de confianza es en los tres casos, menoral 5 %.

Funcionamiento Diferencial del Ítem (DIF)

Se ha observado DIF en el ítem 69 (“Abordacon las familias el progreso en los objetivosescolares”). Este resultado indica que no seobserva un incremento constante en el abordajedel progreso con las familias a medida quese ejerce un liderazgo mayor. No se haproducido DIF para los 3 grupos de participantes(profesores, inspectores y directivos).

Funcionamiento de las Categorías de Respuesta

Mediante el análisis de Rasch, se comprobóque las categorías de respuesta funcionaron

adecuadamente en todos los ítems, sin que seobservasen umbrales desordenados en ningúncaso. Este resultado indica que las 5 opcionesde respuesta que ofrece el cuestionario sonadecuadas para recoger la opinión sobre elliderazgo de los participantes (Hagquist, Bruce,& Gustavsson, 2009)

Fiabilidad

El Índice de Separación de las Personas es elvalor, en el modelo de Rasch, de la fiabilidadde los resultados, equivalente al coeficiente α deCronbach. Los valores obtenidos (ver Tabla 2)son superiores a 0.9 en 5 de los factores (0.83en el quinto factor). A partir de un valor de 0.8,los cuestionarios son útiles para clasificar a laspersonas en al menos tres niveles de liderazgo:bajo, medio y alto (Linacre, 1994).

En la Tabla 3, se muestran las medias ydesviaciones típicas de cada uno de los 3grupos que componen la muestra (profesores,inspectores y directivos) en cada uno de losseis factores. En un rango de medias que oscilaentre 1 y 5 (1 = ineficaz; 5 = muy eficaz).Los resultados indican que la visión que tienenlos dos primeros grupos sobre la eficacia de lasprácticas de liderazgo de la dirección de loscentros es ligeramente inferior a la que tienen lospropios directivos sobre sí mismos. Sin embargo,la mayoría de las medias son superiores a 2.5,lo que indica que las prácticas de liderazgoson informadas como poco eficaces (puntuaciónentre 2 y 3). Solo el grupo de directivos evalúasus prácticas con una media igual o superior a 3(eficaz) en la mayoría de los factores (5 de los 6factores).



Tabla 3Resultados de cada grupo (profesores, inspectoresy directivos) en cada uno de los seis factores delcuestionario VAL-ED expresados en mediasy desviaciones típicas (DE). El rango de laspuntuaciones medias es de 1 a 5

Discusión

El objetivo del estudio fue adaptar el cuestionarioVanderbilt Assessment of Leadership inEducation (VAL‑ED) a la población española,y obtener sus características psicométricasmediante análisis de Rasch.

Los resultados indican que el cuestionarioengloba ítems que reflejan distintos componentesdel liderazgo educativo. Mediante análisisfactorial es posible agrupar los ítems del VAL-ED en seis factores. Los resultados del análisisde Rasch para cada uno de los seis factoresindican que constituyen verdaderas subescalascon las que medir de forma válida y fiableaspectos diferenciales o componentes específicosdel liderazgo. Para que todas las subescalasse ajusten al modelo de Rasch, y por tanto,tengan valor como instrumentos de medida deaspectos unidimensionales, ha sido necesariala eliminación de tres ítems (números 5, 12y 52) que no se ajustaban a sus respectivassubescalas ni a ninguna otra. En futuros estudios,se debe prestar atención especial al ítem número69 porque ha mostrado un funcionamiento nouniforme a lo largo de los distintos niveles delconstructo liderazgo.

La primera subescala incluye 21 ítemsrelacionados con la primera de las dimensioneshacia las que se deben dirigir las medidasde liderazgo según el New Leaders for NewSchools (2010), que la denomina “prácticas de

liderazgo”. Dentro de esta subescala, se incluyenítems referidos a la labor de supervisión deldesarrollo del currículum para asegurar el éxitoeducativo a todo el alumnado, y a supervisardistintas dimensiones de la práctica docente parala mejora. Esta subescala se relaciona con ladimensión original del cuestionario “currículumriguroso”, de la que incluye 6 ítems y conel proceso clave “seguimiento” (8 ítems). Enconjunto, se trata de “liderar procesos deenseñanza y aprendizaje”, como señalan losestándares profesionales para directores y líderesescolares de Australia (AITSL, 2014).

El dominio de learning-centered leadershipincluye como principales tareas, en las quehabitualmente invierte más tiempo, supervisarel currículum y el modo como lo implementanlos docentes. Como tal, esta subescala recogeel propósito principal de la evaluación de lasprácticas de liderazgo “dimensiones de la escuelaque apoyan el aprendizaje de los estudiantes y lahabilidad de los profesores para enseñar” (Porteret al., 2010b, p. 140).

En parte, se corresponde con estándares delISLLC (2008), en el que se basa el VAL-ED(Murphy, 2015). Concretamente, se incluye elestándar “Desarrollar una cultura y programainstructivo conducente al aprendizaje de losestudiantes”, y el estándar 5 de la NationalPolicy Board for Educational Administration(2015), que indica: “Los líderes educativoseficaces desarrollan y apoyan el rigor intelectualy sistemas coherentes de currículo, instruccióny evaluación para promover el éxito académicode cada estudiante y el bienestar”. Por lo demás,numerosos estudios (Day et al., 2009; Louis etal., 2010) han coincido en que la tarea principalde la dirección es gestionar el currículum, lo quesupone supervisar su cumplimiento y su ejecuciónpor los docentes. Por todos los motivos expuestosanteriormente, la primera de las subescalaspodría denominarse “Política institucional sobreel currículum y la práctica docente”.

La segunda subescala contiene 14 ítems sobreaspectos que contribuyen a la mejora de laenseñanza por medio de la creación de contextoso de favorecer apoyos en el centro. El informefinal de la investigación de Day et al. (2009, p.



113) señala como una de las prácticas exitosasde la dirección “mejorar las condiciones parala enseñanza y el aprendizaje”. Asimismo, serelaciona con el estándar 3 del ISLLC (2008),que habla de “asegurar una gestión efectivade la organización y un uso eficiente de losrecursos para crear un entorno efectivo deaprendizaje”. Este factor coincide con la segundadimensión que el New Leaders for New Schools(2010) propone como necesario para el liderazgopedagógico, y que llama “desarrollo profesional”.El título aglutinador de esta segunda subescalapodría ser el de “Desarrollo de actuacionesdocentes en el centro”.

La tercera de las subescalas agrupa variablesreferidas, en su mayor parte, a lograr integrara los alumnos con necesidades especiales, paralo que se precisan un conjunto de condicionesque recogen algunas de las variables incluidas(programas individualizados y especiales, elevarexpectativas, materiales, atender la diversidado alumnado en riesgo, etc.). Evidentemente, sise pretende que la dirección escolar logre eléxito para todos, un punto clave en el queincidir es en crear condiciones para lograrloen los alumnos que pueden tener mayoresproblemas. Este factor coincide con la terceradimensión que el New Leaders for New Schools(2010) considera relevante, que es “la mejorade aprendizajes”. El nombre propuesto para latercera subescala es “Condiciones de logro paradocentes y estudiantes”. Se ha eliminado de estasubescala el ítem número 5, que pregunta si ladirección del centro estimula al alumnado paraalcanzar con éxito los objetivos de aprendizaje,a pesar de que el análisis factorial lo incluyódentro de este factor. Los elevados residuos delítem indicaban que la estimulación del alumnadodirectamente por parte de la dirección no formaparte de las condiciones de logro que se recogenen esta subescala. La falta de ajuste de esteítem a ninguna de las otras 5 subescalas es muyrelevante, ya que puede indicar que no se realizade forma adecuada por parte de la dirección queejerce el liderazgo, y que podría ser una vía demejora.

Casi la totalidad de los ítems (7 de los 9) quecomponen la cuarta subescala se corresponden

con la dimensión de relaciones con la comunidad.Esta dimensión es una práctica común de losdirectores eficaces o exitosos. Así, en el ISLLCde 2008, el Estándar 4 se dirige a “colaborar conel personal y los miembros de la comunidad”.Igualmente, la investigación ejemplar de Day etal. (2009, p. 124) señala como una práctica deéxito “construir relaciones fuera de la escuelacon la comunidad”. El título propuesto para estacuarta subescala del VAL-ED es “Promociónde relaciones con la comunidad”. El desajustedel ítem número 12 (“Supervisa de manerapormenorizada los resultados conseguidos”),tanto a esta subescala como al resto, debeser considerada como información valiosa paramejorar el liderazgo educativo de la direcciónescolar. De igual forma, el desajuste del ítem52 (“Crea relaciones con las empresas paraapoyar el aprendizaje social y académico delalumnado”) debe entenderse como señal dealerta sobre unas actividades que no se realizandentro de lo que los participantes entiendencomo prácticas de liderazgo. Entre las posiblesexplicaciones del mal funcionamiento de esteítem dentro de un cuestionario de liderazgoen el contexto español, podría estar el hechode que aunque dentro de la ley se recoja queuna de las funciones de la dirección de loscentros sea la colaboración con instituciones ycon organismos que faciliten la relación con elentorno, la realidad es que hay graves déficitsde relación de la institución educativa con suentorno (Subirats, 2005). En este mismo sentido,la idea de aprendizaje social está muy alejada dela práctica habitual centrada prioritariamente enla cuestión académica (Caride, 2012).

La quinta subescala podría denominarse“Recursos e implicación de la comunidad”, yaque contiene ítems sobre aspectos específicos delas relaciones con la comunidad para lograr sucompromiso e implicación, así como la búsquedade recursos suplementarios. Estos aspectos,referidos a incrementar el capital profesionalmediante las relaciones sociales (capital social),han sido destacados ampliamente en la literaturareferida a buenas prácticas de liderazgo escolar(Hargreaves & Fullan, 2014).



La sexta subescala se puede denominar“Cultura favorable al aprendizaje”, ya que cuatrode los seis ítems incluidos se correspondencon el componente del cuestionario “Culturade aprendizaje”, lo que incluiría también altosniveles de aprendizaje por los alumnos (recogidoen el ítem 68) y la implicación de las familias(ítem 69). Todos los estudios de liderazgo exitosocoinciden en que no puede incidir en la mejoradirectamente, sino a través de crear contextos,como una cultura favorable al aprendizaje, queposibiliten una mejor enseñanza (Louis, 2006;Tichnor-Wagner, Harrison, & Cohen-Voguel,2016).

Los hallazgos de validez y fiabilidad de losresultados de la adaptación española del VAL-ED pueden ser de gran repercusión en elcontexto educativo español, que adolece deinstrumentos adecuados para medir un aspectode vital importancia para el diagnóstico y mejoradel sistema educativo (Bolívar, 2015; Gago,2006; Murillo & Hernández, 2011). Las mediasobtenidas indican que los profesores e inspectoresconsideran que las prácticas de liderazgo de lasdirecciones de los centros son poco eficaces.Los directivos autoevalúan sus prácticas comoeficaces. Aunque existe discrepancia entre ambosgrupos, las diferencias no son grandes, y laconclusión que podemos extraer es que, engeneral, en España las prácticas de liderazgoeducativo no alcanzan niveles altos de eficaciaen ninguno de los aspectos del cuestionario.La adaptación a población española tambiénpuede repercutir positivamente animando ainvestigadores de los otros países de hablahispana a realizar sus propias adaptacionesnacionales.

Entre las limitaciones del estudio, estála falta de representatividad de la muestra.Las dificultades por parte del propio sistemaeducativo español para llevar a cabo unmuestreo adecuado obligaron a la captaciónde participantes por medios diversos que nogarantizan la representatividad de toda lacomunidad educativa. Sin embargo, contamoscon participantes de la mayoría de lascomunidades autónomas del país, que son las

encargadas de gestionar el sistema educativo encada una de las 17 regiones.

Conclusiones

La adaptación del cuestionario VanderbiltAssessment of Leadership in Education (VAL-ED) a población española es una herramientaválida y fiable para la medición del liderazgoeducativo. La unidimensionalidad de cada unade las seis subescalas que la componen,ha sido demostrada mediante análisis Rasch,garantizando, por tanto, su utilidad para obtenerinformación de aspectos específicos de relevanciapara realizar un diagnóstico del liderazgoeducativo, decidir vías de mejora y realizarposteriormente mediciones de la eficacia de lasmedidas implementadas.

Agradecimientos

Este trabajo se ha hecho en el marco del proyectoI+D Liderazgo pedagógico y desarrollo del centrocomo comunidad profesional: prácticas de éxito eneducación obligatoria, financiado por el MinisterioEconomía y Competitividad dentro del ProgramaEstatal de Investigación Científica y Técnica y deInnovación (Referencia EDU2013-48432-P).

Referencias

Australian Institute for Teaching andSchool Leadership, AITSL. (2014).Australian Professional Standard for Principalsand the Leadership Profiles. Melbourne:Education Services Australia. Recuperadode http://www.aitsl.edu.au/australian-professional-standard-for-principals

Beaton, D. E., Bombardier, C., Guillemin, F.,& Feraz, M. B. (2000). Guidelines forprocess of cross-cultural adaptation of self-report measures. Spine, 25(24), 3186-3191.Recuperado de https://www.ncbi.nlm.nih.gov/pubmed/11124735



Bernardo, J., & Calderero, J. F. (2000). Aprendoa investigar en educación. Madrid: Rialp.ISBN: 8432133183

Bolívar, A., & Moreno, J. M. (2006). Betweentransaction and transformation: The roleof school principals as education leaders inSpain. Journal of Educational Change, 7(1),19-31. https://doi.org/10.1007/s10833-006-0010-7

Bolívar, A. (2012). Políticas actuales de mejoray liderazgo educativo. Archidona: Aljibe.ISBN: 9788497007221

Bolívar, A. (2013). La dirección de centrosen España: de la gestión al liderazgo. EnA. Villa (Ed.), Liderazgo pedagógico en loscentros educativos: Competencias de equiposdirectivos, profesorado y orientadores (pp.145-177). Bilbao: Universidad de Deusto.ISBN: 9788427135420

Bolívar, A. (2015). Evaluar el liderazgopedagógico de la dirección escolar.Revisión de enfoques e instrumentos.Revista Iberoamericana de EvaluaciónEducativa, 8(2), 15-39. Recuperadode https://revistas.uam.es/index.php/riee/article/view/2740/2927

Bond, T., & Fox, C. M. (2015). Applying theRasch Model: Fundamental Measurement inthe Human Sciences (3a ed.). Abingdon:Routledge. ISBN: 978-1-317-80526-7

Brown-Sims, M. (2010). Evaluating schoolprincipals. Washington, DC: NationalComprehensive Center on Teacher Quality.Recuperado de https://eric.ed.gov/?id=ED543770

Brown, D. J. (2001). Questions and answersabout language testing statistics: Whatis an eigenvalue? Shiken, 5(1), 15-19.Recuperado de http://jalt.org/test/bro_10.htm

Caride, J. A. (Coord.). (2012). Tiemposeducativos, tiempos de ocio. PedagogíaSocial. Revista Interuniversitaria, 20, 7-16. https://doi.org/10.7179/PSRI_2012.20.00

Condon, C., & Clifford, M. (2010). MeasuringPrincipal Performance: How Rigorous arePublicly Available Principal PerformanceAssessment Instruments? Naperville, IL:

Learning Point Associates. Recuperadode https://files.eric.ed.gov/fulltext/ED509964.pdf

Day, C., Sammons, P., & Hopkins, D. (2009).Impact of school leadership on pupil outcomes.Final Report. Nottingham: University ofNottingham. Recuperado de http://dera.ioe.ac.uk/id/eprint/11329

Day, C., Sammons, P., Leithwood, K., & Hopkins,D. (2011). Successful school leadership:linking with learning and achievement.Maidenhead: Open University Press. ISBN:9780335242443

Firestone, W. A., & Robinson, V. M. J. (2010).Research on educational leadership:Approaches/promising directions. En P.Peterson, E. Baker, & B. McGaw (Eds.),International Encyclopedia of Education(pp. 740-745). Oxford: Elsevier. ISBN:9780080448947

Gago, F. M. (2006). La dirección pedagógica enlos Institutos de Enseñanza Secundaria. Unestudio sobre el liderazgo educacional. Madrid:Centro de Investigación y DocumentaciónEducativa.

Goldring, E., Porter, A., Murphy, J., Elliot, S. N.,& Cravens, X.(2009). Assessing Learning-Centered Leadership: Connections toResearch, Professional Standards andCurrent Practices. Leadership and Policy inSchools, 8(1), 1-36. https://doi.org/10.1080/15700760802014951

Gorsuch, R. L. (1997). Exploratory factoranalysis: Its role in item analysis. Journal ofPersonality Assessment, 68(3), 532-560. http://doi.org/10.1207/s15327752jpa6803_5

Hagquist, C., Bruce, M., & Gustavsson, J. P.(2009).Using the Rasch model in nursingresearch: An introduction and illustrativeexample. International Journal of NursingStudies, 46(3), 380-393. http://doi.org/10.1016/j.ijnurstu.2008.10.007

Hallinger, P., & Wang, W. C. (2015). AssessingInstructional Leadership with the PrincipalInstructional Management Rating Scale.Dordrecht: Springer.

Hambleton, R. K., Merenda, P. F., &Spielberger, C. D. (Eds.). (2005). Adapting



Educational and Psychological Tests forCross-Cultural Assessment. Mahwah, NJ:Lawrence Erlbaum Associates.

Hargreaves, A., & Fullan, M. (2014). Capitalprofesional. Madrid: Morata.

Ingvarson, L., Anderson, M., Gronn, P., &Jackson, A. (2006). Standards for schoolleadership. A critical review of literature.Melbourne: ACER. ISBN: 0-9775252-3-6

ISLLC. (2008). Educational Leadership PolicyStandards. Washington, DC: CCSSO.Recuperado de http://www.wallacefoundation.org/knowledge-center/Documents/Educational-Leadership-Policy-Standards-ISLLC-2008.pdf

Leithwood, K., & Louis, K.S. (2011). LinkingLeadership to Student Learning. SanFrancisco: Jossey-Bass.

Leithwood, K. (2009). ¿Cómo liderar nuestrasescuelas? Aportes de la investigación. Santiagode Chile: Fundación Chile.

Linacre, J. M. (1994). Sample Size and ItemCalibration Stability. Rasch MeasurementTransactions, 7(4), 328. Recuperado de https://www.rasch.org/rmt/rmt74m.htm

Louis, K. S. (2006). Changing the cultureof schools: Professional community,organizational learning, and trust. Journal ofSchool Leadership,16(5), 477-489.

Louis, K. S., Leithwood, K., Wahlstrom, K.L., & Anderson., S. E. (2010). LearningFrom Leadership: Investigating the Links toImproved Student Learning. Minneapolis:University of Minnesota. Recuperadode https://conservancy.umn.edu/bitstream/handle/11299/140885/Learning-from-Leadership_Final-Research-Report_July-2010.pdf?sequence=1&isAllowed=y

McMillan, J. H., & Schumacher, S. (2005).Investigación educativa (5ª ed.). Madrid:Pearson. ISBN. 842054163X

Muñiz, J., Elosua, P., & Hambleton, R. K. (2013).Directrices para la traducción y adaptaciónde los test: segunda edición. Psicothema,25(2), 149-155. https://doi.org/10.7334/psicothema2013.24

Murillo, F. J., & Hernández-Castilla, R. (2011).Lecciones Aprendidas de la Evaluación

de directores/as escolares de España parala evaluación del desempeño docente nouniversitario. Supervisión Educativa, 15,17-22.

Murphy, J. (2015). The empirical and moralfoundations of the ISLLC Standards.Journal of Educational Administration, 53(6),718-734. https://doi.org/10.1108/JEA-08-2014-0103

National Policy Board for EducationalAdministration. (2015). National PolicyBoard for Educational Administration2015. Reston, VA: NPBEA. Recuperadode http://www.wallacefoundation.org/knowledge-center/Documents/Professional-Standards-for-Educational-Leaders-2015.pdf

New Leaders for New Schools. (2010). EvaluatingPrincipals: Balancing Accountability withProfessional Growth. New York: NLNS.

OECD. (2008). Improving School Leadership.Paris: OECD Publishing. https://doi.org/10.1787/9789264044715-en

OECD. (2016). School Leadership for Learning:Insights from TALIS 2013. Paris: OECDPublishing. http://dx.doi.org/10.1787/9789264258341-en

Porter, A. C., Murphy, J., Goldring, E.,Elliott, S. N., Polikoff, M. S., &May, H. (2008). Vanderbilt Assessmentof Leadership in Education (VAL-ED):Technical manual. Nashville, TN: DiscoveryEducation Assessment.

Porter, A. C., Polikoff, M.S., Goldring, E.,Murphy, J., Elliott, S. N. & May, H. (2010a).Investigating the Validity and Reliability ofthe Vanderbilt Assessment of Leadershipin Education. Elementary School Journal,111(2), 282-313. https://doi.org/10.1086/656301

Porter, A. C., Polikoff, M. S., Goldring, E.,Murphy, J., Elliott, S.N., & May, H.(2010b). Developing a psychometricallysound assessment of school leadership:the VAL-ED as case study. EducationalAdministrative Quarterly, 46(2), 135-173. https://doi.org/10.1177/1094670510361747

Portin, B. S., Feldman, S., & Knapp, M. S. (2006).Purposes, uses, and practices of leadership



assessment in education. Seattle: Center forthe Study of Teaching and Policy.

Robinson, V. (2011). Student-centered leadership.San Francisco: Jossey-Bass. ISBN:9781118090299

Robinson, V., Hohepa, M., & Lloyd, C.(2009). School leadership and studentoutcomes: Identifying what works and why:Best evidence synthesis iteration (BES).Wellington: Ministry of Education.

Sabariego, M. (2009). El proceso deinvestigación. En R. Bisquerra (Coord.),Metodología de la investigación educativa (pp.127-166). Madrid: La Muralla.

Sammons, P., Gu, Q., & Robertson, D.(2007). Exploring Headteacher and KeyStaff Perceptions of Leadership and SchoolImprovement: A Quantitative Report: Phase1 Questionnaire Survey. Nottingham:University of Nottingham.

Smith, R. M., & Miao, C. Y. (1994).Assessing unidimensionality for Raschmeasurement. En M. Wilson (Ed.),Objective Measurement: Theory into Practice(Vol. 2, pp. 316-327). Norwood NJ: Ablex.ISBN: 978-0893918439

Subirats, J. (2005). Escuela y municipio. ¿Haciaunas nuevas políticas educativas locales?En J. Gairín (Coord.), La descentralizacióneducativa (pp. 177-207). Barcelona: Praxis.

Tennant, A., & Conaghan, P. G. (2007).The Rasch measurement model inrheumatology: What is it and why use it?When should it be applied, and what shouldone look for in a Rasch paper? Arthritis Careand Research, 57(8), 1358-1362. https://doi.org/10.1002/art.23108

Tennant, A., & Pallant, J. F.(2006). Unidimensionality Matters!Rasch Measurement Transactions, 20(1),1048-1051.

Tichnor-Wagner, A., Harrison, C., & Cohen-Vogel, L. (2016). Cultures oflearningin effective high schools. EducationalAdministration Quarterly, 52(4), 602-642. https://doi.org/10.1177/0013161X16644957

Vinokurov, A., Geller, D., & Martin, T. L.(2007).Translation as an Ecological Tool

for Instrument Development. InternationalJournal of Qualitative Methods, 6(2), 40-58.https://10.1177/160940690700600205

Wallace Foundation.(2009). Assessing theeffectiveness of school leaders: New directionsand new processes. The Wallace PerspectivesOccasional Series. New York: Author.

Notas

* Artículo de investigación, financiado porel Ministerio Economía y Competitividaddentro del Programa Estatal deInvestigación Científica y Técnica y deInnovación.

Adaptación española de la escala de liderazgo …mpperez/pdf/articulos/18113-82925-1-PB-1A.pdf ·...

Documents

Transcript of Adaptación española de la escala de liderazgo …mpperez/pdf/articulos/18113-82925-1-PB-1A.pdf ·...