8.3. INSTRUMENTOS DE RECOGIDA DE DATOS.digibug.ugr.es/bitstream/10481/4558/13/12-Capítulo...

Análisis cientimétrico, conceptual y metodológico de la investigación española sobre evaluación de programas educativos (1975/2000).

307

8.3. INSTRUMENTOS DE RECOGIDA DE DATOS.

Para caracterizar los instrumentos de recogida de datos empleados en los

208 estudios revisados, se recurre a su descripción, comprobando si éstos están

estandarizados o se han realizado ad hoc para cada investigación. Se registra su

tipo y nombre concreto, escala de medida y si se emplean mecanismos que

garanticen su validez y fiabilidad. (Anexo 9).

8.3.1. Estandarización de los instrumentos.

La mayoría de los estudios emplean instrumentos no están

estandarizados, sino que se elaboran de forma explícita para la propia

investigación (Tabla 8.18. y gráfico 8.7.). Con una frecuencia mucho menor, que

suponen el 31,25%, encontramos a los trabajos que si emplean instrumentos

estandarizados.

Estas dos categorías explican la mayoría de la frecuencia considerada,

pues acumulan más del 90% de esta. Así, los estudios que basan la recogida de

datos en composiciones de instrumentos estandarizados +no estandarizados,

categorizados como mixtos son escasos, pues alcanzan tan solo un 7,7% del total.

8.18. Estandarización de los instrumentos de recogida de datos. CARÁCTER f fa % %a

Sí 65 65 31,25 31,3 No 100 165 48,1 79,3

Mixtos 27 192 13,0 92,3

NRoNI 16 208 7,7 100,0

TOTAL 208 208 100 100

Gráfico 8.7. Estandarización de los instrumentos de recogida de datos.

sinomixtosNR o NI

Capítulo VIII. Análisis de resultados de los indicadores metodológicos.

308

8.3.2. Nombres y tipos de instrumentos.

En total se registra un número de 483 instrumentos en los 208 trabajos

revisados, lo que supone un índice medio de algo más de dos instrumentos por

trabajo.

Promedio = 483 / 208 = 2,3 instrumentos/trabajo.

Para el estudio concreto de los diversos tipos de instrumentos empleados

en los trabajos revisados, se recurre a la elaboración de una tabla (Tabla 8.19) que

los diferencia entre aquellos que suponen una fuente de acceso a la información

directa e indirecta. En cada una de estas categorías, se especifica en frecuencias y

porcentajes el tipo de documento concreto empleado como instrumento de

recogida de datos y diversas denominaciones similares o afines con las que se

pueden encontrar en la distribución de datos registrada para esta variable.

Tabla 8.19. Tipos de instrumentos de recogida de datos.

FUENTE DOCUMENTOS OTRAS DENOMINACIONES f %

INDIRECTAS Documentos Informes oficiales, actas, calificaciones, libros de escolaridad, fichas de alumnos, historias clínicas, proyectos, memorias.

38 7,9

Notas de campo Anotaciones del alumno, cuadernos, registros anecdóticos, diarios, informes narrativos, cronogramas, mapas cognitivos.

17 3,5

Observación

Listas de control, audio - vídeo grabaciones, parrillas de observación, dibujos, pruebas conductuales, sociométricas (tipo role - playing).

49 10,1

Entrevistas Protocolos, debates, grupos de discusión. 38 7,9 Escalas Likert, de clasificación, de valoración. 51 10,6

Cuestionarios Encuestas, Cuestionarios sociométricos. 139 28,8

Test Baterías, pruebas estandarizadas, rejilla. 79 16,4 Inventarios. 10 2,1

Pruebas ad hoc Exámenes, ejercicios, pruebas inductivas, de rendimiento, de conocimiento. 20 4,1

DIRECTAS

Programas informáticos

Bases de datos. 2 0,4

NR o NI 40 8,3

TOTAL 483 100


309

En una primera aproximación se comprueba la escasez de fuentes

indirectas empleada y la amplia mayoría del uso de fuentes de acceso a la

información directa, 7,9% frente a 83,8 % del total.

Esta macro-categoría de fuentes indirectas está constituida en su mayor

parte por dos tipos de documentos: documentos de carácter más o menos oficial

como libros de escolaridad, actas de evaluación o proyectos/memorias; y por otra

por instrumentos de uso cotidiano, como fichas o historias clínicas. Todos ellos

suponen un mecanismo para el control/registro de los progresos de los sujetos.

La segunda gran categoría, categorizada como fuentes de información

directas, compila un conjunto de instrumentos calificables como usuales en las

investigaciones educativas, que se describirán de manera individualizada.

El tipo de instrumento más utilizado es sin duda alguna el cuestionario o

encuestas, pues supone casi un 29% del total de instrumentos empleados. Siendo

también usual el empleo de test, baterías o pruebas estándares, que alcanzan un

16,4%.

A continuación y con porcentajes similares, entorno al 10%, los

instrumentos más empleados son las escalas y los registros basados en la

observación, listas de control, etc.

En último lugar, con un uso mucho menos frecuente y porcentajes

inferiores al 10% estarían las entrevistas (7,9%); los instrumentos de elaboración

adhoc (4,1%); las notas de campo, diarios y registros anecdóticos (3,5%);

inventarios (2,1%) y programas informáticos o bases de datos (0,4%).

Parece relevante hacer mención del número de casos en los que no se ha

podido categorizar el tipo de instrumento empleado por la escasez de información

ofrecida o lo segmentada de esta, que alcanza una frecuencia de 40, suponiendo

un 8,3% del total de todos los instrumentos registrados.


310

Todo ello queda reflejado en la representación ofrecida en el siguiente

gráfico 8.8.

Este uso, de determinados instrumentos como son por orden de

frecuencia, cuestionarios (28,8%), tests (16,4%) y escalas (10,6%), se observa

también en el trabajo de Bueno (2001), que revisa la producción investigativa

publicada en la Revista de Investigación Educativa, incluso en porcentajes muy

similares (cuestionarios 21,3%; test 13,26% y escalas 10,6 %). Por lo que podría

plantearse un empleo habitual en la I.E.

Sin embargo en otros trabajos como el de Torralbo (2001), referido a tesis

doctorales en Educación Matemática, los instrumentos de mayor empleo son las

pruebas ad hoc.

Gráfico 8.8 . Porcentaje del tipo de instrumemntos empleado.

16,4

10,6

10,1

7,9

7,9

4,1

3,5

2,1

0,4

8,3

28,8

0 5 10 15 20 25 30 35

Cuestionarios

Test

Escalas

Observación

Entrevistas

Documentos

Adhoc

Notas de Campo

Inventarios

Programas Inf.

NR o NI

%


311

Mediante una descripción nominal se registra el nombre y autores de los

cuestionarios empleados de los que se ha podido acceder a su referencia

bibliográfica completa, que no corresponde con el total de los registrados, son los

siguientes:

Cuestionario de autoestima (Musitu y otros, 1991). Cuestionario de autoestima (Rosenberg, 1979). Cuestionario de escalas de estrategias de aprendizaje ACRA (Román y Gallego, 1994). Cuestionario de Actitudes P.F.S.E. (Yuste, 1991). Cuestionario de creencias didácticas (Porlán, 1989). Cuestionario de intereses profesionales CIPSA (Fernández, Navarro y Andrade, 1992). Cuestionario de hábitos y técnicas de estudio CHTE (Álvarez y Fernández, 1990). Cuestionario de Inventario de Estrategias de Aprendizaje I.D.E.A. (Vizcarro y otros, 1992). Cuestionario del aprendizaje estructurado de Goldstein (Vallés y Olivares, 1995). Cuestionario ESPQ (Coan y Catell, 1983).

En el mismo sentido las escalas son las siguientes:

Escala de actitud básicas de aprendizaje (Valett, 1983). Escala de ambiente familiar HOME (Caldwell y Bradley, 1984) Escala de autoconcepto Piers-Harris (Piers, 1969). Escala de clima social escolar CEE (Moos y Trickett, 1974) Escala de comportamiento asertivo CABS/TRCABS (Michelson y Woods, 1982) Escala de Conocimientos y Actitudes Sexuales ECAS (Pelechano, 1980). Escala de valoración (Feuerstein y Hoffman, 1986) Escalas McCarthy (McCarthy, 1983) Estilos de socialización de la familia EMBU (Musitu y otros, 1996) Hahnemann Preeschool Behavior Scale (Shure y Spivack, 1978). MSCA (McCarthy, 1988) Pictorial scale of perceived competence and social acceptance for young children (Harter y

Pike, 1984). WPPSI (Weschler, 1981).


312

Los inventarios:

Capacidad de empatía (Bryant, 1982). Inventario de adaptación escolar IAC (Cruz y Cordero, 1990). Inventario de hábitos de estudio (Pozar, 1989). Inventario STAIC (Spielberger y Edwards, 1990).

Tan sólo es posible registrar la referencia de un programa informático o

base de datos: Programa RECORD (Feixas y Cornejo, 1990).

Los instrumentos de registro basados en la observación, ya sea directa o

a través del uso de material audiovisual son los que se especifican a continuación:

Código de observación de la interacción social (Monjas, Arias y Verdugo, 1991)

Lista de observación de habilidades sociales para niños ciegos (Caballo y Verdugo, 1996).

Los tests, rejillas o pruebas de desempeño de carácter estandarizado

son las que se especifican a continuación:


313

Batería de actitudes intelectuales diferenciales y generales BADYG-E (Yuste, 1988). Batería de Habilidades Sociales para solución de problemas interpersonales (Pelechano,

1984, 1987) Evaluación Dinámica del Plan de Aprendizaje -EDPA- (Feuerstein, 1979) Percepción de diferencias (Yela y Thurstone, 1985). Prueba de comprensión lectora (Cloze, Suárez y Meara, 1985) Prueba de comprensión lectora (Lázaro, 1982) Prueba de Imagen corporal (Cratty y Sams, 1968) Prueba de personalidad (Gillis, 1989) Prueba ITPA (Barrio, 1993) Pruebas de diagnóstico en Preescolar (De la Cruz, 1981) Recuerdo por análisis de la estructura del texto (Meyer, 1975, 1985) Rejilla de análisis del proceso de interacción (Bales, 1970). Test (Guilford , 1951) Test autoevaluativo multifactorial de adaptación infantil TAMAI (Hernández, 1983) Test Batería de Socialización BAS 3 (Martorell y Silva, 1987.) Test CETI (Yuste, 1986 y 1987). Test de Aptitudes Escolares TEA (TEA, 1987) Test de capacidad de atención y percepción CARAS (Yela y Thoustone, 1985) Test de Cloze de evaluación de la comprensión lectora (Condemarín y Milicic, 1990). Test de conceptos básicos Boehm (Boehm, 1983). Test de dominio del lenguaje PMA-V (Thurstone, 1989) Test de Goodenough (Goodenough, 1971). Test de inteligencia (Raven, 1947). Test de Inteligencia General TIG-1 (TEA, 1994). Test de Lorge-Thorndike (Thorndike, Hagen y Lorge, 1990). Test Factor G1 (Catell, 1992). Test guestáltico visomotor (Bender, 1984). Test QUAFE (Darder y López, 1984). Test WISCC (Cruz y Cordero, 1995). The Matson Evaluation of Social Skills with Yongters MESSY (Matson, Rotatory y Hensen,

1982).

8.3.3. Validez en los instrumentos de recogida de datos.

Los criterios empleados para denotar la validez de los instrumentos de

recogida de datos, obtienen en el cómputo de la distribución obtenida tras el

análisis de los 208 estudios revisados, las frecuencias y porcentajes expresadas a

continuación en la tabla 8.20.


314

Tabla 8.20. Criterios de validez para los instrumentos de medida. Validez f fa % %a INSTRUMENTOS ESTANDARIZADOS1 92 92 37,9 37,9 Denomina genéricamente, sin especificar 25 117 10,3 48,1

Pruebas piloto 2 119 0,8 49,0

Contenido 7 126 2,9 51,9

Constructo 11 137 4,5 56,4

Criterio 2 139 0,8 57,2

NR o NI 104 243 42,8 100,0

TOTAL 243 100 1: Se asumen los criterios establecidos, sin comprobarlos.

El cociente entre el número total de criterios registrados y el de

documentos revisados, de los que se obtiene tal distribución, ofrece el coeficiente

de criterios de validez empleado en estos estudios, que muestra algo más de un

criterio por trabajo revisado.

Índice de criterios de validez1 = 139/208 = 0,66 criterios por trabajo

Sin embargo, la interpretación de este indicador global puede ofrecer una

visión sesgada, puesto que el número de instrumentos registrados a los que se

refieren tales criterios de validez, es mayor que el de trabajos revisados como ha

podido comprobarse en el epígrafe 8.3.2 de este mismo capítulo. Por ello, el

cociente debe referirse al número total de instrumentos de recogida de datos

empleados en todos los trabajos revisados por los criterios registrados.

Índice de criterios de validez2 = 139/483 = 0,3 criterios por instrumento

En un estudio pormenorizado de cada uno de los criterios empleados, se

puede comprobar que la mayor frecuencia o moda la obtienen aquellos que no

trabajos en los que no se ofrecen criterios de validez sobre los instrumentos de

medida empleados, con un porcentaje del 42,8% del total registrado.


315

Un porcentaje igualmente elevado lo obtienen, los 92 estudios en los que

se hace referencia a instrumentos de carácter estandarizado, que no reflejan en el

informe de investigación los criterios de validez ya aceptados de antemano; y los

25 estudios, en los que tan sólo se referencia genéricamente el uso de criterios de

validez en la descripción de sus instrumentos de medida. Obteniendo

respectivamente el 37,9 % y 10,3%.

Estas dos categorías ya explican conjuntamente el 48,2%. Si a esto se

añade el 42,8%, reseñado anteriormente y referido a los estudios que no emplean

o no registran este dato, esta explicación se eleva al 91% del total de la frecuencia.

El restante y escaso 9%, se refiere mayoritariamente al empleo de la

validez por constructo con un 4,5%, seguido de la validez por contenido con un

2,9%. La validez por criterio y la establecida mediante el empleo de pruebas

piloto obtienen un 0,8% por categoría.

Esto denota una significativa escasez en los informes de investigación

sobre el establecimiento de los criterios de validez de los instrumentos de registro

de datos empleado, reflejado en el gráfico 8.9. Lo que supone sin duda una

enorme debilidad instrumental en las investigaciones sobre E.P.

Gráfico 8.9. Establecimiento de criterios de validez en los instrumentos de medida.

42,8

48,1

9,1

No se considera

Se considera de forma general

Se considera en criterios específicos


316

8.3.4. Fiabilidad en los instrumentos de recogida de datos.

Los valores obtenidos en los índices globales empleados en el estudio

descriptivo de los criterios de validez, son idénticos en los criterios de fiabilidad

para los instrumentos de registro de datos: 1,17 criterios por trabajo y 0,5

criterios por instrumento.

En este mismo sentido, los valores en frecuencia y porcentaje de las

categorías referidas a “instrumentos estandarizados” y a aquellos que no registran

o indican criterios de fiabilidad, son también idénticos, como queda reflejado en la

tabla 8.21 y comprobado mediante la comparación con la tabla 8.20. Sin embargo,

el resto de la distribución, aunque con ciertas semejanzas adopta distintos valores.

Tabla 8.21. Criterios de Fiabilidad para los instrumentos de medida. Fiabilidad f fa % %a

INSTRUMENTOS ESTANDARIZADOS 92 92 37,9 37,9 Denomina genéricamente, sin especificar. 30 122 12,3 50,2

Consistencia interna 7 129 2,9 53,1

Estabilidad 4 133 1,6 54,7

Equivalencia 5 138 2,1 56,8

Concordancia entre observadores 1 139 0,4 57,2

NR o NI 104 243 42,8 100,0

TOTAL 243 100

La frecuencia referida a los que sólo hacen una referencia genérica al

empleo de criterios de fiabilidad de los instrumentos, pero no especifican, en este

caso se eleva al 12,3%, tan sólo un 2% más que en los criterios de Validez.

Considerando esta categoría y la referida a instrumentos estandarizados

se obtiene conjuntamente el 50,2%. Si a esto se añade el 42,8%, reseñado

anteriormente y referido a los estudios que no emplean o no registran este dato,

esta explicación se eleva al 93% del total de la frecuencia.

El restante 7%, se distribuye entre el empleo de la fiabilidad por

consistencia interna con un 2,9%, seguido de la fiabilidad por equivalencia con un


317

2,1%. La fiabilidad por estabilidad alcanza el 1,6% y la establecida mediante la

concordancia entre observadores obtiene un 0,4%.

Es decir, si se consideran las frecuencias de aquellas categorías en las que

realmente no se especifican criterios de validez, por asumirse en instrumentos

estandarizados o por hacer mención general (37, 9+ 12,3 = 50,2%) y por no

registrarse o indicarse (42,8%), con respecto a la que si lo hace, se obtiene una

representación gráfica (Gráfico 8.10.) que muestra la poca consideración de estos

criterios.

Al igual que los datos referidos a los criterios de Validez, los referidos a la

fiabilidad de los instrumentos de recogida, denota una significativa escasez en los

informes de investigación sobre el establecimiento explícito tales criterios. Y por

tanto unas inferencias evaluativas realmente negativas.

Por lo que de forma conjunta puede considerarse que en cuanto al

establecimiento de criterios específicos de validez y fiabilidad, los instrumentos

en investigación sobre E.P., presentan una enorme debilidad metodológica.

Gráfico 8.10. Establecimiento de los criterios de fiabilidad en los instrumentos de medida.

7

50,2

42,8No se considera

Se considera de forma general

Se considera en criterios específicos


318

8.4. POBLACIÓN Y MUESTRA.

En este apartado se analizarán aspectos referidos a la descripción de la

población y los procesos establecidos para la selección de la muestra,

especificando si estos poseen un carácter aleatorio. También se describirá la

muestra en cuanto a su tamaño, su composición en género, edad y nivel

académico de sus constituyentes (ver Anexo 9).

8.4.1. Población.

El total de los resultados reflejados en la siguiente tabla 8.22, se refieren a

los 208 estudios revisados. La mayor frecuencia, 92 estudios, se refiere a aquellos

en los que tan solo se indica la población de la que se extrae la muestra tratada de

manera superficial, suponiendo algo más del 44%.

Un porcentaje mucho menor del 28,4% es el referido a los trabajos en los

que si se describe en algún aspecto fundamental la población. Este porcentaje es

muy similar al de los estudios en los que no se registra o indican la población

objeto de estudio.

Tabla 8.22. Descripción de la población.

POBLACIÓN f fa % %a

Indica 92 92 44,2 44,2

Describe 59 151 28,4 72,6

NR o NI 57 208 27,4 100,0

TOTAL 208 100

Gráfico 8.11. Descripción de la población .

72,6%

27,4%


319

Considerando globalmente las frecuencias de, los estudios en los que se

refleja algún aspecto referido a su población, ya sea indicándolos o

describiéndolos, se observa una frecuencia acumulada del 72, 6%, quedando tan

sólo el 27,4% para los mencionados estudios que no registran aspecto alguno.

8.4.2. Selección de la muestra.

En la siguiente tabla se registra la frecuencia y porcentajes de las técnicas

de selección muestral empleada en la totalidad de los 208 trabajos revisados,

agrupándolas parcialmente en categorías, dependiendo si su empleo supone un

proceso de aleatorización o no en la selección.

Tabla 8.23. Tipo y técnicas de selección muestral. TIPO TÉCNICA f fa fp % %a %p

Aleatoria simple 13 13 6,2 6,2 Estratificado aleatorio 1 14 0,5 6,7 Conglomerados aleatorizados 8 22 3,8 10,5

Aleatorio

Sistemático 1 23

23

0,5 11

10,9

Estratificado por cuotas 3 26 1,4 12,4 Conglomerados no aleatorizados 21 47 10 22,4 Conveniencia 40 87 19 41,4

No aleatoria

Intencional 36 123

101

17,1 58,6

47,9

Mixta 1 124 0,5 59 Otras

Estudios censales o cuasicensales 5 129 6

2,4 61,4 2,8

NR o NI 81 81 38,6 38,6 TOTAL 210

210 211 100

100 100

Se puede comprobar que frecuencia total es mayor que el número de

estudios revisados que asciende a 208. Este excedente de técnicas, se debe a que

en dos estudios se recurre a dos técnicas diferentes de selección muestral.

En un estudio parcial se comprueba que las técnicas no aleatorias poseen la

frecuencia más alta, suponiendo casi la mitad del total de ésta, pues alcanzan el

47, 9%. Sin embargo las técnicas aleatorizadas tan sólo suponen el 10, 9% del

total.


320

La categoría “otras”, constituida por las técnicas de selección mixtas y

aquellos casos en los que no se realiza selección alguna de muestra, puesto que

son estudios censales o cusi-censales, suponen un escaso 2, 8%. Siendo sin

embargo muy alto (38, 6%), el de aquellos estudios en los que pese a extraer una

muestra, no registran, indican o especifican el tipo y técnica de selección

empleada.

La selección por conveniencia e intencional de la muestra son las técnicas

más ampliamente utilizadas, tanto dentro de las técnicas no aleatorias como del

total de éstas, alcanzando porcentajes muy similares del 19 y 17, 1 %

respectivamente. También alcanzan un porcentaje comparativamente

considerable, 10%, la selección por conglomerados no aletorizados.

Hay que descender hasta el cuarto lugar en esta clasificación, para

encontrar con un porcentaje menor, una técnica de carácter aleatorio. La selección

aleatoria simple alcanza el 6, 2 % del total y a continuación la realizada por

conglomerados aleatorizados con un porcentaje del 3, 8% que supone ya casi la

mitad.

Frecuencias muy bajas del total de la distribución se pueden observar en

los estudios censales y/o cusi-censales, en los que recurren a los estratos

aleatorizados, a los procesos aleatorios sistematizados o a técnicas mixtas para la

selección de la muestra.


321

8.4.3. Tamaño muestral.

Para describir el tamaño de la muestra de los estudios revisados se recurre

a dos aspectos concretos: delimitar el número de ellos en los que se hace

referencia a su tamaño muestral y comprobar mediante el establecimiento de

intervalos la frecuencia usual en el tamaño concreto de estas muestras.

En cuanto al primer aspecto referido se puede comprobar (Tabla 8.24) que

una amplia mayoría de los estudios hace referencia explícita a su tamaño muestral.

Más de un 69% del total de los 208 estudios revisados, frente a un 30,29% que no

registra este dato en sus informes de investigación.

Gráfico 8.12. Mecanismos de selección de la muestra.

19 %

17,1 %

10 %

6,2 %

3,8 %

2,4%

3 x 0,5 %

0 5 10 15 20

Aleatorio sistemático

Estratificado aleatorio

Mixta

Estudios censales

Conglomerados aleatorizados

Aleatorio simple

Conglomerados no aleatorizados

Intecional

Conveniencia

Pro

ceso

de

sele

cció

n


322

Tabla 8.24. Tamaño de la muestra

Registro del tamaño muestral Tamaño muestral

f fa % %p

1 2 2 1,0 2 a 10 10 12 4,8

10 a 30 24 36 11,5 30 a 100 35 71 16,8

100 a 1000 65 136 31,3

Estudios que registran su tamaño muestral

>1000 9 145 4,3

69,7

Estudios que no registran su tamaño muestral NR o NI 63 208 30,3 30,3 TOTAL 208 100 100

El tamaño concreto de las diversas muestras se categoriza, en frecuencias,

atendiendo a los siguientes intervalos establecidos en la mencionada tabla. Tales

intervalos no se han dispuesto aleatoriamente sino que se ha intentado establecer

siguiendo un patrón teórico, previa comprobación del posible ajuste de la

distribución de datos, a las muestras típicas de diversos modelos de estudios

(estudio de caso único, de casos, observacionales, experimentos y encuestas).

La frecuencia más alta corresponde a los estudios cuyas muestras

corresponden al intervalo entre 100/1000 unidades de análisis. Sean éstos sujetos,

centros o programas; aspecto estudiado en el sexto epígrafe de este mismo

capítulo.

Debido a la gran dispersión de frecuencias dentro de los diversos

intervalos que componen la categoría de “estudios que registran su tamaño

muestral”, el número de éstos que no lo hace es muy semejante al mencionado

intervalo de mayor frecuencia. Así tan solo ofrecen una frecuencia de dos estudios

menos y un porcentaje comparativamente alto y similar al anterior del 30, 3 %.

En el patrón gráfico, apreciado en el gráfico 8.13, los siguientes intervalos

más habitualmente definidos son los que se refieren a estudios de tamaños

muestrales entre 10 y 100 unidades de análisis, que segmentadamente obtienen

porcentajes de 11,5 y 16,8%.


323

Con frecuencias muy escasas, por debajo de los diez casos registrados se

encuentran los estudios con los tamaños muestrales extremos en el rango

establecido. Así con N=1 tan sólo se registra un estudio, entre 2 y 10 son diez los

trabajos, y muestras mayores de 1000 se registran solamente en nueve de los 208

estudios registrados.

8.4.4. Género de la muestra.

Atendiendo a un cómputo general descrito por las frecuencias y

porcentajes acumulados, se observa en la siguiente tabla 8.25, que sólo se define

el género en la mitad de los 208 estudios revisados.

También hay que considerar que los estudios en los que no es pertinente

definir el género de su muestra, puesto que las unidades de análisis empleadas no

se refieren a personas, sólo añaden un caso y un 1,4% más al porcentaje anterior.

8.13. Porcentajes de tamaños muestrales.

30,34,3

31,316,8

11,54,8

1

0 10 20 30 40

NR o NI

>1000

100a1000

30a100

10a20

2a10

1In

terv

alos

de

tam

año

mue

stra

les.

%


324

Tabla 8.25. Género de la muestra. GÉNERO f fa % %a Hombres 3 3 1,4 1,4 Mujeres 8 11 3,8 5,2 Mixta 93 104 44,7 50,0 No pertinente registrar su género 3 107 1,4 51,4

NR o NI 101 208 48,6 100

TOTAL 208 100

Las frecuencias referidas a hombres y a mujeres son muy bajas tanto con

respecto al total de los estudios revisados, como al resto de las categorías

consideradas. Este escaso porcentaje, dificulta su consideración como dato

mediante el que establecer inferencias diferenciales en las distintas muestras

analizadas atendiendo al género de sus componentes. Sin embargo, si permite

ofrecer una clara perspectiva comparativa con las muestras que poseen un carácter

mixto.

Así, considerando segmentadamente las tres primeras categorías

establecidas en la tabla anterior, que suponen un total de 104 estudios y que se

muestran en el gráfico 8.14, queda patente la clara mayoría de las muestras

mixtas.

��

Gráfico 8.14. Género en las muestra s

Hombres (2,9%)

Mujeres (7,7%)�� Mixtas (89,4%)


325

8.4.5. Edad de las muestras.

El registro y análisis de este dato presenta las dificultades derivadas de la

falta de claridad y unanimidad en el establecimiento explícito de los intervalos de

edad de las investigaciones revisadas.

Con un procedimiento similar al empleado en el apartado 8.4.3. referido al

tamaño muestral, se establecen unos intervalos en años en los que registrar los

estudios atendiendo a la edad de sus sujetos muestrales. Se ha considerado tal

delimitación, además de por su ajuste a la distribución de datos obtenida, por la

semejanza a las edades correspondientes en las que se cursan los diferentes

niveles establecidos en nuestro sistema educativo actual y estudiados en el

siguiente epígrafe de este capítulo.

En la tabla 8.26, se muestra una frecuencia total mayor que la de los

estudios revisados (234>208) debida a que en algunos estudios se consideran más

de un intervalo de edad.

Tabla 8.26. Edad de la muestra en intervalos de años. EDAD (años) f fa % %a Hasta 6 9 9 3, 8 3,8 De 7 a 12 42 51 17, 9 22 De 13 a 18 35 86 15 37 De 19 a 24 8 94 3, 4 40,4 Más de 24 12 106 5, 1 45,6 Múltiples 6 112 2, 6 48

NR o NI 1 122 234 52 100

TOTAL 234 100

Aunque tan solo por una diferencia de diez de los estudios revisados, una

mayoría del 52% no registra o indica explícitamente la edad de la muestra

considerada. Siendo la frecuencia más habitual o moda la referida a sujetos entre 7

1 Al igual que en el estudio del género de la muestra, en tres casos no se registra la edad porque no es pertinente.


326

y 12 años. Es decir a sujetos que, según su edad, cursan estudios de Educación

Primaria.

Con un porcentaje cercano al del intervalo anterior y que asciende hasta el

15% estarían los alumnos entre 13 y 18 años.

Cuantitativamente inferiores son las frecuencias o estudios en el resto de

los intervalos de edad considerados para definir su muestra. Así los porcentajes

obtenidos para muestras con más de 24 años superan escasamente el 5% del total

de los estudios. Y las referidas a alumnos hasta 6 años, entre 19 y 24, o con

intervalos de edad amplios y múltiples, siempre están por debajo del 4%.

8.4.6. Nivel académico de las muestras.

En la siguiente tabla 8.27. se categorizan los trabajos revisados, atendiendo

al nivel académico declarado de la muestra que emplean en sus estudios. Estos

niveles corresponden a los intervalos establecidos por el sistema educativo en la

actualidad, adaptando a ellos los datos referidos a niveles dispuestos con

anterioridad.

Gráfico 8.15. Frecuencia y porcentaje de los intervalos de edad de las muestras .

0

20

40

60

80

100

120

140

Hasta 6 7 a 12 13 a 18 19 a 24 >24 Múltiples NR o NI

Intervalos de edad

%f


327

Además de los niveles básicos se considera la categoría “otros”, que

corresponde con los datos ofrecidos en aquellos estudios en los que en sus

muestras se considera a padres de alumnos, cursos de postgrado para diversos

niveles formativos, cursos en los que se integran sujetos con distintos niveles

educativos y estudios en los que no es pertinente el registro del nivel educativo,

por no referirse su muestra a personas.

Tabla 8.27. Nivel académico de las muestras de los estudios revisados. NIVEL ACEDÉMICO f fa % %a Educación Infantil 17 17 7,8 7,8 Educación Primaria 63 80 28,8 36,6 Educación Secundaria 42 122 19,2 55,7 Formación Profesional 4 126 1,8 57,6 Universidad 32 158 14,6 72,2 Educación Especial y Compensatoria 19 177 8,7 80,9 Educación de Adultos 5 182 2,3 83,1 Otros (Educación de padres, cursos de postgrado, cursos inter-nivel y estudios en los que no es pertinente el registro del nivel educativo).

6 188 2,7 85,9

NR o NI 31 219 14,2 100

TOTAL 2192 100

El mayor porcentaje de estudios declara un nivel académico para su

muestra en la Educación Primaria con algo más del 28%. Seguidos por los que

ésta cursa Educación Secundaria y estudios Universitarios, con un 19,2 y 14, 6 %

respectivamente.

Frecuencias menores de veinte casos tienen los que toman sus muestras en

la Educación Especial y Compensatoria o en la Educación Infantil, con

porcentajes similares del 8,7 y 7,8 % del total.

El resto de categorías obtienen frecuencias por debajo de tres casos, lo que

supone escasos porcentajes del total de los trabajos, quedando constituidas éstas

2 La frecuencia total es mayor que el número de estudios revisados (219>208), porque 11 de ellos registran dos niveles y dos registran tres niveles educativos distintos.


328

por la macro-categoría “otros niveles educativos”, la Educación de Adultos y la

Formación Profesional, que obtiene la f más baja.

De forma gráfica (Gráfico 8.16) se puede apreciar cierta semejanza entre

los porcentajes de estudios cuyas muestras están en los intervalos hasta 6 años, 6 a

12 y 13 a 18; con los porcentajes de estudios cuyas muestras declaran cursar esos

niveles educativos.

En el resto de los niveles educativos de las muestras no parece lógica la

comparación en su porcentaje y la edad de los sujetos que las componen (línea

azul interrumpida), puesto que no puede establecerse una relación unívoca entre

niveles educativos y edades específicas para cursarlos.

Grafico 8.16. Porcentaje de muestras por niveles educativos .

0

10

20

30

40

50

60

Ed. Inf. Prim. Sec. F.Prof. Univ. E.E. Adultos Otros Nr o Ni

% Nivel Educativo% Edades


329

8.5. DISEÑOS DE INVESTIGACIÓN.

Para describir el diseño en las investigaciones sobre evaluación de

programas educativos consideradas como muestra de este estudio, se recurre

además de a la definición del tipo de diseño específico empleado, a otros aspectos

que puedan delimitar con claridad el proceso empleado en tales investigaciones.

Por ello se registra (ver Anexo 10) también su temporalización, si se consideran

las posibles amenazas al diseño empleado y/o se toman las medidas apropiadas de

control, y se comprueban los agentes evaluadores/investigadores que la realizan.

8.5.1. Tipos de diseños de investigación.

En una primera aproximación a los diseños de investigación atendiendo a

los tipos registrados en la tabla 8.28. se comprueba que los diseños

cuantitativamente más empleados son los de tipo cuasi-experimental (26,9%) y

los de corte descriptivo (20,7%).

También es destacable el alto porcentaje, comparativamente con el resto

de las categorías, de estudios en los que nos se registra o indica explícitamente el

diseño de investigación empleado, ni se ofrece información suficiente como para

inferirlo con garantías.

Los diseños pre-experimentales son empleados en los mismos casos que

los experimentales, ocupando cada uno de ellos el 9,6% del total. Y en porcentajes

similares se emplean las investigaciones basadas en diseños de investigación-

acción y los diseños mixtos, pues obtienen el 6,3 y 5,8 % del total

respectivamente.

Los diseños cualitativos y estudios correlacionales son empleados

escasamente, obteniendo frecuencias por debajo de diez casos y porcentajes

escasos del total de la investigación registrada y analizada.


330

Esta importancia de los diseños descriptivos y cuasi-experimentales en el

tópico de la investigación sobre evaluación de programas educativos, queda

reflejada en el siguiente gráfico de sectores.

En un análisis individual de los diseños específicos, sin considerar los

mencionados estudios en los que no se registra el diseño, que obtienen la más alta

f, el más utilizado es el de tipo encuesta o survey (f=26) y los que emplean dos

grupos, siendo el de control equivalente, y una toma de datos pretest-postest

(f=22).

Con frecuencias entre diez y veinte, que suponen porcentajes entre el cinco

y siete por ciento se encuentran: los diseños de un solo grupo y pretest-postest

(f=15), la investigación-acción (f=13), los diseños experimentales con G.E./G.C.

en pretest-postest y los diseños eclécticos o mixtos (ambos f=12). Los diseños

cuasi-experimentales con G.E./G.C. no equivalente en pretest-postest, alcanzan

los once casos (f=11).

Gráfico 8.17. Porcentajes de tipos de diseño de investigación empleados en la muestra estadiada.

20%

1%

10%

26%

10%

4%

6%

6%

17% Descriptivos

Correlacionales

Preexperimentales

Cuasiexp.

Experi.

Cualitativos

IA

Mixtos

NR o NI


331

En un intervalo menos de frecuencias entre cinco y ocho se encuentran los

estudios con diseños cuasi-experimentales con G.E./G.C. no equivalente con solo

postest (f=8); los estudios descriptivos sobre el desarrollo, estudios exploratorios

y los estudios de N=1, obtienen cada uno una frecuencia de 7. Los diseños

factoriales y los pre-experimentales de un solo grupo con postest (f=6 y f=5).

El resto de diseños de investigación, f<3, y que suponen porcentajes muy

escasos del total de los diseños registrados puede consultarse en la mencionada

tabla. Y en el gráfico 8.19. en el que se ordenan de mayor a menor porcentaje de

uso.

Utilizando el código de color del gráfico 8.17 para los distintos tipos de

modelos y la codificación asignada en la tabla 8.28 a cada modelo específico, esta

descripción gráfica muestra claramente una mayor disposición, en la ordenación

por porcentajes, de los modelos descriptivos y cuasi-experimentales a ocupar los

lugares de frecuencia más alta. Y a los de tipo cualitativo y correlacionales los

destinados a los de frecuencia más bajas.


332

Tabla 8.28. Diseños de investigación.

TIPO DISEÑOS Cod. f fp % %p

Tipo encuesta o survey DES 26 12,5

Estudios exploratorios DEX 7 3,4

Estudios analíticos en profundidad DAP 3 1,4

Estudios observacionales DEO 0 -

Descriptivo

Estudios sobre el desarrollo DED 7

43

3,4

20,7

Estudios comparativo causales 1 RCC 0 -

Estudios correlacionales/explicativos REC 1 0,5 Correlacional

Estudios predictivos REP 0

1

-

0,5

De un solo grupo con postest PGP 5 2,4 Preexperimental

De un solo grupo con pretest-postest CEO 15 20

7,2 9,6

Con dos grupos (GC no equivalente) y

postest CEJ 8 3,8

Con dos grupos (GC equivalente) y postest CEP 2 1

Con dos grupos (GC no equivalente) y

pretest-postest CST 11 5,3

Con dos grupos (GC equivalente) y pretest-

postest CCP 22 10,6

Series temporales CLB 3 1,4

Jerárquico EGP 3 1,4

Cuasiexperimental

N=1 EPP 7

56

3,4

26,9

Con dos grupos (GE y GC) y postest EM

G 1 0,5

Con dos grupos (GE y GC) y pretest-postest EDF 12 5,8

Con múltiples grupos y pretest-postest AUE 1 0,5

Experimental

Diseños factoriales ACM 6

20

2,9

9,6

Estudio de casos AET 3 1,4

Estudio de casos múltiples CIA 3 1,4 Cualitativo

Estudios etnográficos MIX 2

8

1

3,8

Crítico/cooperativo Investigación-acción 13 13 6,3 6,3

Flexible/Mixto 12 12 5,8 5,8

NR o NI 35 35 16,8 16,8

TOTAL 208 208 100 100

1: Ex post facto


333

Se puede constatar la ausencia de diseños contrabalanceados muy útiles

en la comparación de tratamientos, y el abuso de diseños de tipo descriptivo,

centrados en el estudio de alguna faceta concreta del programa evaluado.

Por tanto como inferencia evaluativa global se puede destacar el empleo

de diseños de investigación, que con ciertas debilidades, puedan hacer

cuestionables la búsqueda de relaciones causales.

Gráfico 8.18. Diseños de investigación ordenados por % de utilización.

0 2 4 6 8 10 12 14

DES

CEP

PPP

CIA

MIX

EPP

CEJ

CEN

DEX

DED

CLB

EDF

PGP

DAP

CST

CCP

AUE

ACM

AET

CEO

REC

EGP

EMG

Experimental

Correlacional

Cualitativos

Cuasiexperimtal

Descriptivo

Preexperimental

Mixtos

IA

0.5% X 3

1% X 2

1,4% X 5

2,4%

2,9%

3,4% X 3

3,8%

5,3%

5,8% X 2

6,3% 7,2%

10,6%

12,5%


334

8.5.2. Temporalización de los diseños de investigación.

En el apartado anterior referido a los diseños de investigación, son 63 los

estudios que se definen como pretest-postest, lo que supone una condición mínima

para su consideración como de carácter longitudinal. Así el registro de esta

categoría debería como mínimo poseer Una frecuencia mayor de 63 (f> 63). Sin

embargo, se obtiene un valor mucho más alto, con un porcentaje del 63% como

puede apreciarse en la tabla 8.29. que alcanza la mayoría de los registros.

Tabla 8.29. Temporalización de los diseños de investigación.

TEMPORALIZACIÓN f fa % %a

Longitudinales 131 131 63 63

Transversales 29 160 13,9 76,9

Mixtos 32 192 15,4 92,3

NR o NI 16 16 7,7 100

TOTAL 208 100

Los estudios mixtos o con un diseño de temporalidad ecléctica y los

transversales, con frecuencias que suponen menos de la cuarta parte de la

categoría anterior y separadas escasamente entre ellas (f mixtos – f transversales = 3),

alcanzan porcentajes similares del 15,4 y 13,9%, respectivamente.

El número de estudios en los que no se registra la temporalidad de su

diseño o no puede inferirse ésta por las informaciones que ofrecen sus informes de

investigación es comparativamente limitado, pues las categorías anteriores ya

explican un porcentaje acumulado mayor del 92% (%a > 92), y sólo alcanza algo

más del 7% del total de los 208 estudios revisados.

Este patrón temporal de los diseños de investigación queda patente en su

distribución porcentual en el gráfico 8.19.


335

Aunque está estipulado por la comunidad científica y socialmente

aceptado, que un estudio con dos observaciones ya posea un carácter longitudinal,

desde el punto de vista del rigor metodológico debería ser ciertamente discutible.

8.5.3. Agentes evaluadores.

La racionalidad en la que se sustenta la consideración de esta variable en el

epígrafe del diseño de las investigaciones, queda patente en la definición previa d

e las variables de este estudio de síntesis.

Si bien, puede considerarse ésta una información que puede arrojar cierta

luz sobre cualquier diseño de investigación, en el campo de la evaluación de

programas, es una característica que facilita enormemente la delimitación

epistemológica de su fundamentación, el modelo evaluativo empleado y en

consecuencia los diseños de investigación que pudieran, al menos a priori,

parecer más oportunos.

Gráfico 8.19. Temporalidad de los diseños de investigación .

63%13,9%

15,4%

7,7

LongitudinalTransversalMixtoNR o NI


336

Precisando los datos obtenidos en la distribución de datos, como queda

reflejado en la tabla 8.30, la mayoría de estudios (53,4%), están realizados por

expertos/agentes externos a las instituciones u organismos a las que pertenecen los

usuarios sobre los que se implementan los programas considerados.

Tabla 8.30. Agentes evaluadores/investigadores.

AGENTES EVALUADORES f fa % %a

Agentes externos 111 111 53,4 53,4

Implementadores 28 139 13,5 66,8

Usuarios 8 147 3,8 70,7

Mixtos 40 187 19,2 89,9

NR o NI 21 208 10,1 100

TOTAL 208 100

El segundo lugar, en orden descendente de frecuencia registrada, lo

ocupan las evaluaciones de programas realizadas mediante la colaboración de

varios de los agentes considerados en el resto de categorías consideradas y

registradas como “mixto”, que abarcan el 19,2%.

Más escasos son aquellos estudios en los que los investigadores o

evaluadores de los programas son los mismos que llevan a acabo su

implementación, puesto que tan sólo abarcan algo más del 13%; o aquellos que no

registran o indican en su informe los agentes evaluadores, pues se refieren tan sólo

a algo más del 10% al explicar las categorías anteriores casi un 90% de la

frecuencia.

Realmente revelador puede considerarse el dato, que en tan sólo el 3,8%

del total de las evaluaciones se estime a los usuarios como principal agente

evaluativo.


337

Estos datos están en consonancia con la metodología y los modelos

evaluativos más empleados en las investigaciones sobre E.P., como se describe

con anterioridad en sus respectivos epígrafes. Puesto que las metodologías

fundamentalmente cuantitativas y las evaluaciones desarrolladas mediante

modelos de corte objetivista, plantean procesos evaluativos en los que los agentes

externos juegan el principal papel.

8.5.4. Amenazas a la validez de los diseños y mecanismos de

control.

Los factores y variables bajo las que se puede ver amenazado el diseño de

las investigaciones son múltiples y variados, no especificando en la mayoría de

los informes revisados su naturaleza concreta y las oportunas medidas destinadas

a su control. Por ello, en el registro de estas variables, se ha optado por la

simplificación dicotómica que permita un mejor y operativo tratamiento conjunto

de datos.

Gráfico 8.20. Agentes evaluadores.

53,4

10,1

19,2

3,8

13,5

Agentes externosImplementadoresUsuariosMixtoNR o NI


338

Tabla 8.31. Amenazas al diseño de investigación y control.

AGENTES EVALUADORES f fa % %a

Plantea amenazas y su control 25 25 12 12

Plantea amenazas pero no su control 11 36 5,3 17,3

No plantea amenazas ni su control 172 208 82,7 100

TOTAL 208 100

Como puede apreciarse en los resultados expuestos en la tabla anterior,

una altísima frecuencia que corresponde a más del 82% de los trabajos revisados

no plantea amenazas a su diseño de investigación y por tanto no considera

mecanismos para controlar éstas.

Aunque en un escaso 17,3% de los casos se consideran posibles

amenazas a sus diseños investigativos, sólo en un 12% de éstos se plantean

medidas para su control.

Esta escasez en el planteamiento de amenazas de los diseños de

investigación y la toma de medidas para su control, denota un seguimiento

mecánico de los diseños previamente establecidos por parte de los investigadores,

sin plantearse este tipo de cuestiones que serían proclives de control mediante

técnicas adicionales.

Gráfico 8.21. Planteamiento y control de amenazas al diseño.

82,7%

12%5,3%

Plantea amenazas y su control

Plantea amenazas pero no su control

No plantea amenazas ni su control


339

8.6. CRONOLOGÍA DE LAS ACTUACIONES.

Para describir la cronología de las actuaciones realizadas mediante la

investigación sobre la evaluación de programas, se considera tanto el seguimiento

evaluativo que se realiza de éste, como la duración de la implementación del

programa al que se refiere dicha evaluación (ver Anexo 10).

8.6.1. Seguimiento evaluativo.

En la siguiente tabla 8.32 se reflejan las frecuencias y porcentajes de los

estudios que realizan evaluaciones de programas, distinguiendo los momentos en

los que se plantea o abarca este proceso evaluativo.

Tabla 8.32. Seguimiento evaluativo del programa. Momentos f fa % %a Durante su implementación 63 63 30,3 30,3 Posteriormente (tras la implementación) 18 81 8,7 38,9 Durante su implementación y posteriormente 47 128 22,6 61,5

NR o NI 80 208 38,5 100

TOTAL 208 100

Aunque en conjunto la mayoría de los informes revisados reflejan los

momentos en los que se realizan un seguimiento evaluativo del programa (%a =

61,5%); individualmente la categoría de los que “no lo realizan o lo indican” es la

que posee mayor frecuencia y porcentaje (% = 38,5%).

Considerando exclusivamente tales momentos evaluativos en orden de

frecuencia, lo más habitual en la distribución de datos obtenida describe

momentos evaluativos referidos a la implementación del programa

exclusivamente (%a = 30, 3%), seguido por las evaluaciones que se plantean tanto

durante la implementación del programa como posteriormente (%a = 22, 6%).


340

Las evaluaciones sumativas a posteriori solo ocupan el 8,7 % del total de

los 208 estudios considerados en la muestra.

En general parece contemplarse un escaso seguimiento del programa y una

falta de preocupación por el impacto de éste. Es decir, las investigaciones

evaluativas suponen segmentos temporales momentáneos no planteando

actuaciones a largo plazo.

8.6.2. Duración de la implementación.

Definir explícita y exactamente el tiempo global empleado en la

realización de la evaluación de un programa es una tarea enormemente compleja.

Por ello, en la mayoría de informes de investigación se refleja la duración de la

implementación del programa como factor temporal, que con reservas, delimite la

simplicidad/complejidad de las actuaciones realizadas. Tal inferencia podría

igualmente aplicarse, con mayores precauciones si cabe, a la evaluación de éste.

Gráfico 8.22. Porcentaje de los momentos de evaluación.

38,5

22,6

8,7

30,3ImplementaciónPosteriormente (tras la implementación).Implementación y posteriormenteNR o NI

PROGRAMA


341

Tabla 8.33. Duración de la implementación de los programas evaluados. DURACIÓN f fa % %a

Hasta una hora 1 1 0,5 0,5 Duración en intervalos de horas 53 54 25,5 26 Un curso académico 19 73 9,1 35,1 Dos cursos académicos 7 80 3,4 38,5 Más de dos cursos 7 87 3,4 41,8

NR o NI 121 194 58,2 100

TOTAL 208 100

La duración de la implementación de un programa parece un dato

fundamental en la elaboración de un informe de evaluación de éste. Sin embargo,

la frecuencia de los informes que no presentan o registran este dato no es sólo la

mayor de todas las categorías consideradas, sino que incluso supera ampliamente

la f acumulada por el resto de categorías referidas a los informes que si lo explicitan

(f = 194 > fa = 87).

La siguiente categoría de consideración temporal que se presenta como

más común es la referida los programas cuya duración se puede registrar en

intervalos de horas, pues son los que obtienen una mayor frecuencia, alcanzado

algo más de la cuarta parte del total (25,5%).

Así, considerando sólo los informes de evaluación en los que este dato

resulta accesible, que ascienden a 53 como queda reflejado en la tabla anterior, se

puede calcular el promedio de horas que resulta para la implementación de los

programas.

Promedio de implementación = 2242 / 53 = 42,3 horas/programa.

Estas dos categorías analizadas anteriormente ya explican conjuntamente

el 83,7% de la frecuencia, quedando porcentajes escasos para el resto. Los

programas cuya duración abarca un curso académico suponen el 9, 1 %, y los que

abarcan dos o más de dos obtienen, a partes iguales, un 6,8% conjuntamente.


342

Es decir la mayoría de las evaluaciones se refieren a programas de corta

duración, con implementaciones referidas a intervenciones puntuales.

Gráfico 8.23. Porcentaje de programas según duración de su implementación.

3,4

3,4

25,5

0,5

58,2

41,99,1

0 10 20 30 40 50 60

hasta 1 hora

x horas

1 curso

2 cursos

+2 cursos

NR o NI


343

8.7. ANÁLISIS DE DATOS.

Partiendo de las informaciones registradas en el Anexo 8.2, se

caracterizan los procesos de tratamiento y análisis de datos en las evaluaciones de

programas revisadas. Para ello se describen las unidades básicas sobre los que se

analizan los datos, los estadísticos empleados para ello, si se adelantan valores

esperados o los obtenidos se comparan con criterios externos y si estos procesos

se basan en triangulaciones.

8.7.1. Unidades primarias de análisis.

Las unidades de análisis sobre las que se analizan los datos empleando

los procedimientos y técnicas que se describen en los siguientes epígrafes son los

destacados en la tabla 8.34.

Tales unidades se han agrupado en tres ámbitos: los referidos a

individuos (sujetos, alumnos, profesores o padres), los relativos a diversos

agrupamientos de personas y circunstancias en las que se implementa un

programa posteriormente evaluado (grupos y clases); en sentido más amplio,

unidades de análisis que abarcan Centros o Instituciones completas, y aquellas que

careciendo de entidad personal/institucional se refieren al propio programa

evaluado.

Tabla 8.34. Unidades primarias para el análisis de datos. Ámbitos f fa % %a Sujetos, alumnos, profesores, padres 179 179 75,5 75,5

Grupos, clases y sus contextos 17 196 7,2 82,7

Centros e instituciones 16 212 6,8 89,5

Programas, proyectos y planes, investigaciones primarias. 15 227 6,3 95,8

NR o NI 10 237 4,2 100

TOTAL 237 100


344

Exceptuando la categoría en la que no se registra o indica la unidad de

análisis, la suma de frecuencias de todas las categorías alcanza un valor mayor

que el total de la muestra de trabajos revisados (Σ f =237 > N = 208). Sin

embargo es ésta una escasa diferencia, que al disponer en cociente para elaborara

el promedio de unidades tomadas por estudio revisado, alcanza un valor muy

cercano a la unidad.

Promedio = 237 / 208 = 1,13 unidades / trabajo.

Las unidades de análisis más usuales para el análisis de datos son, de

forma muy amplia, las referidas a individuos pues su frecuencia es mayor que la

suma del resto de categorías, alcanzando un porcentaje del 75, 5 % del total.

El resto de categorías, incluyendo la referida a estudios en los que no se

registra la unidad/es de análisis tomada, ofrecen porcentajes mucho menores pero

semejantes entre sí. Lo que dificulta el establecimiento de diferencias

significativas, como puede apreciarse en su representación gráfica (gráfico 8.24).

Existe por tanto escasez de investigaciones en las que unidades básicas de

análisis sean de tipo colectivo o se refieran al propio programa: Existiendo un

predominio de los análisis basados en los sujetos de referencia, usualmente

destinatarios.

Gráfico 8.24. Porcentajes de las unidades de análisis .

Sujetos: 75,5%Grupos: 7,2%Centros: 6,8%Programas: 6,3%NR o NI: 4,2%


345

8.7.2. Estadístico descriptivos.

Tras la revisión de la distribución de datos obtenida y la categorización de

los mismos, los estadísticos de carácter descriptivo empleados en los diversos

análisis de datos realizados en las investigaciones revisadas como muestra de este

estudio son los relacionados en la tabla 8.35.

Tabla 8.35. Estadísticos descriptivos. TIPO ESTADÍSTICOS f fa fp % %a %p

Frecuencias 42 42 11,5 11,5 Distribuciones Porcentajes 74 116

116 20,2 31,7

31,7

Media 72 188 19,7 51,4 Mediana 3 191 0,8 52,2 Tendencia Central Moda 6 197

81

1,6 53,8

22,1

Desviación Típica 44 241 12 65,8 Error Típico 3 244 0,8 66,7 Varianza 9 253 2,5 69,1 Puntuación Típica 4 257 1,1 70,2 Rango 5 262 1,4 71,6

Valores máximos y mínimos

10 272 2,7 74,3

Variabilidad

Cuartiles y percentiles 2 274

77

0,5 74,9

21

Asimetría 4 278 1,1 76 Índices Tamaño del Efecto 3 281

7 0,8 76,8

1,9

NR o NI 70 351 70 19,1 95,9 19,1 Otros 15 366 15 4,1 100 4,1

TOTAL 366 366 100 100

Atendiendo al número total de estadísticos empleados por todos los

estudios revisados y el número de éstos, se establece el coeficiente medio que

indica su relación.

Promedio de estadísticos = 351 /208 = 1, 7 estadísticos descriptivos/ trabajo.

Resulta un índice moderado, que no alcanza el empleo de dos estadísticos

por trabajo, en una distribución de datos que abarca un intervalo con valores

máximos de 9 estadísticos y mínimos de 0. Comparativamente importante es el

número de trabajos en los que no se registra o indica los estadísticos descriptivos


346

empleados (f = 70 y %= 19,9), ya sea por la “no pertinencia” de su uso o por la

escasez de informaciones que ofrece el informe de investigación.

Mediante el análisis parcial por tipos de estadísticos empleados, se puede

comprobar que el mayor porcentaje se refiere a aquellos que estudian y delimitan

las distribuciones de datos. Esta categoría, constituida por frecuencias y

porcentajes, supone el 31, 7% de los estadísticos empleados.

Son semejantes el número de estudios en los que emplean estadísticos de

tendencia central y de variabilidad, pues ambas categorías están entorno al 21-

22% del total. Y poco significativo es el uso de índices, como los de asimetría y

dificultad, pues se recurre a su empleo en escasas ocasiones de la distribución de

datos analizada.

El análisis individual del uso de estadísticos concretos, apoyado en el

Gráfico 8.26, muestra un alto uso de los porcentajes y el valor medio entorno al

21%.

Descartando la categoría referida a aquellos que no registran o indican

los estadísticos empleados, los siguientes estadísticos en uso serían la desviación

típica y la frecuencia entorno al 12 % de los casos cada una.

El resto de estadístico reseñados en la tabla anterior y representados en el

siguiente gráfico son escasamente empleados, pues obtienen frecuencias

comparativamente bajas y porcentajes que no superan en ningún caso el 3% de los

estadísticos registrados.


347

Existe un preocupante bajo uso de un estadístico descriptivo como el

tamaño del efecto (T.E.) que permite hacer comparaciones entre grupos de

tratamiento y que según Fernández Cano et. al. (2000) debiera ser un recurso

analítico básico en evaluación de programas.

Gráfico 8.25. Clasificación del uso de estadísticos descriptivos.

21,1

20,5

19,9

12,5

12

2,8

2,6

0,9

1,1

1,4

1,7

0 5 10 15 20 25

Porcentajes

Media

NR o NI

Desv. Tip.

Frecuencia

Max y Min.

Varianza

Moda

Rango

Puntuación Típ.

Asimetría

Mediana

Error Típ.

T.E.

Cuartiles y Percentiles

Cuartiles y Percentiles

Mediana

Asimetría

Frecuencia

Variabilidad 22,8 %

Tend. Central 23, 1

Índices 1,1

Distribuciones 33


348

8.7.3. Estadísticos correlacionales y multivariados.

Utilizando un procedimiento y representación semejante a la empleada en

el epígrafe anterior, pero refiriéndose en este caso los datos a los estadísticos

correlacionales y multivariados, se obtienen las frecuencias y porcentajes

especificadas en la tabla 8.31 y representadas en el gráfico 8.26.

Tabla 8.31. Estadísticos correlacionales y multivariados. TIPO ESTADÍSTICOS f fa fp % %a %p

r de Pearson 11 11 5,1 5,1 C de contingencia 1 12 0,5 5,6 Phi 2 14 0,9 6,5 V de Cramer 1 15 0,5 6,9

Bivariados

Alfa de Cronbach 6 21

21

2,8 9,7

9,7

Regresión múltiple 6 27 2,8 12,5 Análisis Factorial 8 35 3,7 16,2 Análisis Discriminante 2 37 0,9 17,1 Análisis de Conglomerados 1 38 0,5 17,5

Multivariados

W Kendall 1 39

18

0,5 18

8,3

NR o NI 178 217 178 82,4 100 82

TOTAL 217 216 100 100


estudios revisados y el número de éstos, se establece el coeficiente medio que

indica su relación.

Prom. estadísticos = 178 /208 = 0,85 estadísticos correlacionales / trabajo.

Se obtiene un valor inferior que el caso de los estadísticos descriptivos,

que aparecen por tanto con una utilización más usual en la distribución de datos,

alcanzado el empleo de prácticamente un estadístico por trabajo, en una

distribución de datos que abarca un intervalo con valores máximos de 4

estadísticos y mínimo de 0.


349

En este mismo sentido, todavía es mayor que en los estadísticos

descriptivos, el número de trabajos en los que no se registra o indica los

estadísticos empleados. Esta frecuencia es ampliamente mayor que la frecuencia

acumulada por el resto de categorías referidas al empleo de algún estadístico

correlacional concreto (f = 178 > fa =39), ocupando la mayoría de los casos (%=

82).

En este resto de categorías, con un escaso 18% conjuntamente, se

aprecia un mayor uso de los estadísticos correlacionales bivariados frente a los

multivariados, aunque también con unas escasas diferencias.

Mediante el análisis individual de uso de cada estadístico registrado se

comprueba una mayor utilización del momento r de Pearson (5,1%) seguido por

el Análisis Factorial (3,7%), El coeficiente alfa (α) de Cronbach y Regresión

Múltiple, en un intervalo cada uno de entre (2,8).

El resto de estadísticos obtienen porcentajes de uso inferiores al 1%,

quedando patente su escasa importancia en esta distribución de datos en la

representación comparativa y ordenada con el resto mediante el gráfico 8.28.


350

Gráfico 8.26. Clasificación del uso de estadísticos correlacionales y multivariados.

82,4 %

0,5%

0,9%

2,8%

3,7%

5,1%

0 1 2 3 4 5 6

NR o NI

r de Pearson

Análisis Factorial

Alfa de Cronbach

Regresión múltiple

Phi

Análisis Discriminante

C de Contingencia

V de Cramer

W Kendall

Análisis de Conglomerados

Regresión múltiple

Alfa de Cronbach

NR o NI

Multivariados

Bivariados


351

8.7.4. Estadísticos Inferenciales.

Siguiendo con el mismo proceso de registro, categorización y

representación para el análisis de datos empleado en los dos anteriores epígrafes,

lo resultados obtenidos para los estadístico inferenciales se representan en la

Tabla 8.37.

Tabla 8.37. Estadísticos inferenciales Tipo y estadístico empleado f fp % %p

z normal 10 3,4

t de Student 33 11,1

Simple 60 8,4 ANOVA

Factorial 6 13,8

ANCOVA 18 6

MANOVA 5 1,7

Paramétricos

MANCOVA 2

134

0,7

45

Kruskal-Wallis 4 1,3

Q de Cochran 3 1

T de Wilcoxon 8 2,7 U de Mann-Whitney 6 2

No paramétricos

Chi cuadrado 19

41

6,4

13,8

T de Barlett 1 0,3

Prueba de Kolmgorov-Smirnov 1 0,3

Prueba A de Sandler 1 0,3 Probabilidad de Mantel-Haenzel 1 0,3

Bondad de ajuste y verificación de supuestos.

T de Fisher 2

6

0,7

2

Método de Scheffé 7 2,3 Comparación múltiple Prueba de Tukey 1

8 0,3

2,7

NR o NI 109 109 36,6 36,6

TOTAL 297 297 100 100


estudios revisados y el número de éstos, exceptuando lógicamente la categoría en

la que no se registran o indican, se establece el coeficiente medio que indica su

relación.

Prom. estadísticos = 109 /208 = 0, 52 estadísticos inferenciales / trabajo.


352

Este promedio de uso de los estadísticos inferenciales, que alcanza el uso

promedio de 0,5 estadísticos por trabajo revisado, es más bajo que el de los

descriptivos, pero también que el de los estadísticos correlacionales/multivariados.

En un intervalo de uso que abarca entre cero y siete estadísticos empleados como

valores mínimo y máximo.

Analizando parcialmente las frecuencias y porcentajes en los distintos

tipos en que se agrupan los estadísticos inferenciales, se puede observar una

frecuencia más amplia en caso de los estadísticos paramétricos que suponen el

45% del total.

En orden decreciente de frecuencia, se encuentran a continuación, todos

aquellos casos en los que no se registra, indica o especifica el estadístico

inferencial empleado que alcanzan algo más del 36%. Y con un valor de

frecuencia inferior a la mitad (13,8%) de los anteriores es el referido a los

estadísticos inferenciales no paramétricos.

Comparativamente escasos son los valores obtenidos por los estadísticos

de comparación múltiple y los empleados en la comprobación de la bondad de

ajuste y verificación de supuestos, que suponen respectivamente el 2, 7 y 2 % del

total.

En el análisis de cada estadístico por medio de su frecuencia individual la

frecuencia y porcentaje más alto es el referido a los casos en los que no se

especifica el estadístico, con el porcentaje anteriormente especificado. Seguido

por el ANOVAsimple y la t de Student con un 20,2 y 11,1 % respectivamente.

El resto de porcentajes se encuentra enormemente disperso por los demás

estadísticos registrados, con valores inferiores en todos los casos al 10%. Su

ordenación e interpretación, queda facilitada por la clasificación por porcentaje de

uso plasmada en el gráfico 8.27.


353

��

Gráfico 8.27. Clasificación porcentual del uso de estadísticos inferenciales.

22

20,2

11,1

6,4

6,1

3,4

2,7

2,4

2

2

1,7

1,3

1

0,7

0,7

0,3

0,3

0,3

0,3

0,3

0 5 10 15 20 25

NR o NI

ANOVA simple

t de Student

Chi

ANCOVA

z normal

T Wilcoxon

Scheffé

U Man-Whitney

ANOVA factorial

MANOVA

Kruskal-Wallis

Q de Cochran

MANCOVA

T Fisher

T Barlett

K_Smirnov

A Sandler

Mantel-Haenzel

Tukey

T Fisher

MANCOVAKruskal-WallisScheffé

��NR o NI

TIPO DE ESTADÍSTICO: Bondad de ajuste y verificación de supuestos Paramétricos No paramétricos Comparación múltiple NR o NI


354

8.7.5. Análisis Cualitativo.

Los estudios de la muestra revisada que realizan análisis de carácter

cualitativo con los datos que han recogido son escasos, pues tan sólo suponen una

fa de 34 del total de 210 registrados (16,2 %), como queda registrado en la Tabla

8.38. Sin embargo, los casos en los que no se registra o indica este tipo de análisis

alcanzan una frecuencia de 176 (83,8%).

Tabla 8.38. Análisis cualitativos de datos. Tipo f fa % %a

sin especificar 17 17 8,1 8,1 del discurso 8 25 3,8 11,9 ANÁLISIS DE CONTENIDO

de protocolo o documento 3 28 1,4 13,3 NARRACIÓN análisis narrativo 1 29 0,5 13,8 ANÁLISIS DESEMPEÑO análisis de tareas 3 32 1,4 15,2

mapas de contenido 1 33 0,5 15,7 SEMIOLOGÍA GRÁFICA

diagramas de flujo 1 34 0,5 16,2

NR o NI 176 210 83,8 100,0

TOTAL 210 100

En un primer análisis del cómputo total, la suma de los casos registrados

es mayor que la muestra considerada (Σ f = 210 > N = 208). Para calcular el

promedio de empleo de este tipo de análisis es necesario considerar tan sólo los

casos de utilización, no considerando la categoría “NR o NI”.

Promedio = 34/208 = 0,16 análisis cualitativos /estudio.

Este valor, de 0,16 análisis cualitativo por estudio en la muestra, es el

promedio más bajo de todos los considerados hasta ahora y referidos tanto a los

estadísticos descriptivos, correlacionales o multivariados, como a los de carácter

inferencial.

Considerando tan sólo las categorías referidas al empleo afirmativo de

estos análisis, se puede comprobar que la mayoría de ellas obtienen escasas


355

frecuencias y porcentajes poco significativos. Tan sólo destaca el análisis de

contenido que alcanza una %a del 13,3 %.

El gráfico 8.28, muestra la ordenación por porcentajes de uso, en la

muestra considerada, de este tipo de análisis.

Se muestra por tanto un escaso uso de procedimientos analíticos de

naturaleza cualitativa en las investigaciones revisadas.

Gráfico 8.28. Clasificación del uso de análisis cualitativos.

8,1%

3,8%

1,4%

0,5%

82,4 %

0 1 2 3 4 5 6 7 8 9

NR o NI

AC sin especificar

AC del discurso

AC del protocolo

AD de tareas

AN

SG mapas de contenido

SG diagramas de flujo

SG: Semiología gráfica. AN: Análisis narrativo. AD: Análisis del desempeño. AC: Análisis de contenido. NR o NI: No registra o no indica.


356

8.7.6. Valores o estándares externos de comparación.

En la evaluación de los programas y de forma más concreta en la de sus

resultados, parece lógica la consideración de criterios o estándares que permitan

una valoración comparativa y mejor apreciación de os efectos del programa

evaluado.

Tales criterios pueden poseer naturalezas y orígenes diversos. Así por

ejemplo, en diseños de temporalidad longitudinal en los que se realicen varias

pruebas a lo largo de un periodo temporal, los datos comparativos podrían

considerarse intrínsecamente a la evaluación o investigación inmediata del propio

programa. Y en otro sentido de forma externa, tales patrones valorativos pueden

tomarse de evaluaciones previas, programas afines o investigaciones semejantes

que permitan comparaciones científicamente aceptables.

Como muestra la tabla 8.39, en una gran mayoría cercana al 90% de los

208 casos considerados en la muestra no se registran o indican valores o

estándares externos de comparación. Siendo un escaso 10,6 % el de los casos que

si los contemplan.

Tabla 8.39. Valores o estándares externos de comparación. Criterios f fa % %a Si utiliza, pero no especifica 4 4 1,9 1,9 Si utiliza (cualitativos): Niveles básicos de referencia curricular, otros programas, literatura especializada.

10 14 4,8 6,7

Si utiliza (cuantitativos): Puntuaciones típicas, notas de corte.

8 22 3,8 10,6

NR o NI 186 208 89,4 100

TOTAL 208 100

El análisis de esta escasa y restante frecuencia, muestra que los patrones

externos más empleados se refieren a niveles básicos de referencia curricular,

otros programas o a la literatura especializada. Es decir aspectos que, aunque

basados en las experiencias previas, se delimitan en los criterios cualitativos que

guían la práctica evaluativa o experiencia considerada.


357

A continuación valores, con una naturaleza eminentemente cuantitativa,

como puntuaciones típicas y notas de corte establecidas con respecto a normas

externas. Y aquellos en los que afirman emplearlos, pero no ofrecen la

información necesaria en su informe de investigación como para inferir tal dato.

El alto porcentaje de trabajos en los que no se contrastan los datos con

valores o estándares externos, denota investigaciones en las que las

comparaciones quedan poco fundamentadas.

8.7.7. Triangulación.

Los aspectos de una investigación sobre los que se puede establecer

triangulación son diversos. Tras una primera aproximación al análisis de la

distribución de datos referida a esta variable y obtenida de la muestra considerada,

se establecen las categorías mostradas en la tabla 8.40 y que agrupan diversos

aspectos sobre los que tales investigaciones triangulan.

Gráfico 8.29. Porcentaje de uso de valores o estándares externos de comparación.

Si, pero no especifica: 1,9%

Sí, Cualitativos: 4,8%

Sí, Cuantitativos: 3,8%

NR o NI: 89,4%


358

Tabla 8.40. Elementos sobre los que se realiza triangulación en las investigaciones revisadas. Elementos f fa % %a

Fuentes de datos: sujetos, audiencias... 26 26 11,8 11,8

Instrumentos: registros, evaluadores... 41 67 18,6 30,3

Técnica: Disciplinas, metodologías, análisis... 14 81 6,3 36,7

Temporal: Momentos de medida1... 13 94 5,9 42,5

NR o NI 127 221 57,5 100 TOTAL 221 100

1: Esta triangulación supone al menos 3 ó más momentos de medida. No confundir con diseños longitudinales que en su mayor parte tan sólo se basan en dos.

La mayoría de estudios no considera la triangulación de elemento alguno,

no lo registra en su informe de investigación o no ofrece información explícita de

la que puede inferirse, en un porcentaje del 57,5% frente al 42,5% que si realiza

algún tipo de triangulación.

En éstas últimas el elemento más usual de triangulación se refiere a

instrumentos de recogida de datos o evaluadores que realizan tales registros, en un

18,6%. Y a las fuentes de las que se obtienen estos datos, en un 11,8 % de los

casos.

Los otros dos campos de elementos sobre los que se realizan

triangulaciones y que suponen individualmente porcentajes cercanos al 6%, se

refieren a aspectos técnicos y temporales de las investigaciones. Incluyendo en los

primeros técnicas, disciplinas o metodologías; y en los segundos, momentos de

medida de datos.


359

La escasez del uso de la triangulación, en los aspectos señalados, es

muestra de la debilidad metodológica de muchas de las investigaciones sobre E.P.

Pues éste es uno de los mecanismos más usuales para conseguir una mayor

fiabilidad de las observaciones, consistencia en los diseños y complementariedad

en las técnicas empleadas.

8.8. DECISIONES TRAS LA EVALUACIÓN.

Gran parte del sentido otorgado a la investigación evaluativa en el campo

de la evaluación de programas, reflejado en las definiciones teóricas que se

plantean de esta disciplina, delimitan una orientación hacia la toma de decisiones.

Así tras la investigación, que permite elaborar juicios de valor sobre el

mérito o valía del programa, juicios refrendados por los datos obtenidos mediante

procedimientos aceptados por la comunidad científica. Y partiendo de los

resultados concedidos a la efectividad/adecuación del programa, los principales

ámbito de decisión se centran en las medidas de modificación y continuidad del

programa evaluado.

Gráfico 8.30. Porcentaje de uso de elementos de triangulación.

2% 5%4%

89%

Si, pero no especifica

Sí, teóricos

Sí, prácticos

NR o NI


360

Los datos referidos a todos estos aspectos quedan registrados en

frecuencia y porcentaje en la siguiente Tabla 8.41.

Tabla 8..41. Frecuencias y porcentajes de decisiones tras la evaluación.

CONTINUIDAD Aspectos de decisión Si No NR o NI

DECISIÓN

Mod

ifica

r

No

mod

ifica

r

NR

o N

I

Mod

ifica

r

No

Mod

ifica

r

NR

o N

I

Mod

ifica

r

No

Mod

ifica

r

NR

o N

I

TOTAL

Positivos 59 (28,4%)

2 (1%)

22 (10,6%)

2 (1%)

- 1

(0,5%) 17

(8,2%) -

65 (31,3%)

168 (80,8%)

Neutros 3 (1,4%)

- - - - - - - 3

(1,4%) 6

(2,9%)

Negativos 5 (2,4%)

- - - - - - - - 5

(2,4%)

RES

ULT

AD

OS

NR o NI 4 (1,92%)

- 1

(0,5%) - - -

2 (1%)

- 22

(10,6%) 29

(13,9%)

TOTAL 96 (46,2%)

3 (1,4%)

109 (52,4%)

208 (100%)

Una amplia mayoría, mayor del 80%, de las investigaciones declaran

resultados positivos de los programas tras su evaluación. Siendo muy escasa la

frecuencia de las que asumen otros resultados, destacan las que no registran o

indican resultados del programa tras su evaluación, con un porcentaje del 13,9%

comparativamente más alto que el resto.

Sin embargo en cuanto a su continuidad, la mayoría de los estudios no

hacen referencia a ésta en el informe de investigación de forma explícita (52,4%),

aunque con un porcentaje próximo se categorizan aquellas en las que este registro

es positivo (46,2%). Tan sólo son tres los estudios que tras la evaluación del

programa declaran la “no continuidad” de éste.

Mediante el análisis individualizado de cada categoría se aprecia que las

decisiones más usuales son las que basadas en unos resultados positivos, no

declaran continuidad ni decisión de modificación alguna (31,3%). Seguida de

cerca por la referida a aquellas que también partiendo de la declaración de


361

resultados positivos, propugna su continuidad previa modificación y mejora de

ciertos aspectos del programa o de su implementación.

En un nivel de frecuencia inferior se encuentran las evaluaciones que

siendo sus resultados positivos y proponiendo su continuidad, no realizan

propuesta alguna de modificación (10,6%). Y con idéntico porcentaje, aquellas en

cuyo informe de investigación no sólo no se hace mención a los resultados

evaluativos, sino tampoco a decisiones de continuidad o modificación.

Las investigaciones en las que se declaran resultados positivos y pese no

hacer referencia alguna a su continuidad se declaran la necesidad de realizar

modificaciones alcanzan el 8,2%.

El resto de categorías que aportan datos a la distribución, que poseen

porcentajes del total escasos siempre por debajo del 2,5%, resultan ocasionales en

la investigación evaluativa acerca del tópico considerado. Esta ordenación

categorial de acuerdo al aporte de frecuencia al total de la distribución puede

apreciarse visualmente en el Gráfico 8.31.

Resulta realmente preocupante, que aunque la totalidad de trabajos

revisados se refieren a evaluaciones sobre programas concretos, existe un

porcentaje comparativamente alto (10,6%) del total de los estudios considerados,

que no plantean cuestión alguna sobre los resultados, decisiones de modificación

y continuidad.

Así unos enjuiciamientos que parecen lógicos tras la realización de un

proceso evaluativo, no se realizan en muchos de los casos. Esto puede

considerarse como una carencia grave en la realización de evaluaciones con

verdadero impacto sobre la práctica educativa.


362

Gráfico 8.31. Porcentajes de decisiones tras la evaluación del programa.

0,5%

1%

1,4%

1,9%

2,4%

8,2%

10,6%

28,4%

31,3%

0 5 10 15 20 25 30 35

Positi

vos/N

RoNI/N

RoNI

Positi

vos/S

i/Mod

ifica

r

Positi

vos/S

i/NRoN

I

NRoNI/N

RoNI/N

RoNI

Positi

vos/N

RoNI/M

odifi

car

Negati

vos/S

i/Mod

ifica

r

NRoNI/S

i/Mod

ifica

r

Neutro

s/Si/M

odifi

car

Neutro

s/NRoN

I/NRoN

I

Positi

vos/S

i/No M

odifi

car

Positi

vos/N

o/M

odifi

car

NRoNI/N

RoNI/M

odifi

car

Positi

vos/N

o/NRoN

I

NRoNI/S

i/NRoN

I

Categorias representadas por:

Resultados/Continuidad/Decisión de modificación


363

8.9. SOPORTES DE LOS PROGRAMAS EVALUADOS.

El soporte material de los programas puede determinar aspectos no sólo

relacionados con su forma de implementación, en cuanto a recursos empleados y

dinámicas establecidas. Sino que también puede determinar aspectos de su

evaluación, como el tipo de datos de los que se va a disponer o los instrumentos

más adecuados para recogerlos. En general, podría afirmarse que puede delimitar

las facilidades que el programa ofrezca para ser evaluado o su evaluabilidad.

En la tabla 8.40, se muestran las frecuencias y porcentajes de los soportes

de los programas cuyos informes de evaluación han sido tomados como muestra

de datos en este estudio. Un análisis de contenido a permitido establecer las

siguientes categorías de agrupación:

• Lápiz y papel, referida a formatos y soportes tradicionales basados en la

presentación de informaciones por medio de libros, cuadernos, folletos, etc. y

a procesos de implementación determinados por la elaboración de tareas y

cumplimentación de documentos escritos.

• Soporte electrónico y audiovisual, como principal medio de transmisión de

informaciones en la implementación/evaluación de los programas. Incluyendo

los equipos informáticos.

• Clases ordinarias: Programas que no se basan en ninguno de los soportes

materiales anteriormente señalados, sino en algunos de tipo inmaterial como

son los cursos, conferencias o trabajos en grupo.

También se incluyen en esta categoría aquellas propuestas que destacan

por su integración en el curriculum escolar, y por lo tanto pueden poseer una

naturaleza diversa y múltiple, habitualmente no declarada en los informes.


364

• Intervención. Programas en los que no se declara formato alguno para el

soporte de sus acciones, sino que éstas se engloban en una categoría general

de intervención. Se distingue entre las intervenciones psico-educativas,

usualmente desarrolladas en el ámbito escolar; y las intervenciones

asistenciales, familiares y laborales, propias del ámbito social.

Tabla 8.42 Materiales de soporte de los programas evaluados. SOPORTE DEL PROGRAMA f fa % %a

Lápiz y papel 50 50 21,8 21,8 Electrónico (audiovisual e informático) 15 65 6,55 28,4 Clases ordinarias, cursos, seminarios y técnicas de grupo, integración en el curriculum ordinario.

44 109 19,2 47,6

Intervenciones psico-educativas 75 184 32,8 80,3 Intervenciones sociales (asistenciales y familiares, laborales) 5 189 2,18 82,5

NR o NI 40 229 17,5 100

TOTAL (fa>muestra) 229 100

Como queda reflejado en estos datos ofrecidos, los programas que poseen

un soporte material concreto reflejados en las dos primeras categorías de la tabla

suponen tan sólo algo más del 28% del total. Correspondiendo 71, 6 % restante a

programas sin soporte específico.

El soporte globalmente más empleado es el que corresponde a las

intervenciones de tipo psico-educativo, seguido por el tradicional de lápiz y papel.

Destaca la alta frecuencia comparativa con el resto de categorías y similar

entre ellas (f = 40 y 44) de las acciones basadas en clases ordinarias, cursos,

seminarios, etc. y aquellas en las que no se registra explícitamente esta

información en el informe de investigación y ni siquiera la suficiente para poder

inferirla.


365

Considerando soportes concretos, los más usuales como los basados en

lápiz y papel y las clases ordinarias, agrupan conjuntamente el 94% del total de

los trabajos, por lo que se podrían considerar como los “soportes tradicionales” en

los que asiduamente se fijan las informaciones de los programas.

Los programas de soporte audiovisual e informático suponen un

porcentaje significativamente inferior del 6, 55%. Paradójicamente parece poco

generalizado el empleo de soportes basados en las tecnologías electrónicas, como

son los audiovisuales e informática, a pesar de constituir éstas los canales de

comunicación básicos en los que se sustenta la actual sociedad del conocimiento.

Siendo realmente escasas las intervenciones cuyo soporte podría

relacionarse con el ámbito social (2,18%).

Gráfico 8.32. Soporte de los programas evaluados.

2,18

32,819,2

6,55

21,817,5 Lápiz y papel

Electrónico

Clases...

Intervención psico-ed.

Intervanción social

NR o NI


366

8.3. INSTRUMENTOS DE RECOGIDA DE DATOS.digibug.ugr.es/bitstream/10481/4558/13/12-Capítulo...

Documents

Transcript of 8.3. INSTRUMENTOS DE RECOGIDA DE DATOS.digibug.ugr.es/bitstream/10481/4558/13/12-Capítulo...