Estrategias de Medición (Dembo)
-
Upload
carlos-capecchi -
Category
Documents
-
view
222 -
download
0
Transcript of Estrategias de Medición (Dembo)
-
7/23/2019 Estrategias de Medicin (Dembo)
1/9
C
U
E
R
D
O
N
T
R
E
B
S
E
R
V
D
O
R
E
S
-
W
U
a
Q
.
4
I
O
O
o
o
~
O
p
0
0
0
0
I
l
i
;
;
;
;
;
;
Dembo, m. (1983). Dos e
de Medicin en Psicologa
57
-
7/23/2019 Estrategias de Medicin (Dembo)
2/9
-
7/23/2019 Estrategias de Medicin (Dembo)
3/9
-
7/23/2019 Estrategias de Medicin (Dembo)
4/9
-
7/23/2019 Estrategias de Medicin (Dembo)
5/9
-
7/23/2019 Estrategias de Medicin (Dembo)
6/9
Encro-Junio
1983
Nos.
1-2
olumen
X
-Crear un pool de items homogneo s. Los items deben ser rr-
presentanter Igitiiiios del doniiiiio circunwrito por el esquema
descriptivo. Si bien los terns debeii tener homogeneidad deri-
vativa, no es iiecesario que teng an liomogenriclad f uncion al,
en el sentido de qu e los siijrtos los deben co nt es t~ r odos
CO-
rrectaniente o todos incorrectamente.
-Determinar la loiigitiid del test. Esto ~ u e d e epender del nivel
de competencir deseado. Si se desea, por ejeiiiplo, un nivel
de
95
o nis el test deber ser ms largo que si se exige un
5 por ciento de competencia. Tambin se toma en cuenta Ir
gravedad de una decisin equivocada en bare al test Aqui
se conteiiiplan dos posibles errores: a) Promover a1 estudian-
te a otros niveles sin tener competencia en el anterio r, b)
Retener a un estudiante en el nivel en que se encuentra cuan-
do, en redid.id, ya
L.
comprte~ite puede ser proinovido al
-Determinar los criterios a usarse para juzgar, seleccionar,
me-
jorar tems. Los criterios
a
priori estiii basadas en la aplici~-
cin del jnicio Iiumaiio sisteinitico, con el fin de determinar
si un iteni es o no congruente con el esquema descriptivo.
No
existe acuerdo an sobre los criterios empricos que podran
utilizarse. Uno de ellos podra ser un ndice de seiisitividad
a la ensefianza como, por ejemplo, la diferencia entre la pro-
porcin de iiidividuos que aprueba el item
uutri
de la ense-
tniiza la proporcin de individuos que lo aprueb a
desplis
del entrenainiento.
-Desarrollar un sistema de puiitajes que preserve informacin
sobre las tareas en las cuales el individuo muestra compeken-
cia
y
aquellas en las cuales no es competente. Los puntajes
perceptibles o los puiitajes tpicos lineales o normalizados
no son adecuados para expresar los resultados obtenidos por
un individuo en un test criterial.
Tales puntajes transformados preservan informacin acerca
de la ubicacin relativa del iiTdivid~ lo especto a un grupo
normativo de referencia, pero no proporcionan infonnacibn
acerca de las tareas que el individuo puede ejecutar.
5
Volumen Enero-juni
Estudio de confiabilidad, por el procedimiento dc test re-test, con el
fin d e determinar el porcentaje d e consiste nci~ en la decisiones.
as
decisiones se refieren al grado de competencia alcin7ado en el aominio
conductual que el test representa. (Popiiun,
197n) .
P r i m e r a d m i s ~ t r a r i d n .
Porrerdajc
dm
tiirrraridn.
Por =nr.ijede JY ; P ; O J
de r e r pur ~ rar N Y m r r o
rorrerrus
faf i c a d o ~
r
dd U ~ ~ O
1 d ~ 1ormj
on~pel rnles :
80 6 ms
4 25
7 20
Total 00 7 ~
Procediwientos para dere~nhara co n f i~ t i i h ~ id
o
r z ~ t
norttzafivor tests criterides
En los tests normativos se usan, fundanicntalmeiite, tres n
dices para establecer la confia bilidad de las mediciones: ndice
de
estabilidad, ndice de equivalencia e ndice-
de
crmistrr~cia nterna.
Todos ellos se obtienen mediante el cmputo e coeficientes de
correlacin. omo se sube, el monto de un ~urficientede correla-
6n se ve afectado por la variabilidad (variri icii) de los puntd-
jes en un grupo. Cuanto menor la variabilithd, s bajo el
c w -
ficiente de correlacin. Si e l g u p o es muy I i < i i i i i ~ g t h ~especto
la variable medida, los coeficientes de correlaciii arrojarn resul-
tados espurios.
En aquellos casos en que los tests cri te ri ~l ej rrojen una varia-
bilidad adecuada para el cmpu to d e cor fic ieritcs de carrelacin.
los
mtodos tradicionales de test re-test o forriids paralelas pucdm
ser adecuadas para establecer su confiabilidad 1 0s procedimieritor
de
consistencia interna serviran fundunerit3inriite prra verificar
la homogeneidad derivativa de
un
conjunto de tcins.
-
7/23/2019 Estrategias de Medicin (Dembo)
7/9
Volumen X Enero-Juiiio 1983
Nos
1-2
Pero, en principio, los pruccdimientos de instruccin indivi-
ilualizados tratan de ssegurar que todos los individuos de la pobla-
ci6n alcancen ciertos niveles de competencia en el doiiiinio objeto
de enseanza, si bien no excluyt 'i~ diferencias en ejecucin ms
alli del nivel general de conipeteiicia obtenido. De resultar efec-
tiva la ir~strucciii, os puiitajcs ob tenidos al fin alizar la r nse an-
za despliegsn escasa variabilidad. En tales casos, se puede aii
obterier ndices de estabi1id:itl (tests-re-test) o de equivalencias
(form as paralela s) a travs 'le estadisticos n o pam mtric os como
el coeficiente phi, o un simple porcentaje que refleja la consisten-
cia de las decisiones tornadas en base al test. La Tab la ilustra el
procedimiento para determinar, en trminos de porcentaje, la con-
sistencia de las decisiones tomada s. El proced imiento fue d e test-
re-test y, en el ejemplo que se ilustra, Iiubo un 79 por ciento de acurr-
dos acerca del nivel de competencia alcanzado por un individuo se-
gn los resultados obtenidos en ambas administraciones del test.
En el caso ,de tests criteriales, el procetlimiento de formas pa-
ralelas es particularnlente adecuado, ya que se puede generar gran
cantidad de tems a partir de las especificaciones bien delimitadas
del dominio y elaborar formas piralelas seleccioiiai~do aleatoria-
mente los ten-is que han de integrarlas (f orma s paralelas al aza r).
Glaser Nitk o (1971 ) sugieren que tcnicas td es como las
desarrol ladas por Lindgren y McElrath ( ~ 9 6 6 ) ueden ser ti les
para estimar la confiabilidad de tests cdteriales. e tmta aqu de
determinar si el criterio est;iblecido para inferir "coniptencia" en
el dominio es adecuado; en otrm palabras, si la proporcin de
tareas correctamente realizidas es suficiente, para considerar al
individuo "conpetente"
terminar la iristmccin o el trtaiiiiento
en el doniinio ea cuestin, o si la proporcin de items correcta-
men te contestado? n o es suficiente para a creditar "competencia".
Los errores pueden ser de dos tipos: 1) Inferir que un individuo es
competente cuando no lo es, y 2 Inferir que no es competente y no
debe avanzar a
ur
nuevo dominio de tareas cuando en realidad s
lo es. El procedimiento requiere determinar de antemano la pro-
porcin mnima de tenis bien contestados o tareas bien realizadas
para clasificar al iiidividuo como "competente" en e1 dominio.
En realidad, las tcnicas para la elaboracin y evaluacin de
instruri-ientos de rnedicin referidos a criterios son muy incipien-
Volumen X Enero-Junio 1983 Nos. 1-2
tes y los procedimientos para la estimacin emprica de la confia-
bilidad de un test as como de la bondad de un tem no estn bien ,
desarrollados.
Procediniieritcis
pn
destrrrollar la validez de tests r~orrna:ivos
y
tests criteriales
En 1966, la American Psychological Association (A PA ) apro-
b las recomendaciones formula*das por un g r u p de expertos en
relaciones con normas a seguir en la elaboracin de pruebas y pu-
blicaciones de Manuales para dichas pruebas. Ertas recomendacio-
nes fue ron recopiladas en una publicacin: Stmrdards for Educatio-
al ami Psychological Tesis a ~ i d 1u iuals (AP.4, 1966).
En
cuanto
a validez se refiere, los expertos agrupaion los numercsos prop.
sitos para los cuales se usan los tests, en t res propsi tos globales
(APA, 1966, pp. 12-13)
1 .
"El usuario desea determinar cmo se comporta un indivi-
duo, en el presente, en un universo
d e
s h a c i o n c s q u e e l
test pretende representar".
2
"El
usuario desea pre,decir la ubjcacitin fiitura de un
in-
dividuo,
o
estimar su ubicacin preseiite, en una variable
de particular significacin que es dife rente a l test".
3
"El usuario desea inferir el grado cri
que
cl individuo
posee una carac te r st ica o rasgo h ~ p f i t i o ~ons t ruc to)
qu e presum iblemente se refleja e,) ,u actuacin en e l
test".
El comit redactor de las normas de la
P
dilerencib
continuacin, tres aspectos de la validez, que torresponJen a estos
tres propsitos: Validez de contenido, validtz rrlacwnada con
un criterio (eficiencia pre dictiva) y validez de constructo, respec-
tivamente. 'L a validez de contenido requiere a ( cmomacin de
que el contenido del test constituye una muestra de
l
clase de
situaciones
o
de la materia en la cual se va a cvaluu al individuo.
La validez criterial o eficiencia predictiva se ~.lc.inuc tra o m ~ ar a n do
los puntajes del test con una o m s variables externas que,'se con-
sidera, proporcionan u na medida directa de la :ararierstica o con-
duda en cuestin. La validez de ccnstructo s evdla iiivestigando
j 3
-
7/23/2019 Estrategias de Medicin (Dembo)
8/9
Volunien
:
Enero-Junio 1983
Nos
1 2
cul es la caractersL.ica
o
variable psirolgica que el test mide; es
decir, inv4ganclo el grado en que ciertos conceptos .explicativos o
constructos determinan la ejecucin en el test.
Los conceptos de validez descritos se refieren a tests norma-
tivos. Topham (1978 ) ha intentad o desarr ollar conceptos anlogos
p a n los tests criteriales, dndoles nombres diferentes pues, si bien
los conceptos 'de validez que propone tienen alguna similitud con
los que se aplican a los tests normativos, cada uno de ellos tiene
algunas caracteristicas distintivas.
A
continuacin se describen, bre-
vemente, estos tres conceptos de validez.
La udidez descriptiva es la s importante en el caso de 10s
tests criteriales. Este concepto se aproxima mucho al de validez de
contenido en los tests normativos. Un test tiene validez descrip
tiva, si proporciona
una
clara descripcin del dominio conductual
que el tests mide. El
roce di miento
para evaluar este tipo de validez
requer ira dos etapas: a) D eterm inar si el esquema descriptivo
proporciona clwa informacin sobre el dominio que el test mide,
y
b) Dcterminar si los tems son congruentes con el esquema des-
criptivo . Como se recordar, el esquema descriptivo constituye el
primer paso en la elaboracin de un test criterial. En el procedimien-
to propuesto por Popharn 1378) para determinar la validez des-
criptiva de un test, ambas etapas requieren la participacin de ex-
pertos eii la conducta a medir, los cuales actan en calidad de
jueces. El acuerdo entre jueces, es decir, la consistencia en los jiii-
cios emitidos, es la evidencia requerida para establecer este tipo de
validez. En los tests normativos, la validez de contenido general-
mente se aplica a las pruebas de rendimiento basadas en un curso
especfico de estudios. La validez desctiptiva es aplicable a cual-
quier test criterial y no necesariamente a uno referido a un curso
de eskudios que delimita el contenido del test.
La v d i d e z frrncio~tcd es el equivalente, en los tests criteriales,
al concepto de eficieiicia predirtiva. La diferencia aqu reside, fun-
damentalmente, en la importancia que se asigna a este tipo de
validez. En el caso de los tests normativos, la eficiencia pre dictiva es
esencial y a menudo, quienes elaboran este tipo de pmebas han con-
siderado justificable sacrificar algunas caractersticas deseables n
todo test (unidimensionalidtid, especificidad respecto a la variable
que el test mide, por ejemp lo) en aras de La eficieiicia predictiva.
En
los tests criteriales lo ms importante es la descripcin del 'domini3
conductual y el tipo de validez que recibe mayor atencih es la
validez descriptiva.
El concepto de
v ljdez
en 1 seleccir
del
domittio que POP-
harn (1978) propone, se aproxima mucho al conccpto de validez
de constructo. Sin embargo, no se trata aqu de determinar la exis-
tencia de u constructo hipottico como la inteligencia o alguna
*dimensin de la personalidad sino qu e se trata de juzgar si la
eleccin del dominio fue acertada.
En
los tests criteriales, las espe-
cifica cion~ s ara la ela br ac in d el test que constituyen el esque-
ma descriptivo, delimitan la clase de conductas o el dominio a me-
dir. 1.a kleccin de algunos domin ios puede resu ltar ms af ortu -
nada que la de otros, lo cual se evala
a
travs de la posibilidad
de generalizar. Dados varios dominios de conductas a elegir,
vinculados todos ellos con algn doniinio ms amplio
O
ms
complejo, se plantea la necesidad de elegir entre ellos. Si la compe-
tencia de un individuo en un dominio o clase de conducta permite
inferir o generalizar su con~ petencia en los otros dominios, la
eleccin de dicho dni;nio puede juzgane acertada.
l
dominio
qiie
mejor permita generalizar a los restantes dominios sera con-
siderado el ms vlido en este sentido.
El propsito para l cu l s u s m
s
Ierts ~:ormativosy
lor
tests
crilerider
Ya se ha dicho que los tests normativos suden ser ms tiles
para la toma de decisiones relativas a grupos tales como la
se-
leccin clasificacin de individuos y tod;is aquellas sit u~ cio ne s
que requieran comparaciones entre bidividuos.
En
sistemas edu-
cativos en los cuales todos los individuos son tratados en igual
forma y hay poca cabilla para la atencin in(lividualiza da, los tests
normativos son tiles en
la
toma de decisiones relativas a la ad-
misin.
A
medida q ue se hace posible
;i
iiistrucciii individuali-
zada, el conocimie'nto ,de la posicin que oc'ulu i ii i i d iv iduo en un
grupo se h:ice menos importante que el con ~i in ie nt o e las
tareas
que es y que no es capaz de realizar. En el c;irnw de la educacibn,
por consiguiente, ambos tipos de tets i i r ~ p d t ~ i ~ n n nnformacin
til y la aplicabilidad de iinos u otros Jt:jb,r i d r la estructura
del sistema educativo.
-
7/23/2019 Estrategias de Medicin (Dembo)
9/9
Volumen
X
Enero-Junio 1983 Nos. 1-2
Cuando los tests criteriales son administrados antes de ini-
ciarse un curso de enseanza o u tratamiento, los resultados defi-
nen la competencia 'del individuo
rn
una clase de tareas o
un
rea
particula r constituyen su ln ~l
dse
de ejecucin. Una compara-
cin de los resultados pre y postinstruccin o tratamiento definen
sus logros o adquisiciones en ese dominio. Bijou 1976) resea
tres tipos de aplicaciones para los tests criteriales en los servicios
educativos clnicos:
-Diagnstico de conductas problema
-Planificacin de la enseanza
-Evaluacin de competencia o apresto con fines de ubicacin
en un programa educacional prescrito, como el primer
grado.
En clnica, los tests criteriales se usan para el diagnstico con-
ductual ya que permiten inventariar los repertorios del individuo
pertinentes al problema para luego recomendar los proce'dimientos
remediales.
En la planificacin de la enseanza, los tests criteriales se
usan principalmente en el diseo de programas individualizados
en los cuales los materiales se jerarquizan segn su dificultad y
los procedimientos de la enseanza se modifican en base a ob-
servaciones o resultados de evaluaciones. As, los tests criteriales
permiten evaluar no slo los logros y adquisiciones del aprendiz,
sino tambin la efectividad de los procedimientos de enseanza.
En sntesis, puede decirse que los tests normativos son tiles
en seleccin, clasificacin
y
prediccin relativa
a
grupos
de indi-
viduos. Los tests criteriales son tiles en decisiones de t i p indi-
vidual referentes al entrenamiento, educacin o tratamiento que
un sujeto particular debe recibir.
BIBLIOGRAFIA
ANASTASI,.:
Psy~hologicalTesting.
Tliird edition. New York.
h e
Mac-
rnillan Cornpany, 1968.
BIJOU, . W.:
Child Drvelopment: The Basir Stage o f Early Ch ildboo d.
Englewood Cliffs,
N.
J.: Prentice-Hall, 1976,
6
Volumen
X
Enero-Junio 1983
Nos. 1 2
--
--
GLASER,.: "Instructional Technology and
the kf:asuremcnt
of
h r n i n g
Outcomes. Sorne Questions".
Ameriran Psp-bologirt
18 (1963) :
>lo
21.
GLASER,
.
y
NITKO,
A. J.: "Measurement in learning nd Instmction".
En:
Edurdional Meascrernent
2nd. edition. Editrd by R. L. Thorndike.
Washington,
D.
C.: Arnerican Counci on Educrtion, 197 1.
KAMIN,.
J.: Tb e Sriencc Politirs of I.
Q . Middlesex England: Penguin
Books Ltd. 1974.
LINDGREN,
B.
W
MCELRATH,. W.:
In~rodurtion o Probrlbility m
Statistics.
(2nd
ed.
New York: MacMillan, 1966.
~ ~ A G N U & S O N , .: Test theory. Reading, Mas;: Addison-Wesley, 1967.
N U N N A L L Y ,
C.: Tests a t~dMeasurements. New York, N . Y.: McGraw-
Hill, 1959.
POPHAM, .
J.
(Ed.)
: CriteNon-Referenced Mearrrrernent: An Introduc-
tion.
Englewood Cliffs, N.
J.
Educational Technology Publications,
197 1.
POPHAM, . J.:
Criterio~zReferenred Measuremen~.
Engl,swood Cliffs, N.
J.: Prentice-Hall, 1978.
Standards for educational and psychological tests and manuals. Washing-
ton: American Psychologicai Assoaation, 1966.