Calidad Evaluacion
-
Upload
jorge-alvarez -
Category
Documents
-
view
222 -
download
0
description
Transcript of Calidad Evaluacion
-
1
MINISTERIO DE SALUD PUBLICA
CENTRO NACIONAL DE
PERFECCIONAMIENTO MEDICO
Vicedireccin de Evaluacin
Calle I N 202 esq. a Lnea, Vedado, Ciudad de La Habana, Cuba. CP 10400. Tel: (537) 32-5162
Carpeta N 4
Lic. Silvio Soler Crdenas
Dr. Ramn S. Salas Perea
1997
-
2
1. INTRODUCCION.
La evaluacin de la competencia profesional en salud comprende: la evaluacin de los
conocimientos, las habilidades y actitudes de los profesionales, enfermeros y dems
tcnicos de la salud, as como su nivel de organizacin, retencin y empleo en la prctica
acadmica y laboral.
Por su parte, el Plan de Accin para el Incremento de la Calidad de los Recursos Humanos
en el Sistema Nacional de Salud (anexo de la Res. Min. No. 142 de 1997), establece que las
evaluaciones de la competencia profesional relativas al desarrollo de los conocimientos se
efectuarn mediante exmenes tericos confeccionados sobre la base de problemas con el
empleo fundamentalmente de items objetivos, preguntas de ensayo de respuestas cortas y de
ensayo modificado.
Como consecuencia de este dictado, se sita en primer plano la necesidad de confeccionar
instrumentos evaluativos con un alto grado de validez y confiabilidad, con la finalidad de
que la informacin obtenida por esta va contribuya a incrementar la calidad de los procesos
educacionales y de identificacin de necesidades de aprendizaje de los recursos humanos de
salud.
A tenor con esta situacin, el Grupo Central de Evaluacin de la Competencia y el
Desempeo Profesional, decidi confeccionar una serie de materiales que tratan elementos
esenciales acerca del planeamiento, confeccin y valoracin de la calidad de instrumentos
evaluativos.
Dichos materiales van dirigidos especialmente a quienes, de una manera u otra, estn
-
3
comprometidos con el encargo de introducir, validar y generalizar la evaluacin de la
competencia y el desempeo en los procesos de formacin y superacin de los recursos
humanos en le Sistema Nacional de Salud.
Aparece as el presente material, por completo destinado a la presentacin de los
procedimientos ms empleados en los estudios de calidad de instrumentos evaluativos. Se
centra la atencin en dos ncleos conceptuales bsicos, a saber: validez y confiabilidad, los
cuales se desarrollarn manteniendo una tnica tan elemental como lo permita el tema, de
manera que resulte fcil su comprensin as como su oportuna aplicacin.
Una vez concluida la confeccin de un instrumento evaluativo (IE) se presenta el problema
de determinar en qu medida la informacin obtenida por conducto de su aplicacin refleja
el nivel de competencia del examinado. Surgen, muy naturalmente, las siguientes
preguntas:
- Mide el IE lo que realmente debe medir?
En otras palabras: Cul es el grado de correspondencia entre las preguntas del IE y los
contenidos a evaluar?
- Con qu precisin y estabilidad se mide lo que se est midiendo?
La primera pregunta est relacionada con la "validez" de un IE; la segunda concierne a lo
que se conoce con el trmino "confiabilidad".
En la literatura especializada aparecen otros conceptos para evaluar la calidad de los IE. En
este sentido Guilbert (1) recomienda tener en cuenta otros aspectos entre los que estn los
siguientes:
- Objetividad: grado de concordancia entre los juicios emitidos por evaluadores
-
4
independientes y competentes sobre lo que constituye una "buena" respuesta para
cada uno de las preguntas de un IE.
- Pertinencia: es el grado de respeto de los criterios establecidos en la seleccin de las
preguntas para que sean conformes con los fines y objetivos del IE.
- Equilibrio: grado de concordancia entre la proporcin de preguntas reservadas a
cada uno de los objetivos y la proporcin ideal para un instrumento de este tipo.
- Equidad: grado de concordancia entre las preguntas planteadas en el IE y el
contenido que se pretende evaluar.
- Discriminacin: cualidad de cada pregunta de un IE que permite distinguir los
estudiantes de altos y bajos rendimientos.
- Eficacia: cualidad de un IE que permite el mayor nmero posible de respuestas
independientes por unidad de tiempo.
No obstante, en todo lo que sigue nos limitaremos a las nociones de "validez" y
"confiabilidad". Diremos, por tanto, que un IE tiene calidad en la medida en que es vlido
y confiable y sus resultados son generalizables.
2. LA CONFIABILIDAD DE LOS INSTRUMENTOS EVALUATIVOS
Cuando se aplica un IE a un conjunto de personas con la finalidad de medir un determinado
conocimiento, se desea tener cierto margen de seguridad con respecto a la posibilidad de
obtener resultados similares cuando el instrumento se aplica en varias ocasiones (o bien un
instrumento equivalente) a las mismas personas. Esta propiedad de reproductibilidad o
estabilidad de las calificaciones que deben cumplir los IE es lo que se llama "confiabilidad".
-
5
En la realidad educacional es prcticamente imposible confeccionar un IE que sea
absolutamente confiable; lo cual se debe a que los instrumentos nunca pueden abarcar todo
el conocimiento que se pretende medir, sino slo una parte del mismo y, por tanto, siempre
subyace el "error de muestreo".
Naturalmente, cuanto mayor sea la muestra de conocimientos incluida en un IE, menor ser
este error de muestreo; de lo cual no podemos inferir que mientras ms extenso sea un IE
necesariamente ser ms confiable, pues conforme aumenta la dimensin del IE, otro tanto
sucede con la duracin de su aplicacin y en consecuencia, incidirn otros factores -propios
del examinador- como son la fatiga, la tensin psquica y el deseo de terminar, que
contribuyen a incrementar la falibilidad del instrumento.
De manera que en la prctica se presenta el problema de concebir un IE lo suficientemente
extenso para que comprenda una muestra amplia de los conocimientos esenciales o claves
que se quieren medir y, al mismo tiempo, lo necesariamente corto para que se pueda
responder en un intervalo de tiempo relativamente breve o "normal".
Existen muchos factores que dependen tanto del examinado como del escenario en donde se
desarrolla la evaluacin y que influyen en los resultados de un IE y que por tanto siempre
tendremos en cuenta en toda evaluacin de la competencia profesional. Cronbach (2)
seala cuatro grupos de factores, a saber:
1. Caractersticas generales y duraderas del examinado.
a) Habilidades generales, por ejemplo la lectura.
b) Habilidades para comprender las instrucciones de IEs.
c) Habilidades para resolver los problemas de tipo general presentados en los
-
6
IE.
d) Actitudes, reacciones emotivas y hbitos caractersticos de las personas
sometidas al IE.
2. Caractersticas duraderas y especficas del individuo.
a) Conocimientos y habilidades que requieren los problemas especficos del IE.
b) Actitudes, reacciones emotivas, o hbitos que se ponen de manifiesto en las
personas al ser evaluadas.
3. Caractersticas generales y momentneas del examinado, que afectan sistemtica-
mente la calificacin del IE en un tiempo determinado.
a) La salud, la fatiga y la tensin psquica.
b) La motivacin, ya sea positiva o negativa, que produce el hecho de sentirse
evaluado.
c) Los efectos del calor, la luz, la ventilacin, etc.
d) Actitudes actuales, reacciones emotivas o fuerza de los hbitos, en cuanto
todos estos representan divergencias de los rasgos ms duraderos y estables
del examinado.
4. Caractersticas temporales y no generales del examinado.
a) Cambios debidos a la fatiga o a la motivacin producidos por el IE.
b) Fluctuaciones en la atencin, en la coordinacin o en los patrones de juicio.
c) Fluctuaciones en la memoria de hechos particulares.
d) Nivel de prctica en la ejecucin de las habilidades o en los conocimientos
requeridos para el problema en cuestin.
-
7
e) Buena suerte en la seleccin de las respuestas al adivinarlas.
2.1. El concepto de confiabilidad.
La confiabilidad por lo tanto no es ms que la estabilidad en los resultados de un IE, ya sea
al repetirlo al grupo de educandos, como al ser calificado por diferentes profesores. Se
refiere a la constancia de los resultados en el tiempo, segn los tipos de preguntas
empleadas y de acuerdo con los criterios de los evaluadores. En la misma pueden tambin
influir: el error de muestreo, las caractersticas del examinado y las condiciones del
escenario donde se desarrolla.
Es un concepto estrictamente estadstico que se expresa por un coeficiente de confiabilidad
o a travs del error tpico de las mediciones efectuadas.
Coeficientes de confiabilidad.
En la literatura especializada se reportan varios procedimientos para cuantificar la
confiabilidad de IEs. Entre ellos se citan:
- El coeficiente (3)
- El coeficiente (4)
- El coeficiente 0 (5)
- El coeficiente de Kuder-Richarson (6)
- El coeficiente de Cronbach (7)
Solo explicaremos el coeficiente de Cronbach porque segn la gran mayora de los
autores (2-6-8-9-14-16):
1. Es el ms utilizado en los estudios contemporneos de calidad de instrumentos
-
8
evaluativos lo que nos permite comparar nuestros resultados con los que se reportan
en la literatura mundial.
2. Es el mejor mtodo para estimar el error de muestreo de los IE.
3. Nos proporciona una medida de la consistencia interna de los IE.
4. Puede calcularse an en el caso de que empleemos preguntas de diferentes formatos
en el IE.
2.3. Fundamentacin matemtica del coeficiente de Cronbach.
A continuacin explicaremos las bases matemticas sobre las que se fundamenta este
coeficiente, a fin de poder comprender su utilidad. En ningn caso los profesores tendrn
que efectuar estas operaciones pero es esencial que entiendan el fundamento terico del
mismo.
2.3.1. Frmula de clculo de la varianza.
La varianza es una medida del grado de dispersin de un conjunto de datos. Se denota por
S2 y su frmula de clculo es la siguiente:
S n
i 1
X2 i
1
n - 1
n (X)22
-
9
donde: n: cantidad de datos
x : promedio de los datos n
XI2 : suma de los cuadrados de los datos i = 1
Ejemplo 1: Clculo de la varianza para los datos siguientes:
12; 10; 15; 13; 11; 14; 14
Paso #1. Determinacin de la cantidad de datos: "n"
Para este ejemplo se tiene que n = 7
Paso #2. Clculo del promedio de los datos: x
x = suma de los datos dividida por la cantidad de datos
= (12 + 10 + 15 + 13 + 11 + 14 + 14) /7 = 89 / 7=12.71
= 12.71
Paso #3. Clculo del cuadrado de cada dato.
(12)2 = 144 (10)2 = 100 (15)2 = 225 (13)2 = 169
(11)2 = 121 (14)2 = 196 (14)2 = 196
Paso #4. Clculo de la suma de los cuadrados de cada dato.
n
XI2 = 144 + 100 + 225 + 169 + 121 + 196 + 196 + 1151 i = 1
Paso #5. Sustituir en la frmula de la varianza los resultados obtenidos en los pasos
-
10
#1, #2 y #4 y efectuar los clculos indicados.
Varianza = S2 = ( (1151 - 7 x (122,71)) / 6
= (1151 - 7 x 161,54) / 6
= (1151 - 1130,78) / 6
= 20,22 / 6
= 3,37
Finalmente se tiene que S2 = 3,37
2.3.2. Formulacin del coeficiente de Cronbach.
La frmula para el clculo de este coeficiente es la siguiente:
Sik
2
i 1
Sx2
1k
k - 1
donde: k: cantidad de preguntas del
instrumento evaluativo
2
Sx : varianza de las califica- ciones del I.E.
2
Si: varianza de la i-sima pregunta del instru-
mento evaluativo.
-
11
Como se aprecia en esta forma
frmula, su cmputo requiere el
clculo de tantas varianzas como
nmero de preguntas tenga el
instrumento evaluativo.
2.3.3. Clculo del coeficiente de Cronbach.
Supongamos que se aplica un IE de 4 preguntas a 7 estudiantes y se obtienen los siguientes
resultados:
TABLA #1.
CALIFICACIN DE LAS PREGUNTAS
ESTUDIANTES PI P2 P3 P4 CALIFICACIONES TOTALES
No. 1 20,7 20,8 19,0 23,1 83,6
No. 2 13,5 13,3 12,3 13,5 52,6
No. 3 16,8 15,0 15,1 17,3 64,2
No. 4 16,4 18,8 16,3 16,5 68,0
-
12
No. 5 18,8 16,7 20,6 19,2 75,3
No. 6 10,9 10,4 11,1 10,0 42,4
No. 7 04,3 07,1 05,6 06,2 23,2
El clculo del coeficiente de Cronbach requiere la ejecucin de variadas operaciones y
resulta conveniente establecer un algoritmo que viabilice este proceso algebraico. Para este
fin, se recomienda proceder segn la sucesin de ACCIONES que presentamos a
continuacin. Ilustraremos cada una de dichas acciones con los datos de la TABLA N 1.
Accin #1: Determinar el valor de "k", esto es: la cantidad de preguntas del IE. Segn la
Tabla #1, se cumple que k = 4.
Accin #2: Calcular la varianza de cada pregunta del examen. Tenemos que calcular, por
tanto, cinco varianzas una para cada pregunta (son cuatro) y la que corresponde a las
calificaciones. Para el clculo de cada una de estas varianzas; tendremos en cuenta los
pasos #1, al #5 del epgrafe 2.3.1.
Clculo de la varianza de la pregunta 1:
Paso #1. (Determinacin de la cantidad de datos)
n = 7
Paso #2. (Clculo del promedio aritmtico).
x = (20,7+13,5+16,8+16,4+18,8+10,9+4,3) / 7 =104,4 / 7 = 14,485
= 14,485
-
13
Paso #3. (Clculo del cuadrado de cada dato).
(20,7)2 = 428,49 (13,5)2 = 182,25 (16,8)2 = 282,24
(16,4)2 = 268,96 (18,8)2 = 353,44 (10,9)2 = 118,81
(04,3)2 = 018,49
Paso #4. (Clculo de la suma de los cuadrados de los datos).
n
XI2 = 428,49+182,25+282,24+268,96+353,44+118,81+18,49 i = 1
= 1652,68
Paso #5. (Sustitucin en la frmula de varianza).
2
S1 = [ 1652,18 - 7 x (14,485)} / 6.
= [ 1652,68 - 7 x 209,815 ] / 6.
= [ 1652,68 - 1468,705 ] / 6
= 183,975 / 6.
= 30,662.
2
La varianza de la pregunta 1 es S1 = 30,662
Ejecutando los cinco pasos anteriores con los datos de las otras preguntas, #2, #3 y #4 y
adems con el del total de las calificaciones obtenemos los siguientes resultados:
2
S2 = 22,72 2
S3 = 26,082 2
S4 = 32,574 2
-
14
S5 = 429,241
Accin #3. Calcular la suma de las varianzas de las preguntas.
k
Si2 = 30,662 + 22,729 + 26,082 + 32,574 i = 1
= 112,047
Accin #4. Sustituir en la frmula del coeficiente de Cronbach los valores obtenidos en
las acciones anteriores que corresponden a:
Cantidad de preguntas (valor de k)
k
Suma de las varianzas de las preguntas ( Si2 ) i = 1
2
- Varianza de las calificaciones ( Sx )
Finalmente, efectuar las operaciones indicadas.
7 112, 047 7
= 1 - = 1 - 0, 261 = 7 - 1 429,241 6
7
0,739 = 1,166 0,739 = 0,861
6
-
15
= 0,861
Como se aprecia, el cmputo del coeficiente de Cronbach requiere efectuar muchas
operaciones algebraicas, por lo que para nuestro ejemplo se necesitara una inversin de
aproximadamente 12 horas en operaciones matemticas.
Por suerte, esta abrumadora tarea se puede realizar en unos pocos minutos al disponer de
alguno de los tantos software que hoy da existen. Baste mencionar en ese sentido, entre
otros, dos conocidos software de procesamiento estadstico: el " Statistical Package for
Social Sciences " (SPSS) y el "Statistica", ambos concebidos para ambiente "Windows" con
soporte en microcomputadoras IBM-compatibles.
2.4. Interpretacin del coeficiente de Cronbach.
En la literatura contempornea, la mayora de los autores, siguiendo a Anastasi (8) y a
Weiner (9), aceptan como adecuados en los exmenes escritos basados en preguntas de tipo
test objetivo, los coeficientes que oscilan entre 0,80 y 0,85.
El Colegio de Mdicos de Familia de Canad en sus exmenes de Certificacin de
Especialistas reporta que:
. En los exmenes escritos basados en respuestas cortas (SAMB) considera aceptables
coeficientes entre 0,69 y 0,71 (10).
. En los exmenes de Simulacin Oral en el Consultorio Mdico (SOOs) han obtenido
coeficientes entre 0,54 y 0,63 y consideran como aceptables los coeficientes superiores a
0,60 (11,12).
-
16
. En los exmenes tipo ECOE con pacientes estandarizados y preguntas de ensayo de
respuestas cortas han considerado como aceptables coeficientes entre 0,71 y 0,77 (13,14).
En este tipo de examen otros autores han reportado coeficientes entre 0,40 y 0,88 (15, 16).
Queda entonces planteada la necesidad de investigar cmo se comportara este coeficiente
en nuestras Universidades Mdicas, tanto en las carreras de Ciencias Mdicas, como en las
diferentes formas acadmicas del postgrado y tambin para las actividades de la superacin
profesional. Para nuestro trabajo inicial consideraremos con discrecin y no de manera
absoluta los indicadores internacionales antes sealados.
3. LA VALIDEZ DE LOS INSTRUMENTOS EVALUATIVOS.
Un aspecto importante de la calidad de un IE es el que se refiere a la validez, es decir a la
correspondencia que existe entre lo que el IE pretende medir y lo que mide realmente.
Ello abarca tanto las exigencias propias del IE, como la determinacin de los ndices
valorativos que permiten su calificacin.
La validez nos proporciona un control directo de la forma en que un IE cumple sus
propsitos. Es un concepto siempre especfico (17, 18, 19, 20).
La determinacin de la validez requiere criterios de expertos y generalmente externos y nos
capacita para determinar el grado de acierto del diseo del IE a partir de los resultados de
las calificaciones de los estudiantes, sobre la base de una muestra representativa de los
mismos. Las calificaciones no se utilizan "per se" con fines predictivos, sino para
comprobar la calidad del IE y fundamentar las inferencias que se realizarn a partir de sus
resultados.
-
17
Tipos de estudios de validez
La validez usualmente se clasifica en tres grupos:
a) Validez de contenido.
b) Validez de criterio.
c) Validez de construccin.
a) Validez de contenido.
La validez de contenido consiste en el examen sistemtico del contenido del IE para
determinar si constituye una muestra representativa del dominio de conocimientos que se
pretende evaluar (dominio cognitivo).
Podra parecer que la mera inspeccin del contenido de un IE bastara para establecer su
validez. Evidentemente esto no es cierto; un IE concebido para evaluar, digamos, la
competencia de un internista en materia de HTA parecera vlido simplemente porque
incluyese preguntas relativas al tratamiento de la HTA; no obstante, si el dominio cognitivo
definido para esta situacin contempla, por ejemplo, slo elementos de diagnstico, es claro
que este IE no sera vlido desde el punto de vista del contenido.
Un estudio de validez de contenido debe incluir la ejecucin de las siguientes tareas:
1. Definicin del dominio cognitivo del IE.
El dominio cognitivo ha de definirse con la suficiente amplitud para incluir en l todos y
cada uno de los objetivos educativos principales a evaluar; tales como: aplicacin de
principios, interpretacin de resultados, dominio terico de conceptos importantes, etc.
Para evaluar la pertinencia del dominio cognitivo es conveniente tener en cuenta:
1.1. Revisin de investigaciones: con frecuencia resulta conveniente revisar la literatura
-
18
disponible para determinar los aspectos que con mayor frecuencia se han tenido en cuenta
en la confeccin de IE con propsitos similares al que nos ocupa.
1.2. Determinacin de condiciones extremas: la consideracin de un amplio recorrido para
el nivel de dificultad de los contenidos que se pretende medir, viabiliza la determinacin de
los niveles de asimilacin de los objetivos a incluir en el IE.
1.3. Criterios de un panel de expertos: si algo caracteriza a los estudios de validez de
contenido es el hecho de que sus resultados se basan primordialmente en la opinin de un
grupo de expertos seleccionados para ese fin. Se requiere entonces que stos se
caractericen por tener un conocimiento profundo del contenido cientfico que se desea
medir, as como del sistema de habilidades que se desea evaluar.
2. Establecimiento de un marco de referencia
Un criterio simple, pero no necesariamente aceptable, consiste en establecer que todos los
objetivos son igualmente importantes. En ocasiones se dispone de ciertas fuentes de
informacin que permiten establecer un orden jerrquico en los objetivos a evaluar, tales
como: informes relativos a la incidencia y prevalencia de determinadas enfermedades,
indicadores de los principales problemas de salud; rol que juegan determinados contenidos
claves en el desempeo de una especialidad dada; etc.
En todo caso es necesario hacer un anlisis donde se comparen los contenidos del dominio
cognitivo y las preguntas del IE, para comprobar hasta qu punto ste comprende todos los
elementos esenciales de aqul. En este sentido resulta conveniente constatar si cada aspecto
del dominio cognitivo aparece representado de manera proporcional a la importancia que se
le concede.
-
19
b) Validez de criterio.
Cuando se realiza un estudio de validez de criterio, se comparan los resultados de la
aplicacin del IE con otros criterios externos que se le llama "variable-criterio".
Se dice que un IE tiene validez de criterio cuando, a partir de los resultados obtenidos, se
pueden hacer inferencias vlidas sobre una variable que no se puede medir directamente por
el IE.
Un estudio de validez de criterio implica la ejecucin de las siguientes tareas:
1. Determinacin de un criterio adecuado y de un procedimiento para medirlo.
2. Determinacin de una muestra representativa de los educandos a los que se le
aplicar el IE.
3. Aplicar el IE y anotar la calificacin de cada examinado.
4. Obtener una medida del criterio para cada examinado en el momento en que eso sea
posible.
5. Determinar la fortaleza de la relacin entre los resultados del IE y los del criterio.
Los estudios de validez de criterio se clasifican en dos tipos:
- Validez predictiva
- Validez concurrente
La validez predictiva indica la efectividad del IE en un resultado futuro. Para esto se
comparan las calificaciones del IE con una medida directa de la ejecucin posterior de los
sujetos llamado "criterio".
A manera de ejemplo consideremos la siguiente situacin: se quiere evaluar la validez
predictiva de los exmenes de ingreso a la Educacin Mdica Superior. Si el criterio a tener
-
20
en cuenta es el ndice acadmico promedio al finalizar la carrera, entonces la validez
predictiva de dichos exmenes es alta en la medida en que las calificaciones altas se
correspondan con los ndices acadmicos altos; y viceversa. En este caso el coeficiente de
validez predictiva es un coeficiente de correlacin lineal.
La validez concurrente se refiere a la interrelacin del IE y un criterio de medicin
efectuado en el momento en que se aplica el IE.
En algunos casos la validez concurrente es meramente un sustituto de la validez predictiva.
No suele ser practicable extender los procedimientos de validacin ms all del tiempo
requerido para la validez predictiva u obtener una determinada muestra de preseleccin con
fines de aplicacin del IE. Por tanto, como solucin de compromiso se aplica a un grupo
sobre el que ya se tienen disponibles los datos del criterio.
La distancia lgica entre la validez predictiva y la concurrente no slo se basa en el tiempo
sino tambin los objetivos de aplicacin del IE. La validez concurrente es idnea para los
instrumentos empleados en el diagnstico de un estado existente y no para la prediccin de
resultados futuros.
Puesto que siempre se dispone del criterio de validez concurrente en el momento de aplicar
el IE, cabra preguntar cul es la funcin que ste cumple en tales situaciones. Dichos
instrumentos proporcionan bsicamente un sustituto ms sencillo, ms rpido o menos caro
de los datos del criterio. Si, por ejemplo, el criterio consiste en la observacin continua de
un paciente durante un perodo de hospitalizacin de dos semanas, un instrumento que
separe los casos normales de los patolgicos y de los dudosos reducira apreciablemente el
nmero de personas que requieren tan extensa observacin.
-
21
c) Validez de construccin
Los estudios de validez de construccin de un IE se realizan cuando no se dispone de una
medida directa del atributo a medir, de tal manera que hay que sustituirlo por un modelo
hipottico.
Son ejemplos de tales atributos y la inteligencia, la creatividad, la competencia clnica, etc.
Los estudios de validez de construccin, puesto que fijan la atencin en una cualidad que
requiere un alto grado de elaboracin terica, requiere la acumulacin gradual de
informacin procedente de diferentes fuentes.
Cualquier informacin que arroje luz sobre la naturaleza del atributo que se est estudiando
y de las condiciones que afectan a su desarrollo y manifestaciones, tiene utilidad para este
tipo de validez.
Los procedimientos estadsticos que normalmente se usan en los estudios de validez de
construccin se caracterizan por tener cierto nivel matemtico de complejidad y, por tanto,
no los desarrollaremos. Nos limitaremos, pues, a hacer slo mencin de los procedimientos
que usualmente se aplican en las investigaciones, ellos son los siguientes:
- Diferenciacin entre grupos
- Validez discriminante
- Mtodo matricial de rasgos mltiples
- Anlisis factorial.
Ejemplo.
Se ha elaborado un IE para medir la competencia clnica en materia de hipertensin arterial
y el mismo contiene preguntas relativas a: factores de riesgo, antecedentes patolgicos
-
22
personales, tratamiento, seguimiento, rehabilitacin, secuelas y epidemiologa de esta
enfermedad.
Para estudiar la validez de construccin de este instrumento se decide aplicar el mtodo de
diferenciacin entre grupos. Para este fin se seleccionan dos grupos de personas que en
principio difieran notablemente en cuanto al nivel de competencia clnica, estos son: un
grupo de estudiantes del Quinto Ao de la carrera de Medicina y un grupo de residentes del
Tercer Ao de la especialidad de MGI. Se supone que este IE tiene validez de construccin
en la medida en que exista una marcada diferencia entre las calificaciones de cada grupo.
REFERENCIAS BIBLIOGRAFICAS.
1. Guilbert J J. Gua Pedaggica. Ginebra Organizacin Mundial de la Salud. Reimpreso
por la Organizacin Panamericana de la Salud. 1977.
2. Cronbach L J. Fundamentos de la Exploracin Psicolgica. Edicin Revolucionaria.
Instituto Cubano del Libro. La Habana. 1968.
3. Armor D J. Theta reliability and factor scaling. In Costner HC. (ed), Sociological
Methodology 1973-1974, pp 17-50. Jossey -Bass, San Francisco.
-
23
4. Heise D R, Borhrnstedt G W. Validity, invalidity and realiabililty. In Borgatta F and
Borhnstedt G W (eds). Sociological Methodology 1970 pp 104-29. Jossey-Bass, San
Francisco.
5. Bentler P M. Alpha-maximized factor analysis (alphamax) Psychometrika 1968; 33: 335-
45.
6. Crocker L, Algina J. Introduction to Classic and Modern Test Theory. University of
Florida. USA. 1968.
7. Cronbach L J. Coefficient alpha and the internal structure of a test. Psychometrika 1951
16: 297-334.
8. Anastasi, A. Test Psicolgicos. Edicin Revolucionaria. Instituto del Libro. La
Habana. 1970.
9. Weiner E a, Stewart B J. Assessing individuals. Litte Brown, Boston. 1984.
10. Handfield-Jones R, Belle J, Biehn, Rainsberry P, Brailovsky CA. Certification
Examination of the College of Family Physician of Canada. Part 3. Short-answer
management problems. Can Fam Physician 1996;42(7):1353-1361.
11. Belle J, Handfield-Jones R, Rainslerry P, Brailovsky CA. Certifiation Examination of
the College of Family Physician of Canada. Part 4. Simulated Office Orals. Can Fam
Physician 1996: 42(8): 1539 - 1548.
12. Lescop J, Grans Maison P, Brailovsky CA. Large Scale multicenter OSCE used for
provincial licensure. In: Harden RM, Hart IR, Malholand H (eds). Approaches to the
Assessment of Clinical Competence. Norwich: Page Brothers, 1992: 54-57
13. Gran Maison P, Lescop J, Rainsberry P, Brailovsky CA. Large scale use of an objetive,
-
24
structured clinical examination for licensing family physicians. Can Med Assoc J 1992;
146(10): 1735-1740.
14. Brailovsky CA, Grand Maison P, Lescop J. A Large-scale Multicenter Objetive
Structured Clinical Examination for Licensure. Academic Medicine Rim Supplement.
67(10). October Supplement. 1992; 67(10:537-539.
15. Van der Vleuten CPM, Swanson DB. Assessment of clinical Skills with standarized
patients: state of the art. Teach Learn Med 1990; 2: 58-76.
16. Pretusa ER, Blackwell TA, Ainswoth MA. Reability and validity of an objetive
Structured Clinical Examinaton for Assessing the Clinical Perfomance of Residents. Arch
Intern Med. 1990; 150:573-577.
17. Salas Perea RS. Educacin en Salud, Competencia y Desempeo Profesionales. La
Habana: Editorial Ciencias Mdicas (en imprenta).
18. DI. Assessing clinical competence at the undergraduate level. Dundee: Association for
the Study of Medical Education, 1992. Booklet No. 25.
19. Handfiel-Jones R; Holleing Worth G. CfPC's Certification Examination. An Overview.
Can Fam Physician 1990; 36: 2069-74.
20. Kane MT. The assessment of Professional Competence. Evaluation & the Health
Professions 1992; 15(2): 163-182.