Interpretación y uso de los resultados de las pruebas … · La medición del conocimiento tiene...

Interpretación y uso de los resultados de las pruebas del College Board

Objetivos :

Familiarizar a los usuarios con la interpretación de las pruebas y el uso de los resultados de algunos programas del College Board

PEAU: Programa de Evaluación y Admisión Universitaria

PIENSE: Pruebas de Ingreso y Evaluación para el Nivel Secundario

ELASH: English Language Assessment System for Hispanics

Resumen inicial:

Definiciones de Aptitud y Conocimientos

Contenido y contraste de la Prueba de Aptitud Académica (PAA) y de pruebas de conocimiento

Validez predictiva y validez de construcción lógica: herramientas para interpretación

Interpretación de resultados Significado de las puntuaciones a escala

Medidas de tendencia central

Puntuaciones y su relación con la dificultad de los itemes

Definiciones del Diccionario de la Real Academia Española de la Lengua:

“Cualidad que hace que un objeto sea apto,

adecuado o acomodado para cierto fin.” “Apto: Idóneo, hábil, a propósito para hacer alguna cosa.”

“Capacidad y disposición para el buen

desempeño o ejercicio de un negocio, industria, arte, etc.”

Construcciones Lógicas

• Pruebas de Aptitud: Teoría cognoscitiva – procesos

Lo que la persona hace con lo que sabe

Aplicación de conocimientos y destrezas

Aptitud: Capacidad para desempeñarse competentemente en actividad:

Científica

Musical

Mecánica

Etc.

Aptitud Académica

Razonamiento Verbal

Razonamiento Matemático

http://oprla.collegeboard.com

APTITUD Y CONOCIMIENTO

• Al medir la aptitud se persigue el propósito de evaluar el potencial y la capacidad para ejercer una conducta particular.

• La aptitud, a diferencia del conocimiento, es más estable, menos maleable, se modifica más lentamente y requiere de procesos de maduración interna y de contingencias externas que provean el apoyo para su desarrollo.

La medición del conocimiento tiene como propósito el proveer información de la utilización de codificaciones retrospectivas Procesos o situaciones pasadas ya codificadas

(memoria y organización cognitiva) Multidimensional

La medición de la aptitud persigue el proveer información prospectiva Ejecución y aplicación de procesos que se ajusten a las

demandas o requisitos de situaciones – Unidimensional


Fundamentación teórica

• Armonizar la medición con nuevas teorías cognoscitivas, investigación y enfoques educativos

• Evaluar procesos y conceptos cognoscitivos mediante:

Resolución de problemas semejantes a los de la vida real

Evaluación de habilidades para el pensamiento crítico

• Obtener una representación de los procesos cognitivos aplicados en el contexto del proceso de enseñanza-aprendizaje

• Integrar las teorías constructivistas del conocimiento a la evaluación

La PAA evalúa la aptitud académica mediante la operacionalización de ejercicios que requieren, de los examinados, la aplicación de procesos de razonamiento

Los componentes principales de la prueba son:

Propósito y usos de las pruebas

Validez predictiva • CORRELACIÓN Y REGRESIÓN MÚLTIPLE DE LAS PRUEBAS y PROMEDIO

GENERAL DE ESCUELA CON EL PROMEDIO EN PRIMER AÑO UNIVERSITARIO

• ESTUDIO DE VALIDEZ PREDICTIVA: – VARIABLE DEPENDIENTE = PROMEDIO GENERAL UNIVERSITARIO

– VARIABLES INDEPENDIENTES = PRUEBAS DE CB; PROMEDIO GENERAL DE ESCUELA SUPERIOR; OTRAS VARIABLES

Escala en que se informan las puntuaciones

de la Prueba de Aptitud Académica:

Promedio Teórico =500 Desviación Estándar = 100 Puntuación Máxima = 800 Puntuación Mínima = 200

Error de Medición: 30 a 35 puntos en la escala de 200 a 800

Las puntuaciones a escala se estandarizan, calibran y equiparan mediante procesos estadísticos

200 800

Items ->

500

Personas->

Mapa de personas e ítems Razonamiento Verbal


Las focas nadan velozmente, por eso el __________ oso blanco prefiere tenderles trampas para __________ y tener un buen bocado. (A) famoso … defenderlas (B) horrible … asustarlas (C) pesado … entretenerlas (D) inofensivo … matarlas (E) carnívoro … cazarlas


Itemes de Razonamiento Verbal

Clave: E

Respuesta correcta = 80%

Dificultad = 375

¿Cuál de las siguientes afirmaciones, según el contenido de la lectura, es una crítica sobre el mal manejo de la información? (A) El cambio hacia una nueva tecnología ha traído consecuencias penosas. (B) Las nuevas invenciones separan aún más a los seres humanos. (C) Los intereses económicos pueden impedir el acceso a la información. (D) La información electrónica debe estar en manos de los científicos solamente. (E) El acceso a la información puede fragmentar las clases sociales.



Clave: C


Dificultad = 560

¿En que aspecto difiere la lectura A de la lectura B? (A) Utiliza los animales para explicar la teoría de la evolución de

Charles Darwin. (B) Contrasta los distintos métodos de adaptación presentes en el

mundo animal. (C) La lectura A argumenta sobre la lucha por la existencia y la B

explica el afán de coexistir. (D) Presenta dos ideas diferentes sobre la selección sexual de distintos

animales. (E) Desarrolla diferentes puntos de vista sobre las teorías evolutivas

de Darwin.



Clave: D


Dificultad = 707

Las distintas versiones de la Prueba de Aptitud Académica (PAA)

Persiguen los mismos objetivos: Proveer información de ejecución cognoscitiva

(razonamiento) prospectiva

Validez predictiva

Miden la misma construcción lógica

Proveen los mismos niveles de precisión

Están sujetas a interpretaciones análogas


¿Cómo asegurarnos de que las distintas versiones de examen son comparables?

Desarrollo de pruebas mediante parámetros comunes

Análisis de unidad de medición y análisis estructurales

¿Cómo asegurarnos de que las dificultades y otras características de los ítemes o reactivos son comparables?

Desarrollo de ítemes calibrados y equiparados

¿Cómo asegurarnos de que las puntuaciones obtenidas en distintas versiones son comparables?

Desarrollo de escalas calibradas y equiparadas

Niveles de equivalencia


Por qué informar puntuaciones a escala

• Algunos problemas que resuelve el proceso de calibración y equiparación de escalas: DIFERENCIAS EN EXTENSIÓN DE LAS PRUEBAS

DIFERENCIAS EN DIFICULTAD

DIFERENCIAS EN HABILIDAD DE LAS POBLACIONES

ERROR DE MEDICIÓN COMPARABLE PARA DIFERENTES VERSIONES

INTERPRETACIÓN DE RESULTADOS • CONSISTENCIA

• COMPARACIÓN DE PUNTUACIONES

Definición de Validez

• El grado en que la evidencia empírica y los razonamientos teóricos apoyan la adecuacidad y propiedad de las conclusiones que se derivan de una evaluación, una medición o un instrumento.

• “The degree to which empirical evidence and theoretical rationales support the adequacy and appropriateness of conclusions drawn from an assessment, measure or instrument”

Tomado de Messick, S (1995) . Validity of Psychological Assessment: Validation of inferences from persons’ responses and performance as scientific inquiry into score meaning. American Psychologist, 50 p741-749)


Métodos y modelos para evaluar validez

VALIDEZ CONCURRENTE – Importancia para evaluar el significado de la prueba

• Con cuales variables o pruebas correlaciona • Con cuales variables o pruebas NO correlaciona

– Matriz de correlación multi-razgo/multi-método (“multitrait/multimethod)

Regresión múltiple- VALIDEZ PREDICTIVA

– Predictores mínimos

• promedio general de escuela superior • puntuaciones Prueba de Aptitud Académica

– Razonamiento Verbal – Razonamiento Matemático

– Otros predictores

• pruebas de aprovechamiento académico?? • variables adicionales ?? • análisis por subgrupos ??

– Criterio- promedio general univesitario

Factores que afectan estimados de validez

• Factores de selección y autoselección

• Distribuciones irregulares (no normales)

• Correlación entre los predictores (colinearidad)

• Confiabilidad de la(s) prueba(s) y del criterio (ej.confiabilidad de notas de primer año universitario)

Correlaciones PAA – SAT Validez concurrente para pruebas en lenguajes distintos

2000 1981

Pruebas

PAAM + APR MAT. vs SATM 0.85

PAAM vs SATM 0.83 0.80

PAAV + ESLAT vs SATV 0.83

SATV - ESLAT (INGLÉS) 0.76 0.76

SATM - SATV 0.67 0.76

PAAV - SATV 0.65 0.67

PAAM - PAAV 0.65 0.68

PAAV - SATM 0.61 0.61

PAAM - SATV 0.59 0.62

SATM - ESLAT (INGLÉS) 0.55 0.68

PAAM - ESLAT (INGLÉS) 0.52 0.64

PAAV - ESLAT (INGLÉS) 0.48 0.62

Correlaciones

N=1,724 N=361

AÑO AÑO


Universidad de Artes Liberales en PR

Reasoning PAA Verbal PAA Mat

High School GPA Count Mean Mean

1.99 - 1.50 37 429 405

2.49 - 2.00 489 442 432

2.99 - 2.50 1050 462 458

3.49 - 3.00 1004 485 468

4.00 - 3.50 663 514 502

380

400

420

440

460

480

500

520

540

1.99 - 1.50 2.49 - 2.00 2.99 - 2.50 3.49 - 3.00 4.00 - 3.50

Relation of PAA (Reasoning) results and High School GPA

400

420

440

460

480

500

520

540

560

0.49 -0.00

0.99 -0.50

1.49 -1.00

1.99 -1.50

2.49 -2.00

2.99 -2.50

3.49 -3.00

4.00 -3.50

Relation of PAA (Reasoning) results and First Year GPA

Reasoning PAA Verbal PAA Mat

First Year GPA Count Mean Mean

0.49 - 0.00 50 453 470 0.99 - 0.50 61 434 447 1.49 - 1.00 141 430 446 1.99 - 1.50 211 448 445 2.49 - 2.00 393 453 463 2.99 - 2.50 516 461 467 3.49 - 3.00 599 481 491 4.00 - 3.50 416 520 542

Análisis de validez predictiva Resultados por Facultad

(regresión multiple)

Facultad R R Square Std. Error of

the Estimate

Comunicación .575(a) .330 .52660

Educación .638(b) .408 .47579

Empresas .542(a) .293 .57485

Estudios Humanísticos y Sociales .596(b) .355 .52113

Naturales .566(a) .321 .53852

a. Predictors: (Constant), GPA de Escuela Superior, PEAU - Razonamiento Matemático, PEAU - Razonamiento Verbal b. Predictors: (Constant), GPA de Escuela Superior, PEAU - Razonamiento Verbal, PEAU - Razonamiento Matemático Variable Dependiente: Promedio 1er año universitario (Dependent variable: univ.GPA)


Validez predictiva

• La PAA añade validez predictiva a las calificaciones u otros criterios de admisión

• Pruebas reducen el error de predicción de las calificaciones de preparatoria

• Resultados típicos al predecir promedio general universitario:

Validez predictiva típica de: – la PAA: .40 a .65 – calificaciones anteriores: .35 a .45 – calificaciones y PAA: .50 a .70

• Para el proceso de selección de candidatos: – La PAA permite comparaciones más justas y

precisas entre candidatos que provienen de distintas escuelas • Candidatos evaluados con una misma métrica

PAA Verbal

PAA Mat

PAA Writing

High School GPA

Count Mean Mean Mean

77 (70 - 79) 284 509 540 541

83 (80 - 85) 673 533 556 567

88 (86 - 91) 632 555 575 592

94 (92 - 100) 411 593 599 619

480

500

520

540

560

580

600

620

640

77 (70 - 79) 83 (80 - 85) 88 (86 - 91) 94 (92 - 100)

Relación de PAA con indice de Esc.Superior

PAA Verbal

PAA Mat

PAA Writing

First Trimester GPA

Count Mean Mean Mean

2.5 170 509 527 545

3.0 297 519 542 549

3.5 590 548 560 580

4 660 577 601 609

Universidad Técnica – Santo Domingo -

480

500

520

540

560

580

600

620

640

2.5 3.0 3.5 4

Relación de PAA con Indice de primer trimestre

PAA Verbal

PAA Mat

PAA Writing

Second Trimester

GPA Count Mean Mean Mean

2.5 137 502 530 541

3.0 304 512 533 551

3.5 655 545 558 578

4 512 594 621 620

Universidad Técnica – Santo Domingo-

PAA

Verbal

PAA

Mat

PAA

Writing

Third

Trimester

GPA

Coun

t Mean Mean Mean

2.5 118 496 530 541

3.0 343 510 534 551

3.5 654 550 566 583

4 407 605 628 626

PAA Verbal

PAA Mat

PAA Writing

Fourth Trimester

GPA Count Mean Mean Mean

2.5 105 502 549 545

3.0 371 525 541 561

3.5 569 553 575 588

4 310 612 632 634

480

500

520

540

560

580

600

620

640

2.5 3.0 3.5 4

Relation of PAA results and Second Trimester GPA

480

500

520

540

560

580

600

620

640

2.5 3.0 3.5 4

Relation of PAA results and Third Trimester GPA

480

500

520

540

560

580

600

620

640

2.5 3.0 3.5 4

Relation of PAA results and Fourth Trimester GPA

3D Surface Plot of IndiceGeneral4 against @1eraPAAR.Verbal and @1era.PAAMatemÃ¡tico

StODomBaseDat2 302v*2001c

IndiceGeneral4 = 3.2705-5.6339E-5*x-0.0027*y+3.5733E-7*x*x+2.1132E-6*x*y+1.8911E-6*y*y

> 4

< 3.7

< 3.2

< 2.7

200

300

400

500

600

700

800

900

@1eraPAAR.V

erbal

200300

400500

600700

800900

@1era.PAAMatemÃ¡tico

1.5

2.0

2.5

3.0

3.5

4.0

4.5

Indic

eG

enera

l4

3D Surface Plot of Gpa_acumulado against PAA_Ver and PAA_Mat

SAGRADO 88v*748c

Gpa_acumulado = -0.5648-0.0016*x+0.0087*y+5.9155E-6*x*x-4.8934E-6*x*y-3.9485E-6*y*y

> 3

< 2.8

< 2.3

< 1.8

< 1.3

< 0.8

100

200

300

400

500

600

700

800

PAA_Ver

200

300

400

500

600

700

800

PAA_Mat

0.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

4.0

4.5

Gpa_acum

ula

do

3D Surface Plot of Gpa_acumulado against PAA_Ver and PAA_Mat

SAGRADO 88v*748c

Gpa_acumulado = -0.5648-0.0016*x+0.0087*y+5.9155E-6*x*x-4.8934E-6*x*y-3.9485E-6*y*y

> 3

< 2.8

< 2.3

< 1.8

< 1.3

< 0.8

100

200

300

400

500

600

700

800

PAA_Ver

200

300

400

500

600

700

800

PAA_Mat

0.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

4.0

4.5

Gpa_acum

ula

do

3D Surface Plot of IndiceGeneral4 against @1eraPAAR.Verbal and @1era.PAAMatemÃ¡tico

StODomBaseDat2 302v*2001c

IndiceGeneral4 = 3.2705-5.6339E-5*x-0.0027*y+3.5733E-7*x*x+2.1132E-6*x*y+1.8911E-6*y*y

> 4

< 3.7

< 3.2

< 2.7

200

300

400

500

600

700

800

900

@1eraPAAR.V

erbal

200300

400500

600700

800900

@1era.PAAMatemÃ¡tico

1.5

2.0

2.5

3.0

3.5

4.0

4.5

Indic

eG

enera

l4

UNIV. TECNICA EN

REP.DOMINICANA:

UNIV. ARTES

LIBERALES P.R. :

ALGUNOS RESULTADOS DE ANÁLISIS DE CLASIFICACION DE DESERTORES

En análisis discriminantes se observaron aumentos significativos en la capacidad de clasificación correcta de estudiantes retenidos y desertores al añadir los Indices Generales del año anterior y los créditos aprobados LAS CLASIFICACIONES CORRECTAS PARA LOS

CUATRO (4) TRIMESTRES AUMENTARON : • DE 52.8% - 57.8% USANDO PAA Y PROM.ESC.SUPERIOR

• AUMENTARON A 74.5%-90.7% AL AÑADIR INDICE GENERAL DEL AÑO ANTERIOR Y CREDITOS APROBADOS

Predicción de estudiantes desertores en el TERCER trimestre usando la Prueba de Aptitud Académica (PAA) , el Promedio General de Escuela Superior, Indice General del trimestre

anterior y créditos aprobados del trimestre anterior

CLASIFICACION CORRECTA= 85.6%

Predicción de estudiantes desertores en el CUARTO trimestre usando la Prueba de Aptitud Académica (PAA) , el Promedio General de Escuela Superior, Indice General del trimestre

anterior y créditos aprobados del trimestre anterior

CLASIFICACION CORRECTA= 74.5%

Independent Variable Importance

Importance Normalized Importance

1era PAA Razonamiento Verbal .242 88.3%

1era. PAA Matemático .274 100.0%

1era. PAA Redacción .257 93.9%

Indice Academico de Escuela Superior .227 83.0%

CLASIFICACION DE

IMPORTANCIA RELATIVA

(pesos) DE VARIABLES EN

LA PREDICCION DE LA

DESERCION USANDO

MODELOS NO-LINEALES

(“Neural Networks”) -MULTI-LAYER PERCEPTRON-

UNIVERSIDAD TÉCNICA

La investigación continúa

Los diseños para análisis de investigación de las variables que puedan impactar la retención de estudiantes continúan mediante:

Métodos no lineales y otros métodos

Exploracion de otras variables ACADEMICAS

SOCIO-ECONOMICAS

Análisis con otras poblaciones

NOTAS DE ESCUELA SUPERIOR EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES

SIN Y CON PLAN DE ESTUDIOS POSTSECUNDARIOS

0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

80.0%

90.0%

100.0%

Importancia SIN plan de estudios Importancia CON plan de es estudios

RESULTADOS EN PRUEBAS DE COLLEGE BOARD EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES CON Y SIN PROMEDIO ESCUELA SUPERIOR (NOTAS)

0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

80.0%

90.0%

100.0%

Sin Notas Con Notas

Validez de construcción lógica:

• La validez de construcción lógica evalúa la estructura INTERNA de un instrumento o medida y la red nomológica (red de significados) en la cual se ubica un instrumento o medida con respecto a otras variables o criterios EXTERNOS verificación mutua de definiciones e información derivada del instrumento de

medición y la TEORIA

• retroalimentación de la teoría y el instrumento de medición

Se evalúa si se observan las relaciones esperadas entre diversas variables y el instrumento de medición y si NO se observan las relaciones de variables que no se espera que tengan alguna relación significativa con el instrumento

investigación continua de las propiedades de la construcción lógica

inferencias e interpretaciones que se derivan de los USOS del instrumento

• Métodos para reducir las correlaciones de un conjunto de variables a un número menor de factores

• Objetivo : parsimonia

– Explicación económica de fenómenos complejos

• Identificar patrones de relación subyacentes de un conjunto de datos o para evaluar hipótesis sobre dichos patrones

Factor:

1 2 3

Aptitud Matemática 0.8009 0.3030 0.3456

Aprov Aritmetica 0.7110 0.2608 0.2590

Aprov Algebra 0.7005 0.3071 0.3024

Aprov Geometria 0.6496 0.2195 0.2826

Aprov Est_Prob 0.4852 0.1922 0.3027

InglésLectura 0.3028 0.7995 0.3686

Inglés Lengua 0.2772 0.7891 0.2176

Inglés Redaccion 0.2998 0.6837 0.2867

Aptitud Verbal 0.4136 0.3547 0.6699

Esp Lit_Lect 0.2506 0.2637 0.6350

Esp Lengua 0.3205 0.2053 0.6167

Esp Redaccion 0.2190 0.1768 0.4847

Extraction Method: Maximum Likelihood.

Varimax rotation converged in 6 iterations.

Resultados de análisis de “Multidimensional Scaling” :

CAMBIOS EN CONTENIDO Y ESTRUCTURA DE LA PEAU

Integración de los componentes de razonamiento de la PAA (Razonamiento Verbal

y Razonamiento Matemático) con los componentes de Aprovechamiento (Aprovechamiento en Español y Aprovechamiento Matemático) en una nueva estructura: Proveerá a todos los usuarios, tanto de Puerto Rico como de América Latina, con

herramientas de evaluación más amplias que respondan a las necesidades de admisión, ubicación y apresto para carreras. La nueva construcción lógica requerirá la medición de procesos y contenidos

dirigidos a medir habilidades, organización de conocimientos y destrezas Se desarrollará un solo instrumento que, a diferencia de la PAA, tendrá una

estructura multidimensional

Junto a las pruebas, se elaborará un cuestionario con variables que provean

información suplementaria que ayudará a identificar, entre otros aspectos, la probabilidad de retención de los candidatos, así como variables no-académicas que aporten a la predicción de éxito académico.

Interpretaciones de las pruebas ELASH, TOEFL Institucional y el “Common European

Framework” (CEF) en función de los resultados a escala

Objetivos de esta sección:

Familiarizar a los usuarios con las escalas de resultados ELASH Interpretación de equivalencias de las escalas de la prueba ELASH y la prueba TOEFL Relación de las escalas de ELASH con TOEFL y con las competencias del Common European Framework (CEF)

¿Que es ELASH?

English Language Assessment

System for Hispanics

Desarrollado por el College Board

para el mundo Hispanoparlante

English Language Assessment System for Hispanics

Características distintivas de ELASH

Todas las instrucciones, guías para estudiantes, hojas de respuesta y materiales administrativos están en Español

ELASH es sensitivo a las diferencias culturales: Toma en cuenta la transferencia e interferencia

linguística entre el Español y el Inglés

Está diseñado por especialistas en Inglés como Segundo Idioma (ESL) de Estados Unidos y América Latina

Características distintivas de ELASH

Provee una puntuación total y sub-puntuaciones en Listening

Language

Indirect Writing

Reading skills

Clasifica la ejecución de los estudiantes en cuatro etapas de proficiencia para cada área de contenido

Se puede aplicar independientemente del grado y puede usarse con estudiantes desde el sexto grado hasta niveles universitarios

ELASH Provee dos NIVELES

e información abundante para cada nivel

• ELASH I

• Enfatiza destrezas de principiante a destrezas intermedias

• ELASH II

• Enfatiza destrezas intermedias a destrezas avanzadas

ELASH clasifica la ejecución de los examinados en

cuatro niveles de proficiencia

Stage 1: NOVICE

Stage 2: LOW INTERMEDIATE

Stage 3: HIGH INTERMEDIATE

Stage 4: ADVANCED

ESCALA EN QUE SE INFORMAN LAS PUNTUACIONES DE ELASH

ESCALA ELASH:

Puntuación mínima: 40

Puntuación máxima: 200

Promedio Teórico = 120

Categorización de resultados para la prueba de Lengua y Redacción Indirecta (“Language Use and Indirect Writing”) y

Lectura y Vocabulario (“Reading and Vocabulary”)

Categoría Puntuación a Escala Nivel I Nivel II

Novice…………………………………………….. 40 – 89 40 - 89

Low Intermediate …………………………… 90 – 125 90 - 125

High Intermediate ……………………… 126 – 149 126-149

High Intermediate Plus …………………… 149 + n/a

Advanced ………………………………….. n/a 150-200

DISEÑO DE EQUIPARACIÓN PARA ELASH – “Equating” horizontal y vertical

ELASH I

Sección de equiparación ->

ELASH I

ELASH 2:

ELASH 2

ELASH I ELASH II

INFORME INSTITUCIONAL

ESCALAS EN LAS QUE SE INFORMAN LAS PUNTUACIONES DE ELASH Y TOEFL

ESCALA ELASH:



ESCALA TOEFL (“Paper Based Test;PBT”)



Comparación de escalas de resultados de TOEFL : versiones de Internet, computador y versión en papel

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

-3 -2 -1 0 1 2 3

ELASH

TOEFL

PERCENT I LA

PERCENTILES PARA ELASH Y TOEFL EN PUNTUACIONES Z (-3 A +3)

PUNTUACION Z (-3 A+3) PARA ELASH Y TOEFL (Escalas Independientes)

ELASH TOEFL (40 A 66) MIN(310)

67 A 79 310 A 350

80 A 93 351 A 400

94 A 107 401 A 450

108 A 120 451 A 500

121 A 136 501 A 550

137 A 150 551 A 600

151 A 164 601 A 650

165 A 170 651 A 670

171 A 172 671 A 677

(173 A 200) MAX(677)

MIN A ESCALA 40 310 MAX A ESCALA 200 677

ERROR ESTIMADO: +/- 2 (95%IC) +/- 6 (95%IC)

TABLA DE CONCORDANCIA ELASH – TOEFL

Desarrollo de concordancias de ELASH con el Marco Común Europeo (“Common European Framework”)

• METODO: Investigación para el establecimiento de estándares (“Standard-setting

Study”):

• El método para el establecimiento de estándares requirió de los juicios de paneles de expertos que establecieron recomendaciones de los requisitos de puntuación que corresponden con los niveles de conocimientos, destrezas, proficiencia y dominio de los resultados de los candidatos para clasificarlos en categorías.

• En el estudio específico de ELASH y el CEF se le proveyó información estadística de clasificación de la escala de ELASH (40 a 160 puntos) en 6 niveles óptimos que los expertos usaron como criterio adicional para contrastar las puntuaciones de ELASH con los 6 niveles del CEF

• Se generó una agenda de trabajo de más de 8 meses de los participantes principales para generar los criterios de equivalencia

Niveles de Proficiencia del Marco Común Europeo

El MCE clasifica en una escala de seis (6) niveles la proficiencia de lenguaje de reading, writing, speaking y listening, en una escala ordinal con seis categorías:

• • A1 – A2 (Basic User) –Básico-

• • B1 – B2 (Independent User) –Independiente-

• • C1 – C2 (Proficient User) –Proficiente-

TABLA DE CONCORDANCIA DE LOS NIVELES DEL MARCO COMUN

EUROPEO CON LOS NIVELES DE ELASH 1 Y 2

CEF N/A N/A A1- A1 A1+ A2- A2 A2+ B1- B1 B1+ B2- B2 B2+ C1- C1 C1+ C2- C2 C2+

N/A N/A BASIC INDEPENDENT PROFICIENT

NIVELES ELASH 1 LISTENING

COMPREHENSION 1 1 1 1 2 2 3 3 4 4 4

READING 1 1 1 1 2 2 2

VOCABULARY 1 1 1 1 2 2 2

LANG. USE (GRAMM.

ACCURACY) 1 1 1 1 2 2 2

ELASH 1 NOVICE 40-89

LOW INT.

90-125

NIVELES ELASH 2

LISTENING COMPR. 1 1 1 1 2 2 3 3 4 4 4

READING 1 1 1 1 2 2 2 3 3 3 4 4 4 5

VOCABULARY 1 1 1 1 2 2 2 3 3 3 4 4 4

LANG. USE (GRAM.

AC.) 1 1 1 1 2 2 2 3 3 3 4 4 4

ELASH 2 NOVICE 40-89

LOW INT.

90-125

HIGH INT.

126-149

ADVANCED

150-200

77

A1 A2 B1 B2 C1 C2 NIVELES CEF

¿Qué es PIENSE?

• Una batería de cuatro pruebas estandarizadas

• Evalúa destrezas cognoscitivas (de razonamiento y de pensamiento) con la prueba de Habilidad Cognoscitiva

• Evalúa el conocimiento en tres materias:

– Español, Matemáticas e Inglés

Niveles de PIENSE

• PIENSE I: para estudiantes en grados seis y siete

• PIENSE II : para grados nueve y diez

• Las pruebas se desarrollan considerando el nivel de

desarrollo cognitivo – PIENSE I : OPERACIONES CONCRETAS Y PRE-FORMALES – PIENSE II : OPERACIONES FORMALES

Escala en que se informan resultados de PIENSE

ALCANCE DE LA ESCALA: MíNIMA = 20 MAXIMA = 80 PROMEDIO = 50 DESVIACIóN ESTANDAR = 10

ESTA ESCALA SE UTILIZA PARA ESTIMAR EL NIVEL DE HABILIDAD O CONOCIMIENTO DE LOS ESTUDIANTES

RELACIÓN PIENSE - PAA Selección de la muestra

• Desarrollo de base de datos Pareo de estudiantes que tomaron la PAA 2 a 3 años después de haber

tomado PIENSE II

Casos únicos (sin duplicados)

Limpieza y verificación

• Puerto Rico

PIENSE II (2008-2010) y PAA (2011-2013)

Estudiantes de 9no y 10mo en PIENSE II solamente

• América Latina

PIENSE II (2005-2011) y PAA (2008-2013)

Composición de la muestra

• América Latina

• Puerto Rico

País Pública Privada Total

n % n % n %

MX 54,630 77.5% 14,220 20.2% 68,850 97.7%

Otros 88 0.1% 1,557 2.2% 1645 2.3%

Total 54,718 77.6% 15,777 22.4% 70,495 100.0%

Otros: Bolivia, Costa Rica, República Dominicana, Ecuador, El Salvador, Guatemala, Honduras, Panamá y Uruguay.

Tipo de Escuela n %

Pública 1,256 60.8%

Privada 735 35.6%

Otro sistema 74 3.6%

No identificado 2 0.1%

Total 2,067 100.0%

Correlaciones: PIENSE II, PAA y PACH

Puerto Rico PAA PIENSE II

Habilidad Español Mat. Inglés

Verbal 0.64 0.70 - -

Mat. 0.72 - 0.76 -

- - - -

PACH - - - -

Aprov. Ing 0.59 - - 0.80

Aprov. Mat 0.72 - 0.78

Aprov. Esp 0.65 0.75 - -

N = 2,051 (PIENSE-PAA); 1,872 (PIENSE – PACH)

Las correlaciones anteriores son estadísticamente

significativas a un nivel p < .001.

América Latina PAA PIENSE II

Habilidad Español Mat. Inglés

Verbal 0.62 0.66 - -

Mat. 0.62 - 0.73 -

Redacción

Indirecta 0.53 0.60 - -

N = Entre 70,494 (P2-C y Apt V) y 67,788 (P2-I y RI)

Las correlaciones anteriores son estadísticamente

significativas a un nivel p < .001.

Análisis Factoriales

• Método: Componentes Principales.

• Rotación Varimax con normalización Kaiser.

• Se presentan los factores con pesos ≥ .40 solamente

Puerto Rico

Factor

Factor Prueba I II III

I Apt. Mat (PAA) .819

I Mat. (PIENSE II) .810

I Aprov. Mat. (PACH) .802

I y II Habilidad (PIENSE II) .658 .487

II Aprov. Esp. (PACH) .816

II Apt. Verbal (PAA) .771

II Español (PIENSE II) .762

III Inglés (PIENSE II) .871

III Aprov. Inglés (PACH) .803

N = 1,862.

Convergió en 5 iteraciones.

América Latina

Factor

Factor Prueba I II III

I Mat. (PIENSE II) .872

I Apt. Mat (PAA) .816

I y II Habilidad (PIENSE II) .684 .412

II Red. Ind. (PAA) .865

II Apt. Verbal (PAA) .457 .738

II Español (PIENSE II) .691

III Inglés (PIENSE II) .956

N = 67,787 (97% México)

Convergió en 4 iteraciones.

Tablas de expectativas PIENSE II - PAA • En el componente de Aptitud Verbal empleando los resultados

individuales en la Prueba de Habilidad Cognoscitiva y la Prueba de Español de PIENSE 2 como predictores.

PIENSE II

Habilidad

PAA: Apt-V

(Puerto Rico)

PAA: Apt-V

(América Latina) 20-24 200 - 343 200 - 361 25-29 344 - 374 362 - 389

30-34 375 - 406 390 - 417 35-39 407 - 437 418 - 446

40-44 438 - 468 447 - 474 45-49 469 - 499 475 - 502 50-54 500 - 531 503 - 531

55-59 532 - 562 532 - 559 60-64 563 - 593 560 - 587

65-69 594 - 625 588 - 615 70-74 626 - 656 616 - 644 75-80 657 - 800 645 - 800

Modelo Puerto Rico América Latina

Constante 190.0909 222.148

Valor de P II Habilidad 6.253 5.655

Error del Estimado 85.443 76.3572

PIENSE II

Español

PAA: Apt-V

(Puerto Rico)

PAA: Apt-V

(América Latina) 20-24 200 - 344 200 - 360 25-29 345 - 377 361 - 392

30-34 378 - 410 393 - 424 35-39 412 - 444 412 - 455

40-44 445 - 477 456 - 487 45-49 478 - 510 488 - 519 50-54 511 - 544 520 - 551

55-59 545 - 577 552 - 582 60-64 578 - 610 583 - 614

65-69 611 - 643 615 - 646 70-74 644 - 677 647 - 678 75-80 678 - 800 679 - 800

Modelo Puerto Rico América Latina

Constante 180.79 204.666

Valor de P II Español 6.662 6.352

Error del Estimado 79.494 73.0758

Tablas de expectativas PIENSE II - PAA • En el componente de Aptitud Verbal al combinar los resultados en la

Prueba de Habilidad Cognoscitiva y la Prueba de Español de PIENSE 2 como predictor.

PIENSE II (C + E) PAA: Apt-V

40-59 200 - 355

60-69 356 - 393

70-79 394 - 431

80-89 432 - 469

90-99 470 - 508

100-109 509 - 546

110-119 547 - 584

120-129 585 - 622

130-139 623 - 660

140-160 661 - 800

Modelo

Constante 128.167

Valor de PII (C + E) 3.812

Error del Estimado 76.308

PIENSE II (C + E) PAA: Apt-V

40-59 200 - 361

60-69 362 - 397

70-79 398 - 433

80-89 434 - 469

90-99 470 - 506

100-109 507 - 542

110-119 543 - 578

120-129 579 - 615

130-139 616 - 651

140-160 652 - 800

Modelo

Constante 144.455



Puerto Rico América Latina

PIENSE 2 Habilidad Cognoscitiva + Español (eje horizontal; años 2005-2011) con PAA Razonamiento Verbal

(AptVer: eje vertical años 2008-2013) América Latina (N =70,493)

Tablas de expectativas PIENSE II - PAA • En el componente de Aptitud Matemática al combinar los resultados

en la Prueba de Habilidad Cognoscitiva y la Prueba de Matemáticas de PIENSE 2 como predictor.

PIENSE II (C + M) PAA: Apt-M

40-59 200 - 339

60-69 340 - 385

70-79 386 - 431

80-89 432 - 478

90-99 479 - 524

100-109 525 - 570

110-119 571 - 617

120-129 618 - 663

130-139 664 - 709

140-160 710 - 800

Modelo

Constante 63.559

Valor de PII (C + M) 4.631


PIENSE II (C + M) PAA: Apt-M

40-59 200 - 370

60-69 371 - 409

70-79 410 - 449

80-89 450 - 489

90-99 490 - 528

100-109 529 - 568

110-119 569 - 608

120-129 609 - 648

130-139 649 - 687

140-160 688 - 800

Modelo

Constante 133.307

Valor de PII (C + M) 3.971


Puerto Rico América Latina

PIENSE 2 Habilidad Cognoscitiva + Español (eje horizontal; años 2005-2011) con PAA Razonamiento Matemático

(AptMat: eje vertical años 2008-2013) América Latina (N = 70,488)

PIENSE 2 Habilidad Cognoscitiva + Matemáticas (eje horizontal; años 2008-2010) con PAA Razonamiento Matemático (AptMat: eje vertical; años 2012-2013)

Puerto Rico (N= 2,158)

Tabla de expectativas PIENSE II - PAA

• En el componente de Redacción Indirecta al combinar los resultados en la Prueba de Habilidad Cognoscitiva y la Prueba de Español de PIENSE 2.

PIENSE II (C + E) PAA: RI

40-59 200 - 385

60-69 386 - 417

70-79 418 - 450

80-89 451 - 482

90-99 483 - 514

100-109 515 - 546

110-119 547 - 578

120-129 579 - 610

130-139 611 - 643

140-160 644 - 800

Modelo

Constante 193.548



América Latina

Comparación de Modelos (USANDO LA SUMA DE LOS PREDICTORES)

Regresión (modelo) Población N R Error estándar

del estimado Coeficientes de modelo

(PII C + E) → PAA-V

Puerto Rico 2,055 .727 76.308 Constante: 128.167

PII (C + E): 3.812

América Latina 70,493 .704 69.0925 Constante: 144.455

PII (C + E): 3.629

(PII C + M) → PAA-M

Puerto Rico 2,053 .802 73.207 Constante: 63.559

PII (C + M): 4.631

América Latina 70,488 .742 74.3543 Constante: 133.307

PII (C + M): 3.971

(PII C + E) → PAA-RI América Latina 67,848 .621 76.5202 Constante: 193.548

PII (C + E): 3.216

Interpretación y uso de los resultados de las pruebas … · La medición del conocimiento tiene...

Documents

Transcript of Interpretación y uso de los resultados de las pruebas … · La medición del conocimiento tiene...