Proyecto de Mejoramiento de la Evaluación en las Academias

ADUNI – CESAR VALLEJO

TALLER DE CAPACITACION

Set - Oct – Nov

Módulo IV

Tema: Administración de Pruebas

Responsable : Mario Ríos Quispe

LA EVALUACION NACIO EL7MO DIA, “ES BUENO”EL DIABLO DIJO:¿COMO LO MIDIO?QUE INSTRUMENTO APLICO?¿CON QUE LO COMPARO?

PaisesPruebas

NacionalesInstitución responsable Pre Universitaria

Educación Básica

Brasil XInstitución Nacional de Evaluación

y Pesquisas Anisio TeixeiraPrueba INEP

Enseñanza media X

Colombia X Ministerio de EducaciónPrueba ICFES de

Educación Superior X

Chile X Ministerio de EducaciónPruebas PSU de

Educación Superior SIMCE

USA X Educational Testing Service SAT - IBO X

Pruebas Nacionales*

Anotamos que en 119 países del mundo se administran pruebas par el International Baccalaureate que es un ciclo previo a los estudios en las Universidades de los países signatarios de IBO.

Instituto Colombiano para el Fomento de la Educación Superior – ICFES

PROPÓSITOS DEL EXAMEN DE ESTADO

•Servir como un criterio para el Ingreso a la Educación Superior. 

•Informar a los estudiantes acerca de sus competencias en cada una de las áreas evaluadas, con el ánimo de aportar elementos para la orientación de su opción profesional. 

•Apoyar los procesos de autoevaluación y mejoramiento permanente de las instituciones escolares. 

•Constituirse en base e instrumento para el desarrollo de investigaciones y estudios de carácter cultural, social y educativo. 

•Servir de criterio para otorgar beneficios educativos.

 Componentes del Examen ICFES

Pruebas LLECE 1998 – 2000 UNESCO

Pruebas LLECE 1998 – 2000 UNESCO

Posición Lectura Matemáticas Ciencia L+M+C1 Japón 522 557 550 16292 Hong Kong 525 560 541 16263 Corea 525 547 552 16244 Finlandia 546 536 538 16205 Canadá 534 533 529 15966 Nueva Zelanda 529 537 528 15947 Australia 528 533 528 15898 Reino Unido 523 529 532 15849 Irlanda 527 503 513 154310 Austria 507 515 519 154111 Suecia 516 510 512 153812 Bélgica 507 520 496 152313 Francia 505 517 500 152214 Suiza 494 529 496 151915 Islandia 507 514 496 151716 Noruega 505 499 500 150417 Rep. Checa 492 498 511 150118 Estados Unidos 504 493 499 149619 Dinamarca 497 514 481 149220 Liechtenstein 483 514 476 147321 Hungría 480 488 496 146422 Alemania 484 490 487 146123 España 493 476 491 146024 Polonia 479 470 483 143225 Italia 487 457 478 142226 Fed. Rusa 462 478 460 140027 Portugal 470 454 459 138328 Grecia 474 447 461 138229 Latvia 458 463 460 138130 Luxemburgo 441 446 443 133031 Israel 452 433 434 131932 Bulgaria 430 430 448 130833 Tailandia 431 432 436 129934 México 422 387 422 123135 Chile 410 384 415 120936 Argentina 418 388 396 120237 Macedonia 373 381 401 115538 Indonesia 371 367 393 113139 Albania 349 381 376 110640 Brasil 396 334 375 110541 Perú 327 292 333 952

Resultados de PISA-OCDE 2000.2002

Fuente: OECD (2003) PISA, Literacy Skills for the Word of Tomorrow, FurthernResultsFrom PISA 2000. 2003 Paris, France. Tabla 3.3, p.287

Ranking Universitario 2007

Mediciones realizadas en el Perú

• Instituto Pedagógico Nacional de Varones 1941 (Cipriano Angles)

• Década del 70, pruebas metrizadas

• Década del 90, pruebas pilotos estandarizadas

• 2002, Pruebas Magisterio Nacional, (Piscoya Hermoza)

• Ranking Universitario (Ranking of world)

A manera de Diagnóstico

• Nula Experiencia en Administración de pruebas

• Se puede medir indiciariamente bajo pruebas de opción múltiple.

• El que siga siendo lo principal (POM) en la medida que el estudiante debe disponer para seguir con éxito su vida universitaria.

• Características formales de la prueba como motivo de información, siempre hay detalles

Crítica entendible a las pruebas de selección múltiple• “….. De lo que se trata en este caso no es

decidir en general cual es el mejor procedimiento de evaluación posible sino de decidir cual es el procedimiento mas adecuado y de ejecución realizable que posibilite que se evalúe con la mayor eficiencia y equidad posible a un universo de aproximadamente …… personas en las mismas condiciones, con iguales criterios y en la misma unidad de tiempo”

• Luis Adolfo Piscoya Hermoza

Capacidades o Competencias Mentales

• Identificar información pertinente

• Analizarla lógicamente

• Construir inferencias

• Ejemplificar

• Contraejemplificar

• Establecer generalizaciones

• Conexiones significativas

Acerca del Marco Conceptual a trabajar en las pruebas tipo admisión y en general en

pruebas estandarizadas• Contraposición de capacidades con

competencias• Directiva: desarrollar y flexibilizar las

capacidades con independencia de si se es consciente o no.

• Lo logrado en el campo de las neurociencias es débil

• El trabajo en el aula con las capacidades como se presentan puede ser muy recargado

• No hay registro en la historia de la ciencia de planificar que habilidades desarrollar.

• Lo que es factible es que a través de los procesos de E-A se pueda identificar y distinguir que capacidades ha adquirido.

• Cuando se asume un desdoblamiento de capacidades, habilidades y destrezas bien “precisas” estamos en un problema de acomodo de terminología y administración de procesos

EJEMPLOS:

PENSAMIENTO

CAPACIDAD PARA SOLUCIONARPROBLEMAS

CRITICO

CREATIVO PENSAMIENTO CIENTIFICO

CAPACIDAD

ANALIZAR

INFERIR

INTERPRETAR

CAPACIDAD GENERAL(HIPOTETICO DEDUCTIVA)

REGIÓN PLAZAS INSCRITOS I/PLORETO 4385 7377 1.68UCAYALI 1463 3807 2.60MADRE DE DIOS 295 956 3.24SAN MARTÍN 1036 5055 4.88APURÍMAC 943 5173 5.49AYACUCHO 1396 7677 5.50PASCO 412 2374 5.76CALLAO 791 4617 5.84AMAZONAS 433 2630 6.07HUANCAVELICA 913 5658 6.20LIMA PROVINCIAS 1076 7109 6.61HUÁNUCO 807 5919 7.33JUNÍN 1017 9483 9.32PI0..A 900 8746 9.72LIMA METROPOLITANA 2787 28139 10.10ANCHASH 1049 10629 10.13CUSCO 1069 12718 11.90MOQUEGUA 98 1192 12.16TUMBES 105 1348 12.84CAJAMARCA 822 13130 15.97AREQUIPA 481 9477 19.70PUNO 725 14287 19.71LA LIBERTAD 537 11140 20.74TACNA 78 1662 21.31LAMBAYEQUE 179 4483 25.04ICA 173 4807 27.79

 TOTALES 23970 189593 7.91

RAZONVACANTE (V)POSTULANTE (P)

V/P

Reseña Histórica de la PUCP en relación a pruebas de admisión

• Mitad del siglo pasado, solo conocimientos ó acumulación de conocimientos “de universa”

• Estudios orales de varios días (jurados mixtos) (UE)

• Estudios de psicólogos y pedagogos (1950)

• “para acceder a los estudios superiores era necesario que los estudiantes tuvieran aptitudes y capacidades intelectuales”

Factores a considerar

• Masificación y acceso a la universidad

• Condición de competitividad: 60% de la población en estudios superiores

• Experiencia de las test vocacionales aptitudinales en los reclutas (II guerra mundial) elevó el sistema de evaluación

• Pruebas objetivas (década del 70)

Carecían de validez y confiabilidad• Validez

• Confiabilidad

• Problemas que se traducía en problemas de costos en el sentido que se tenía que tomar un tercer evaluador para atenuar el error

Conocimiento Aptitud

Entendemos que las aptitudes de alguna manera se van desarrollando en la secundaria, pues ella es algo que se va construyendo

Por ejemplo: Tener aptitud para aprender implica se un buen universitario

Situación que debemos considerar

¿Qué es conocimiento?

¿Qué es aptitud?

Desventajas de pruebas objetivas

• Se suele dar importancia al instrumento

• Tiende a mecanizarse

• Se vuelven técnicos en den descartar opciones falsas

Aspectos que no evalúan las pruebas

• Fluidez verbal

• Capacidad práctica para aplicar conocimientos

• Equilibrio emocional

• Sensibilidad social, honradez, creatividad, sinergia, iniciativa, fuerza de voluntad, constancia

Aspectos que tendrían que trabajar los que administran pruebas

• Preguntas con nexos verbales que midan la fluidez verbal

• Plan de redacción que midan la capacidad de ordenar ideas

• Juegos lógicos, que midan la capacidad de conjugar condiciones dadas para llegar a resultados correctos

• Implicación exclusión que mida la capacidad de distinguir lo general de lo específico

“La calidad de los estudiantes que ingresan a la universidad depende de tener un adecuado sistema de selección, pero también de la calidad y cantidad de individuos que postulan. Cuando solo ingresa uno de cada diez postulantes, se puede esperar que los ingresados sean mejores que si ingresan uno de cada dos”.

Diversificación de las modalidades de ingreso

• Prueba objetiva a los egresados de secundaria (aptitud)

• Pruebas mixtas (ejm. UNMSM)• Notas de secundaria• La ACADEMIA puede irse perfilando así,

como una interfase formativa para asegurar el éxito en su vida universitaria.

• Se presenta ante la gran brecha que hay entre la secundaria y la universidad y es una opción a considerar.

Número de preguntas por materia en examen de admisión

Pruebas Futuras

• Pruebas dirigidas a toda la región que tengan rasgos comunes de la educación secundaria.– Lenguaje social– Lenguaje de ciencias básicas– Lenguaje Matemático

• Se construyen tres tipos de prueba que se desenvuelven de forma aleatoria

• La construcción de preguntas no asume la hipótesis tradicional que afirma que existe una frontera clara entre habilidades, capacidades y conocimientos

Establecimiento de grados de dificultad

Validez del constructo

• Aporte Educational testing services (preguntas de opción múltiple de calificación automática.

• No se puede medir una habilidad cognoscitiva sin recurrir a un conjunto de conocimientos.

• Aporte PISA, nueva definición de alfabetización– Lenguaje social– Lenguaje matemático– Lenguaje de las ciencias básicas

• PISA, no es posible medir a través de una prueba escrita alguna habilidad o aptitud con independencia de algún tipo de conocimiento manifestado en un sistema de concepto.

• Aporte epistemológico, diferencia entre lenguajes social, lenguaje matemático y conceptos científicos

• Establece la limitación de las preguntas de opción múltiple y de ensayo ambas constituyen interpretaciones relativas o parciales de la habilidad capacidad, aptitud o competencia que se pretende medir.

• Característica de las pruebas– Preguntas de lenguaje social– Preguntas de lenguaje científico (prioridad)– Otros: lenguaje icónico, gráfico, visual

• Prueba de matemática, que salga de lo algorítmico en estricto hacia un nivel de pensamiento complejo que se expresa en razonamiento intuitivo operacional que en apariencia no tiene orden lógico.

• Prueba de ciencias básicas, – Manejo de símbolos generalmente matematizados– Capacidad para observar modelar diseños experimentales– Comprender mecanismos y relaciones de causalidad– Conceptualizar procesos naturales

Prueba Nacional de Medicina (ENAM)

• La evaluación de un principio replantea la forma y los contenidos de un currículo

• Destaca la función pedagógica de la evaluación del aprendizaje,

• Características:– No es una evaluación por competencias sino

cognitiva– En dos años de trabajo no se ha plasmado la

taxonomía de Bloom, empero las que diseñan las pruebas y los items quienes han definido apriori sus grados de dificultad.

Control de Calidad de la Prueba

• Grado de dificultad

• Indice de discriminación

UNALM

• Principio de selección– Derecho al acceso a todos los niveles de

educación pero con una alta selección que esté en función a sus capacidades y no a su posición social

– Abugattas: “el carácter democrático de la educación superior deberá estar garantizado por las modalidades de selección que no debe permitir forma alguna de discriminación por razón de clase, origen étnico, condición económica”

Estructura del examen

• Razonamiento verbal matemático– 40% de la prueba (140 --- 100 pgtas)

• Dos conceptos a trabajar– Aptitud académica

• Lógico matemática• Lógico lingüística

– Nivel de conocimiento• Está asociado a la educación básica

Banco de preguntas

• Se incrementa cada 06 meses• Profesores formuladores (3 docentes por

materia) y otro de profesores revisores• El comité asesor de admisión entrega a los

profesores seleccionados las pautas requiriendóseles determinadas cantidad de preguntas en razón de su experiencia.

• Los formuladores añaden su percepción de grado de dificultad de las preguntas y los revisores valoran la calidad de las preguntas y valida el grado de dificultad

Comisión de Prueba estandarizada

• 06 personas quien nombra a 14 profesores, quienes conseguirán 140 preguntas

• El haber tomado pruebas sin banco de preguntas hacía crecer el grado de dificultad de una prueba.

• El conformarlo de manera eventual, dificulta la estabilidad en la construcción de pruebas

Resultados de Mejora

Opciones de ingreso (03 factores)• Aptitudes para el trabajo universitario (prueba

de aptitudes)• Conocimientos suficientes (prueba de

conocimientos)• Querer estudiar!!!!!!!

“Las teorías conductuales recalcan que la motivación ayuda a dirigir al atención e influye en la forma de procesar información”

Criterios a tener en claro en la elaboración de preguntas?

• Estructura de las preguntas

• Ponderación

• Grados de dificultad

• Banco de preguntas renovables

• Conocimientos que resulten integradores de saberes aislados

La prueba es insuficiente

• Control emocional

• Vocación

• Inteligencia emocional

• Habilidad psicomotriz

• Desempeño ético

Problemas que puede caer una prueba estandarizada

• Elaboración rutinaria

• Uso no ético de los recursos tecnológicos

• Falta de conocimientos y quizá difusión de las investigaciones realizadasa aspectos de confiabilidad, validez predictiva, capacidad discriminatoria.