DISEÑO DE ÍTEMS ABIERTOS DE CIENCIAS SOCIALES · PDF filediseÑo de...

DISEÑO DE ÍTEMS ABIERTOS DE CIENCIAS SOCIALES A PARTIR DE TEXTOS VERBALES E ICÓNICOS, PARA

ALUMNOS DEL NIVEL MEDIO DE EDUCACIÓN.

Andrés Nussbaum Dirección Nacional de Información y

Evaluación de la Calidad Educativa (DINIECE) Ministerio de Educación de la Argentina.

1ª Reunión Internacional de Evaluación en Educación Media Superior y Superior”

2

INTRODUCCIÓN La Dirección Nacional de Información y Evaluación de la Calidad Educativa (DINIECE) del Ministerio de Educación de la Argentina, elabora evaluaciones de Ciencias Sociales desde hace aproximadamente 15 años. Estas evaluaciones, principalmente constituidas por reactivos cerrados o de opción múltiple, también incorporan reactivos abiertos o de construcción de respuesta, basados principalmente en textos verbales e icónicos. Dichos reactivos conforman una potente herramienta para analizar la comprensión que los alumnos poseen de los procesos sociales –históricos, geográficos, cívicos- y evidencian las capacidades desarrolladas a partir del trabajo en las aulas así como también los logros y las carencias de los procesos de enseñanza y de aprendizaje en relación con los contenidos y las capacidades, principalmente desde la adopción de la Teoría de Respuesta al Ítems –TRI- y la elaboración de pruebas referidas a criterios. LOS OPERATIVOS NACIONALES DE EVALUACIÓN -ONE- DE LA DINIECE La DINIECE elabora desde 1993, Operativos Nacionales de Evaluación (ONE) para evaluar diferentes capacidades de los alumnos de escolaridad primaria y secundaria o media en cuatro grandes áreas del conocimiento: Ciencias Naturales, Ciencias Sociales, Lengua y Matemática. Entre los logros de este proceso se destacan “… la realización de (doce) Operativos Nacionales de Evaluación de la Calidad Educativa (…), la producción de las Recomendaciones Metodológicas para el mejoramiento de las formas de enseñanza de los docentes y de los aprendizajes de los alumnos (…), la creación y desarrollo de experiencias de evaluación y de sistemas jurisdiccionales de evaluación de la calidad educativa, el asesoramiento para el desarrollo de sistemas provinciales de evaluación (…), el apoyo técnico-pedagógico brindado a los Ministerios de Educación Jurisdiccionales en el desarrollo y fortalecimiento de sus propios equipos técnicos, el uso de los resultados de la evaluación en el debate político, su difusión por los medios de comunicación y el aprovechamiento que los diversos actores del sistema educativo han hecho de la información producida …” (Fasce, Jorge y Leones, Mariela -2005- Recorrido político y técnico pedagógico en el proceso de elaboración, justificación y validación de los criterios de evaluación, Ministerio de Educación de la Nación, DINIECE). Por otra parte, la DINIECE aplica, conjuntamente con las evaluaciones, cuestionarios complementarios a alumnos, docentes y directores para ampliar y cruzar la información obtenida con dichas evaluaciones de contenidos y capacidades. También se implementan encuestas a docentes, sobre contenidos disciplinares para comprobar su relevancia en el trabajo de aula.


3

ELABORACIÓN Y PROCESAMIENTO DE LAS PRUEBAS

Hasta 2003, las tablas de especificaciones mostraban los contenidos y capacidades (reconocimiento de hechos y datos, reconocimiento de conceptos, interpretación de fuentes, análisis de situaciones, comunicación y reconocimiento de valores) de las pruebas de Ciencias Sociales –y de las demás áreas-, consensuados por especialistas disciplinares y pedagogos, además de representantes técnicos provenientes de las jurisdicciones del país. Con el reciente cambio de evaluaciones referidas a normas a evaluaciones referidas a criterios y la incorporación de la TRI (proceso descrito en el siguiente punto), las tablas de especificaciones incorporaron los niveles de desempeño esperado que incluyen los contenidos y capacidades evaluados de los alumnos. (Anexo 1: Tablas de especificaciones de Ciencias Sociales) Los ONE van precedidos de operativos piloto muestrales para probar y validar reactivos y validar o reelaborar criterios o niveles de logro de los alumnos. Luego de los pilotos y con el procesamiento de los datos y la eventual reelaboración de los ítems o reactivos pertinentes, se producen los cuadernillos o módulos para el ONE. Además, anteriormente a la aplicación de las pruebas se realizan lecturas críticas por expertos disciplinares y pedagogos externos e internos. Asimismo, se estima que en cada cuadernillo o modelo, un tercio de los reactivos debe corresponder – a priori – a cada nivel de desempeño esperable y todos estos cuadernillos deben tener un grupo de ítems (“set”) de anclaje horizontal – un conjunto de ítems iguales en todos los modelos – y vertical – que provengan de operativos anteriores – para validar los reactivos y poder trazar comparaciones. Una vez realizado el operativo, los resultados se procesan según frecuencia de respuesta y según la TRI. Los reactivos cerrados se procesan a través de lectora óptica y los abiertos son corregidos por 500 docentes de todo el país mediante un programa informático que permite la corrección a distancia. Una vez obtenidos los datos se elaboran informes de resultados y recomendaciones pedagógicas para ser trabajados en las escuelas. LOS CRITERIOS DE EVALUACIÓN En el año 2005, la DINIECE produjo innovaciones en el proceso de elaboración y procesamiento de los instrumentos de evaluación. Este cambio significativo tiene que ver con el paso de pruebas referidas a normas (PRN) a pruebas referidas a criterios (PRC), es decir, que el foco de atención se trasladó desde la comparación de los resultados entre poblaciones de alumnos a la descripción de lo que los alumnos saben y son capaces de hacer. En este reemplazo se adoptó la Teoría de Respuesta al Ítems (TRI) – o Teoría del Riesgo Latente – para el procesamiento y la producción de los resultados.


4

Si bien en la bibliografía disponible no existe uniformidad en cuanto a la definición de las pruebas referidas a criterio, se puede definir “criterio” como “dominio de contenidos”. “La definición que hoy es la más aceptada es la de Popham (1978): Un test referido al criterio se utiliza para evaluar el estatus absoluto del sujeto con respecto a algún dominio de conductas bien definido” (Fasce, Jorge y Leones, Mariela, 2005, op.cit). La Teoría de Respuesta al Ítems (TRI) permite establecer puntos de corte estadístico para determinar el nivel de desempeño de los alumnos de una población evaluada. En la DINIECE se han tomado hasta el momento tres niveles de desempeño de los alumnos referidos a los reactivos evaluados: bajo, medio y alto, por lo que resultan de esta gradación dos puntos de corte estadístico y pedagógico. Estos criterios se producen teniendo en cuenta, como se dijo, las capacidades y los contenidos disciplinares evaluados; en otras palabras, los criterios explicitan qué es lo que logran hacer los alumnos con los reactivos que a priori son de desempeño bajo, de desempeño medio o de desempeño alto. (En anexo 2 se presenta una tabla de criterios elaborada para 9º año de la escolaridad secundaria o media) ÍTEMS CERRADOS O DE OPCIÓN MÚLTIPLE E ÍTEMS ABIERTOS O DE CONSTRUCCIÓN DE RESPUESTA “… Si tienes intuición, puedes pasar el examen de ingreso a la universidad aunque no tengas ni idea. Y yo tengo mucha intuición. En cuanto me dicen ‘Elija la respuesta correcta entre las tres siguientes, ya sé qué contestar…” Haruki Murakami, Tokio Blues. Norwegian Word. Ambos tipos de reactivos o ítems, cerrados y abiertos, son válidos y sirven para medir diferentes capacidades de los alumnos en relación con determinados contenidos evaluados. También presentan ventajas y desventajas en cuanto a su formulación, corrección, procesamiento e interpretación. En esta ponencia nos centraremos en el análisis de los reactivos abiertos o de construcción de respuesta. Como se dijo arriba, en las evaluaciones de Ciencias Sociales elaboradas por la DINIECE, se presenta un conjunto de ejercicios o ítems cerrados, es decir, de opción múltiple, y un conjunto bastante más acotado, de ejercicios abiertos, es decir, en los que los alumnos deben construir su respuesta de manera breve o extensa mediante descripción, explicación, contrastación, interpretación, completamiento o síntesis. ¿Qué ventajas y desventajas presentan los reactivos abiertos en relación con los ítemscerrados? Los ítemso reactivos abiertos permiten evaluar capacidades que los de opción múltiple no, entre ellas la capacidad de comunicación. Se aprende lo que se puede comunicar y para comunicar lo aprendido, se ponen en juego capacidades de jerarquización, ordenamiento y síntesis conceptual. Estos reactivos demuestran con mayor evidencia la habilidad de razonamiento de los alumnos y favorecen la capacidad de comprender que existen respuestas múltiples – y la capacidad de poder producir esas


5

respuestas –, contrariamente a la unicidad de respuestas que exigen los reactivos de opción múltiple. Estos reactivos conforman un importante insumo para generar recomendaciones pedagógicas destinadas a los docentes del nivel medio, ya que este tipo de instrumentos permite evaluar aprendizajes más complejos que en el caso de los ítems cerrados, así como también son superadores por cuanto vuelven evidente la comprensión que el alumno tiene sobre determinado tema o concepto específico. Por último, en los reactivos de construcción de respuesta se elimina o minimiza el porcentaje de azar que puedan tener los reactivos de opción múltiple. Sin embargo, a esta información valiosa que surge del procesamiento y análisis de los ítems abiertos se agrega como contraparte, la mayor complejidad de su elaboración – no tanto en el cuerpo del ítems, que hasta podría pensarse como más elemental, ya que no conlleva la elaboración de opciones, sino en la producción de las grillas de corrección, necesarias para especificar la capacidad requerida independientemente de la redacción o manejo del lenguaje del alumno- y de su posterior procesamiento. En este sentido, en la DINIECE se elaboró un software específico que permite la corrección a distancia y favorece la rapidez en la obtención de los datos. En dicho programa informático, se cargan las grillas de corrección previamente elaboradas y la totalidad de ítems respondidos (se incluyen los omitidos) por los alumnos en el operativo. Este procesamiento de resultados en línea, requiere trabajar con la totalidad de la muestra pues eso exige la TRI, lo que, en principio y a pesar de la mencionada rapidez en la obtención de los datos, vuelve un poco más lento el proceso. Para agilizarlo, se estudia crear un bloque o conjunto pequeño de ítems abiertos separados del resto de la evaluación compuesta por los ejercicios de opción múltiple para los próximos operativos nacionales de evaluación. Además, contrariamente a las hipótesis que trazan algunos actores del sistema educativo, en el sentido de que muchos alumnos podrían responder de manera incorrecta u omitir la respuesta de los ítems de opción múltiple (cerrados) debido a que son instrumentos poco habituales en las evaluaciones en las aulas en educación media, los ejercicios abiertos (más parecidos a los del aula) presentan mayores niveles de omisión, que aumentan a medida que avanza la escolaridad. LA EVALUACIÓN EN CIENCIAS SOCIALES La enseñanza de las Ciencias Sociales – y la evaluación como parte integrante o instrumento del proceso de aprendizaje – resulta compleja por múltiples razones; ya desde el nombre se puede reconocer la primera dificultad: tanto desde el conocimiento lego, común, como desde el rol de los pedagogos y especialistas, suele reservarse el concepto de “ciencia” para otras disciplinas “no-sociales”. Esta discusión, que está obviamente fuera de los alcances de esta ponencia, no es menor por cuanto trasciende lo científico para instalarse ideológicamente en el conjunto de la sociedad. Sin embargo, se acuerda –adaptado de las “ciencias” a las ciencias sociales – con que “…enseñar ciencias (sociales) … es tender puentes que conecten los (sujetos) y los hechos (sociales) o conocidos por los


6

alumnos con las entidades conceptuales o modelos construidos por la ciencia para explicarlos. Estos modelos son potentes y generalizadores porque pueden ser aplicados a nuevas situaciones y comprobar que también funcionan; y porque son útiles para predecir y tomar decisiones” (Bahamonde, 2008). Por otra parte, la evaluación en Ciencias Sociales tiene particularidades que le confieren un enorme valor, pero como contrapartida, una profunda debilidad. En el primer caso, la posibilidad de apreciar – además del reconocimiento fáctico – la capacidad crítica de los alumnos, de comprobar la comprensión de temas que pueden tener una multiplicidad de respuestas – en reactivos abiertos –, la posibilidad de evidenciar el análisis de realidades sociales complejas, la organización de ideas, la elaboración de pensamientos divergentes simultáneos y coherentes (Gurevich, 2007), etc. En el segundo de los casos, el sesgo ideológico se pone en la mira mucho más que en cualquier otro campo disciplinar, lo que redunda en profundos debates de qué evaluar y cómo hacerlo sin caer en la doble trampa de pretender objetivar la evaluación o de representar intereses sectoriales tendientes al adoctrinamiento. Es por esto que resulta más complejo instalar las evaluaciones de Ciencias Sociales en el sistema educativo, que las evaluaciones de otras áreas, con reconocimiento de “objetividad” y por ende, de “cientificidad”. La evaluación en Ciencias Sociales, como en cualquier otro campo del saber escolar, es parte fundamental en los procesos de enseñanza y de aprendizaje. Y es fundamental porque permite por un lado medir los aprendizajes cognitivos conceptuales y procedimentales, pero además, porque favorece la retroalimentación de dichos procesos de enseñanza y de aprendizaje a través de la internalización de los aciertos y errores del proceso, surgidos en la evaluación. En este proceso se mide no sólo el conocimiento de los contenidos, sino también el entendimiento o comprensión de ellos a través de determinadas habilidades implicadas. En un sentido, mientras que la evaluación dentro del aula en Ciencias Sociales, en cualquiera de las asignaturas correspondientes al área, como geografía, historia, economía, antropología, formación ética y ciudadana, etc., puede ser de carácter sumativo (como fin en sí mismo, es decir como medición de un resultado final de los procesos de enseñanza y de aprendizaje) y también formativo (como parte de la retroalimentación de esos procesos) aún cuando en la práctica muchas veces este último carácter esté minimizado, en las evaluaciones desarrolladas por la DINIECE, al carácter sumativo evidente, se adiciona también el formativo, pues a través del proceso de elaboración, difusión y discusión de las propuestas pedagógicas e informes de resultados en las escuelas, estas evaluaciones también buscan retroalimentar los procesos de enseñanza y de aprendizaje. En el aula, las evaluaciones de Ciencias Sociales presentan otra dificultad adicional a la comprensión de los conceptos disciplinares: la necesidad de jerarquización, pertinencia conceptual y organización de la respuesta. Así, el docente se encuentra a veces con que el alumno responde utilizando los conceptos solicitados, pero su respuesta no es clara. Por ello, en ocasiones le asigna menor puntaje a esa respuesta y busca justificar dicha merma. En este sentido, los docentes de ciencias sociales suelen calificar las respuestas de sus alumnos de manera intuitiva o a-sistemática, sin elaborar grillas de corrección que permitan, por ejemplo, discernir entre respuestas que presentan de manera ordenada y


7

jerarquizada los conceptos centrales, de aquellos que presentan los conceptos principales, aunque de forma fragmentada y desjerarquizada o bien de aquellos que responden de acuerdo con lo expuesto en la consigna, pero con conceptos poco relevantes o imprecisos y finalmente, de aquellos cuyas respuestas, poco o nada tienen que ver con lo que se expone en las consignas. Paula Carlino (2005) presenta una interesante grilla de corrección para evaluaciones en el sistema universitario o superior. Estas grillas, necesarias para la evaluación de aula, pero imprescindibles para elaborar reactivos y procesar, analizar e informar los resultados de evaluaciones nacionales, se presentarán más adelante. EVALUACIÓN EN CIENCIAS SOCIALES EN LA DINIECE El objetivo de la evaluación en Ciencias Sociales en los Operativos Nacionales de Evaluación está centrado en dos preguntas relevantes: ¿qué se está aprendiendo y enseñando?, y ¿cómo aprenden los alumnos? Ambas preguntas apuntan a lo que se planteó con anterioridad: se busca apreciar no sólo el conocimiento adquirido sino también la comprensión de lo aprendido y las habilidades puestas en práctica para la apropiación de esos conocimientos. Sin embargo, este proceso está incompleto si no se tiene en cuenta un paso siguiente, conformado por los informes de resultados y las recomendaciones pedagógicas destinados a los docentes y directivos del país, para que allí, en las escuelas, se trabaje a partir de las fortalezas y las debilidades que las evaluaciones evidencian. LOS ÍTEMS ABIERTOS O DE CONSTRUCCIÓN DE RESPUESTA DE CIENCIAS SOCIALES

En las evaluaciones nacionales de Ciencias Sociales producidas en la DINIECE, los ítems o reactivos abiertos se presentan en general a través de un texto verbal o de un texto icónico. Texto verbal es aquel en el que se emplean oraciones y párrafos, es decir, un relato escrito, y texto icónico, aquel que emplea recursos gráficos como esquemas, mapas, planos, fotografías, imágenes de satélite, dibujos, tablas, etcétera, y su paratexto correspondiente. Ambos tipos de texto son potentes para evaluar capacidades de interpretación y análisis de situaciones en Ciencias Sociales. Los recursos visuales, que se han incorporado marcadamente en la educación formal, han venido situándose en un lugar de fuerte impronta respecto de los textos verbales. Por la masiva presencia social de recursos de entretenimiento e información dominantemente visuales, como la televisión y la informática, principalmente Internet, la educación de la modernidad en Ciencias Sociales, caracterizada por la dominancia del texto verbal, del libro (entendido como relato), ha sido reemplazada en gran medida por la educación de la posmodernidad, aún en sectores marginados socio-económicamente. Esta característica de dominancia visual que es arquetípica de los primeros años de escolaridad, también se observa en los años superiores. Por ello resulta necesario evaluar valiéndose de estos recursos muy útiles para los procesos de enseñanza y de aprendizaje y entendiendo que ambos tipos de texto son complementarios.


8

En estos reactivos, que requieren construcción de respuesta a partir de textos verbales e icónicos, se espera que esas respuestas de los alumnos puedan ser tanto breves, como por ejemplo, cuando se pide sintetizar el texto presentado a través de un título o completar los casilleros de una tabla; como de respuesta más extensa tipo ensayo, que requiere producir un relato coherente. Para el procesamiento estadístico de este tipo de reactivos resulta imprescindible, como se dijo anteriormente, producir una precisa grilla de corrección, elaborada a priori y validada a través de las pruebas piloto. Estas grillas suelen presentar, aunque no es condición excluyente, cuatro códigos fundamentales que en ocasiones se abren en varios más; ellos son “respuesta correcta”; “respuesta parcialmente correcta”; “respuesta incorrecta” y “respuesta omitida”. (Ver grillas de ejemplos en anexo 3). ANÁLISIS DE REACTIVOS EVALUADOS

Los reactivos presentados a continuación (Anexo 4: ítems 13, 14 y 15 del Modelo 1, Piloto 2007) fueron evaluados en Operativos Piloto de 2007, y los resultados que se presentan son los porcentajes de respuestas correctas de una pequeña muestra, en cada una de las categorías mencionadas en el apartado anterior (grillas de corrección). En los ítems 13, 14 y 15 del modelo 1, correspondientes al último año de la escolaridad media, se presenta una secuencia de un proceso de degradación ambiental característico de la meseta patagónica del sur argentino: la desertificación. A partir de esta secuencia gráfica, con paratexto, se pregunta: ¿En qué área de la Argentina ocurre este proceso?, ¿Por qué ocurre dicho proceso allí? y ¿Qué se podría hacer en ese lugar para resolver el problema? En cada una de estos interrogantes se requiere el desarrollo de diferentes capacidades y niveles de desempeño. En la primera pregunta, simplemente inferir, según los datos del texto icónico y su paratexto, el área donde ese proceso ocurre. La segunda requiere justificar adecuadamente cuál o cuáles son los desencadenantes de la problemática y el tercer interrogante, una vez determinados área y causas, cómo se podría resolver, por lo que requiere elaborar hipótesis de solución coherentes con el problema planteado. En los tres reactivos abiertos, la capacidad que se pone en juego es la de comunicación, pero en cada uno de ellos, lo que los alumnos pueden hacer con dichos reactivos es diferente, porque los niveles de desempeño requeridos y esperables, también lo son. Mientras que en la primera pregunta, se requiere que los alumnos infieran un dato a partir de abundante información textual, que corresponde según tabla de criterios al nivel de desempeño medio (si toda la información fuera explícita, y se requiriera relación entre las variables, correspondería nivel “bajo”); las restantes, en las que se requiere análisis crítico para fundamentar e hipotetizar a partir de información referida en la consigna y a conocimientos previos, el nivel de desempeño asignado es alto. (Anexo 5: Resultados –frecuencia- sobre una muestra pequeña -alrededor de 100 casos-) En el ítems 13, el 3.1% de los alumnos menciona correctamente el área donde se produce el proceso de desertificación o todas las provincias que la componen; el 32.3% menciona el área de manera relativamente vaga o menciona alguna o algunas de las provincias que la


9

componen y el 39.6 % de los alumnos, responde otras áreas o bien de manera confusa, extremadamente pobre, reiterativa, no pertinente, etc. El 25 % de la muestra de alumnos omite responder. En el ítems 14, el 0.0% de los alumnos – nadie – menciona correctamente los tres pasos fundamentales del proceso de desertificación en la meseta patagónica (ver grilla); el 26.0% menciona uno o dos de los pasos o bien menciona otros que son pertinentes pero no fundamentales para explicar el proceso y el 44.8 % de los alumnos menciona problemáticas no pertinentes o lo hace de manera confusa, extremadamente pobre, reiterativa, no pertinente, etc. El 29.2 % de la muestra de alumnos omite responder. En el ítems 15, el 27.1% de los alumnos menciona al menos una hipótesis de resolución de la problemática, el 12.5% menciona, aunque de manera relativamente imprecisa, alguna de las hipótesis señaladas en la grilla de corrección para las respuestas correctas y el 21.8 % menciona soluciones que no son adecuadas o pertinentes o que son confusas o extremadamente pobres. El 38.6 % de la muestra de alumnos omite responder. (Anexo 6: Grillas de corrección de ítems 13, 14 y 15). Como ya se mencionó, la finalidad de haber incorporado reactivos abiertos en las pruebas de Ciencias Sociales, es evaluar cómo los alumnos hacen uso de distintas capacidades difíciles de apreciar en reactivos cerrados y cómo manejan los contenidos involucrados, al fundamentar, sintetizar, completar, comparar, etc. Este tipo de ítems generalmente permite observar o medir la profundidad en el aprendizaje de los contenidos; de este modo se puede observar, por ejemplo, cuándo han aprendido superficialmente, pues los alumnos suelen confundir conceptos o construyen sus respuestas de manera incompleta o incoherente. Esta fragilidad y pobreza que se manifiesta a veces en los relatos escritos por los alumnos evidencian precisamente lo que David Perkins (La escuela inteligente, Gedisa Editorial, 1985. Citado en Franqueiro, A.; Leones, M. y Nussbaum, A. -2002-, Informe de resultados sobre ítems abiertos, Ciencias Sociales, Fin de Nivel Medio, DINIECE, Ministerio de Educación de la Nación) denomina conocimiento frágil, en el que los alumnos no recuerdan, no comprenden o no usan activamente gran parte de lo supuestamente aprendido, y el pensamiento pobre, cuando los estudiantes no saben pensar valiéndose de lo que saben porque han olvidado, porque han captado muy superficialmente los contenidos o porque adquieren “conocimientos rituales”, es decir que recuerdan solamente los estereotipos del aprendizaje. Ejemplo claro en las evaluaciones nacionales de Ciencias Sociales es el concepto de “gobierno federal”, del que los alumnos recuerdan una característica presentada de una manera estereotipada (“las provincias son autónomas”) y, en cambio, cuando se les presenta otra característica o la misma pero expresada de otra manera “no-ritual” (“las provincias dictan sus propias leyes”, “las provincias eligen a sus propias autoridades”), el porcentaje de respuestas incorrectas es significativamente más elevado. El pensamiento pobre que menciona David Perkins es evidente en la construcción de respuestas de los alumnos principalmente cuando estos tienen que justificar o explicar sus respuestas, por lo que suelen responder más el “qué” que el “porqué” de lo que se pide en la consigna.


10

Es común, además y siguiendo esta línea de pensamiento, que los alumnos realicen una lectura superficial de la consigna, en la que se incluye el texto y su paratexto, por lo que después responden de manera parcial o incorrecta. A veces incluso omiten la lectura de parte de la consigna, que le podría aportar valiosa información para la producción de su respuesta. CONCLUSIONES Más allá de la ‘mala prensa’ que tienen las evaluaciones, nadie duda hoy de su importancia como instrumento fundamental del proceso de enseñanza y aprendizaje. Una evaluación puede dar información muy valiosa de los logros y de las dificultades de los alumnos para retroalimentar el proceso cognitivo así como para medir qué aptitudes han desarrollado y qué contenidos han aprehendido y cómo lo han hecho. Múltiples son las capacidades, aptitudes y conocimientos que se evalúan en Ciencias Sociales y son relevantes en la formación de los alumnos, desde el reconocimiento fáctico y conceptual, hasta la elaboración de hipótesis o el análisis crítico de algún proceso social. Por ello, los reactivos abiertos o de construcción de respuesta, elaborados a partir de textos verbales e icónicos, pueden resultar óptimos instrumentos para medir, a través del avance de la psicometría y de los programas informáticos ad hoc, las aptitudes de los alumnos de acuerdo con capacidades, contenidos y niveles de dificultad de los reactivos. Para que dicha medición resulte confiable, además de la confección adecuada de los reactivos y de las grillas de corrección, también se debe confeccionar una tabla de criterios de evaluación de Ciencias Sociales, correspondientes con las aptitudes esperables y observables de los examinados. Esto anterior supone un cambio de paradigma en la evaluación, que significa el reemplazo de las Pruebas Referidas a Normas (PRN) de la Teoría Clásica (TC), a las Pruebas Referidas a Criterios (PRC) de la Teoría de respuesta al Ítems (TRI). En la TC, la evaluación supone una relación inseparable entre examen y examinado puesto que aquí la aptitud del examinado está estrechamente ligada a la dificultad planteada por el examen. En la TRI, en cambio, “… los parámetros de aptitud y de los ítems son invariantes …” (Kohan, 2004), permitiendo, con ítems perfectamente comparables, obtener diferentes mediciones. Dichas mediciones permiten brindar información muy relevante a las escuelas para trabajar a partir de los logros y las dificultades que evidencian las evaluaciones en relación con las aptitudes de los alumnos.


11

Anexo 1: Tabla de especificaciones de Ciencias Sociales

Rec. de datos y hechos

Rec. de conceptos

Interpret. / exploración

Análisis de situac.

Comunicación Rec. de valores

Total de ítems

Las soc. a través del tiempo

Las soc. y los esp. geográfic.

Las act. hum. y la org. soc.

Total de ítems

Tabla de especificaciones de Ciencias Sociales con niveles de desempeño

Rec. hechos

Rec. conceptos

Interpr. Análisis de sit.

Comunic. Rec. valores

Total

Alto 1 1 1 1 4 Medio 1 1 1 1 1 5

Hist.

Bajo 1 1 1 3 Alto 1 1 1 1 4 Medio 1 1 1 3

Geog.

Bajo 1 1 1 1 4 Alto 1 1 2 Medio 1 1 2

Form. Ética

Bajo 1 2 3 Total 7 3 9 5 6 30


12

Anexo 2

CRITERIOS DE EVALUACION – 9o año Educación Media

Fin de ciclo 1° 2° 3° Polimodal Bloque Las sociedades y los espacios geográficos Capacidades Reconoc de

datos y hechos

Reconoc de conceptos

Interpretac/ exploración

Análisis de situaciones

Comunicac Expresión

Reconoc de valores

Característica general del nivel

ALTO

Los alumnos de este nivel pueden: Reconocer datos, hechos, conceptos y valores; explorar e interpretar diversas fuentes; analizar situaciones; comunicar procedimientos y resultados en un nivel muy complejo

Desempeños de los alumnos

Reconocer datos y hechos que requieran realizar inferencias a partir de los datos provistos por texto verbales e icónicos o a partir de sus atributos o ejemplos.

Reconocer conceptos que requieran realizar inferencias a partir de los datos provistos por texto verbales e icónicos o a partir de sus atributos o ejemplos.

Interpretar información relacionando más de dos variables que aparecen en textos verbales e icónicos. Formular hipótesis a partir de fuentes complejas. Elaborar conclusiones a partir de diversas fuentes.

Analizar situaciones que requieren recuperar información inferencial e incorporarla en contextos sociales y/o disciplinares significativos. Ordenar una secuencia de hechos, datos, conceptos o situaciones a partir de saberes previos. Reconocer relaciones y/o seleccionar cursos de acción de acuerdo con determinados criterios sobre una situación muy compleja sobre los contenidos enunciados.

Expresar definiciones, conceptos, relaciones y procesos de manera ordenada y jerarquizada, con vocabulario específico del área, sobre los contenidos enunciados. Comunicar los conocimientos a través de producción escrita y gráfica compleja, en los que se expliquen problemas de la realidad social.

Reconocer valores que requieran realizar inferencias a partir de situaciones concretas.


13


datos y hechos

Reconoc de conceptos




Reconoc de valores


MEDIO

Los alumnos de este nivel pueden: Reconocer datos, hechos, conceptos y valores; explorar e interpretar diversas fuentes; analizar situaciones; comunicar procedimientos y resultados en un nivel medianamente complejo


Reconocer datos y hechos a partir de información explícita muy específica del área.

Reconocer conceptos a partir de información explícita muy específica del área.

Extraer información explícita relacionando no más de dos variables que aparecen en textos verbales e icónicos. Formular hipótesis a partir de fuentes simples.

Analizar situaciones que no requieren recuperar información inferencial o que requieren realizar inferencias sencillas sobre temas recurrentes en los medios de comunicación o en la escuela, o bien que requieren relacionar más de una variables sencilla. Ordenar una secuencia de hechos, datos, conceptos o situaciones a partir de saberes previos. Reconocer relaciones y/o seleccionar cursos de acción de acuerdo con determinados criterios sobre una situación medianamente compleja sobre los contenidos enunciados.

Expresar definiciones, relaciones y procesos de manera no suficientemente ordenada ni jerarquizada, con vocabulario del habla cotidiana. Comunicar los conocimientos a través de producción escrita y gráfica simple, en los que se expliquen problemas de la realidad social.

Reconocer valores que requieran relacionar más de dos variables explícitas.


14


datos y hechos Reconoc de conceptos




Reconoc de valores


BAJO

Los alumnos de este nivel pueden: Reconocer datos, hechos, conceptos y valores; explorar e interpretar diversas fuentes; analizar situaciones; comunicar procedimientos y resultados en un nivel simple


Reconocer datos y hechos sobre los contenidos del área, referidos a situaciones muy concretas y actuales.

Reconocer conceptos sobre los contenidos del área, referidos a situaciones muy concretas y actuales.

Extraer información explícita de textos verbales e icónicos que implique relacionar dos variables involucradas o bien que implique reconocer una sola variable, pero en texto verbal o icónico complejo, o bien extraer información implícita trabajando con una sola variable. Reconocer hipótesis expresadas en un texto.

Analizar situaciones muy concretas que no requieran recuperar información inferencial. Ordenar una secuencia de hechos, datos, conceptos o situaciones a partir de información explícita y simple. Reconocer relaciones y/o seleccionar cursos de acción de acuerdo con determinados criterios sobre una situación simple.

Expresar definiciones, relaciones y procesos de manera fragmentada, imprecisa o vaga, con vocabulario del habla cotidiana. Comunicar los conocimientos a través de producción escrita y gráfica simple, en los que se describan problemas de la realidad social.

Reconocer valores que requieran relacionar dos variables explícitas o que no requieran relación.

Contenidos

Los diferentes ambientes del mundo, con especial énfasis en los espacios americano y argentino; los distintos tipos de recursos naturales, su valorización y las formas de aprovechamiento. Los problemas ambientales en el mundo, con especial énfasis en los espacios americano y argentino; causas y consecuencias; actores sociales implicados; principales políticas ambientales; distintas escalas espaciales implicadas. Las características de la población mundial, americana y argentina; sus principales problemáticas, estructura y dinámica demográfica y social: distribución, migraciones, condiciones de vida y de trabajo. Los procesos productivos en espacios urbanos y rurales del mundo, con especial énfasis en los espacios americano y argentino: las actividades económicas rurales y urbanas; los actores sociales implicados; el impacto de las tecnologías aplicadas en los procesos productivos y en las formas de organización territorial; los circuitos productivos en la Argentina. La inserción de los países americanos en el sistema económico mundial; los flujos de circulación de bienes, servicios e información en el contexto de la globalización. La diversidad cultural americana y argentina; principales procesos de diferenciación y homogeneización de los sistemas de conocimientos, creencias, valores, prácticas y tradiciones en diferentes áreas del continente y de argentina.


15

Anexo 3: Ejemplo de grillas de corrección de reactivos de Ciencias Sociales

CIENCIAS SOCIALES

Prueba Piloto 2007 Grillas de Codificación de los Ítems de respuesta abierta de Ciencias Sociales

Nivel: 9° año de Nivel Medio / Secundario Item Modelo “El envejecimiento demográfico, característico de sociedades desarrolladas, contiene aspectos positivos y negativos. Menciona uno de cada uno de ellos.” 1. 2. Contenido: Las sociedades y los espacios geográficos: Indicadores demográficos y niveles de desarrollo. Capacidad: Comunicación Criterio: Alto

Respuesta correcta

Crédito total

3

31 Menciona correctamente un aspecto positivo y uno negativo del siguiente listado: Aspectos positivos:

- hay mayor esperanza de vida - se reduce la tasa de mortalidad

Aspectos negativos: - mayor costo por pago de jubilaciones y pensiones - posible reducción de la población nativa (población comienza a extinguirse)

menor porcentaje de población económicamente activa (PEA) 32 Otras respuestas correctas.

Respuesta

parcialmente correcta

Crédito parcial

2

21 Menciona correctamente solo uno de los aspectos 22 Menciona de manera imprecisa un aspecto positivo y uno negativo de los aspectos citados antes: por ejemplo: jubilaciones, tasa de mortalidad, esperanza de vida. 23 Menciona de manera imprecisa un aspecto positivo o uno negativo de los aspectos citados antes: por ejemplo: jubilaciones o tasa de mortalidad o esperanza de vida. 24 Otras respuestas parcialmente correctas.

Respuesta incorrecta

Sin crédito

1

11 Menciona aspectos sociales o demográficos que no son adecuados o pertinentes. 13 Respuesta no pertinente, confusa o extremadamente pobre, o bien sólo se reitera el enunciado de la consigna (o parte de él) sin responder lo solicitado. 14 Respuestas tachadas, borradas, dibujos o expresiones no pertinentes con la tarea propuesta. 15 No sé, no lo vimos 16 Respuesta ilegible

Omisión 99 Mal Impreso 77


16

Anexo 4: ítems 13, 14 y 15 del Modelo 1, Piloto 2007 (en Powerpoint)

Anexo 5: Resultados en porcentaje sobre una muestra de alrededor de 100 casos, de los ítems

13, 14 y 15 del Modelo 1, Piloto 2007

Ítems 13

Código de

respuesta

11 12 13 15 21 22 31 32 99 Total

% de respuestas

22.9 13.6 1.0 2.1 31.3 1.0 2.1 1.0 25.0 100.0

Ítems 14

Código de

respuesta

11 12 13 15 21 22 23 24 99 Total

% de respuestas

4.2 4.2 8.3 28.1 10.4 13.6 1.0 1.0 29.2 100.0

Ítems 15

Código de

respuesta

11 13 14 15 21 31 32 33 34 99 Total

% de respuestas

5.2 3.1 1.0 12.5 12.5 10.4 9.4 6.3 1.0 38.6 100.0


17

Anexo 6: Grillas de corrección de reactivos 13, 14 y 15 Modelo 1 Piloto 2007

CIENCIAS SOCIALES Prueba Piloto 2007

Grillas de Codificación de los Ítems de respuesta abierta de Ciencias Sociales Nivel: Fin Nivel Medio / Secundario

Item 13 Modelo 1

Contenido: Las sociedades y los espacios geográficos: Ambientes de la Argentina. Problemas ambientales. Capacidad: Comunicación Criterio: Bajo

Respuesta correcta

Crédito total

3

31 Menciona alguna de las siguientes opciones: Patagonia Extraandina / Meseta Patagónica / Este de la Patagonia. 32 Menciona todas las provincias del área: Tierra del Fuego, Santa Cruz, Chubut, Río Negro. También si agrega Neuquén y La Pampa. 33 Otras respuestas correctas.

Respuesta parcialmente

correcta

Crédito parcial 2

21 Menciona alguna de las siguientes opciones: En la Patagonia / En el Sur de la Patagonia / En el sur del país. 22 Menciona entre 1 y 3 de las provincias mencionadas en 32. 23 Otras respuestas parcialmente correctas.


Sin crédito

1

11 Menciona cualquier otra área de la Argentina. 12 Menciona otra área de manera imprecisa. 13 Respuesta no pertinente, confusa o extremadamente pobre, o bien sólo se reitera el enunciado de la consigna (o parte de él) sin responder lo solicitado. 14 Respuestas tachadas, borradas, dibujos o expresiones no pertinentes con la tarea propuesta. 15 No sé, no lo vimos. 16 Respuesta ilegible.



18



Item 14 Modelo 1 Contenido: Las sociedades y los espacios geográficos: Ambientes de la Argentina. Problemas ambientales. Capacidad: Comunicación Criterio: Medio

Respuesta correcta

Crédito total

3

31 Menciona correctamente los tres pasos fundamentales del proceso de desertificación en la meseta patagónica. a. introducción de gran o excesiva cantidad de ovejas (… que provoca …) b. pérdida de vegetación y/o nutrientes del suelo (por ejemplo si indican “se comen los pastos”) (… entonces …) c. actúa la erosión (hídrica o eólica, puede ser citado o no). 32 Otras respuestas correctas.

Respuesta


Crédito parcial

2

21 Menciona dos pasos de los anteriores. Por ejemplo si mencionan: “Por la introducción de gran cantidad de ovejas desapareció el suelo fértil / desapareció la vegetación / actuó la erosión”. 22 Menciona un paso de los anteriores. 23 Menciona otras motivaciones, por ejemplo “por el deseo de obtener dinero”, “para enriquecerse más rápido”, etc. 24 Menciona características naturales que son correctas: vientos fuertes de la cordillera o de la Patagonia. 25 Otras respuestas parcialmente correctas.


Sin crédito

1

11 Menciona otras problemáticas del área que no son pertinentes para lo que se pregunta sin mencionar alguno de los tres pasos señalados en 31 ni las motivaciones mencionadas en 24. 12 Menciona problemáticas ambientales que ocurren en otras áreas de la Argentina o a escala global, por ejemplo si menciona ”por el adelgazamiento de la capa de ozono” o por el “calentamiento global” o “por las inundaciones en Santa Fe”, etc. 13 Respuesta no pertinente, confusa o extremadamente pobre, o bien sólo se reitera el enunciado de la consigna (o parte de él) sin responder lo solicitado. 14 Respuestas tachadas, borradas, dibujos o expresiones no pertinentes con la tarea propuesta. 15 No sé, no lo vimos. 16 Respuesta ilegible.



19



Item 15 Modelo 1

Contenido: Las sociedades y los espacios geográficos: Ambientes de la Argentina. Problemas ambientales. Capacidad: Comunicación Criterio: Alto

Respuesta correcta

Crédito total

3

31 Menciona que debe reducirse la cantidad de ovejas en el lugar. 32 Menciona que se debe forestar (o reforestar) el área. 33 Menciona que se podría o debería agregar fertilizantes en el suelo. 34. Menciona que se debería reemplazar el ganado ovino por otros como los camélidos (llama, guanaco, alpaca, vicuña). 35 Otras respuestas correctas.

Respuesta


Crédito parcial

2

21 Menciona de manera imprecisa alguna de las respuestas anteriores: por ejemplo si señala que se deben sacar a los animales, o cuidar la vegetación, o no perder fertilidad o bien rotar el ganado ovino con otros. 22 Otras respuestas parcialmente correctas.


Sin crédito

1

11 Menciona soluciones que no son adecuadas para la problemática planteada, por ejemplo cuando menciona “reducir la cantidad de contaminantes” 13 Respuesta no pertinente, confusa o extremadamente pobre (“cuidar la ecología”), o bien sólo se reitera el enunciado de la consigna (o parte de él) sin responder lo solicitado. 14 Respuestas tachadas, borradas, dibujos o expresiones no pertinentes con la tarea propuesta. 15 No sé, no lo vimos. 16 Respuesta ilegible.



20

REFERENCIAS BIBLIOGRÁFICAS

Bahamonde, N. (Marzo/abril 2008) Un desafío de la alfabetización científica: hacer ciencia a través del lenguaje. En Revista El Monitor de la Educación Nº 16, Ministerio de Educación de la Nación.

Blanco, J. y Gurevich, R. (2002) Una geografía de las ciudades contemporáneas: nuevas relaciones entre actores y territorios. En Alderoqui, S. y Penchansky, P. –comp.- Ciudad y ciudadanos. Editorial

Carlino, P. (2005) Escribir, leer y aprender en la universidad. Fondo de Cultura Económica. Fasce, J. y Leones, M. (2005) Recorrido político y técnico pedagógico en el proceso de

elaboración, justificación y validación de los criterios de evaluación, DINIECE, Ministerio de Educación de la Nación.

Franqueiro, A.; Leones, M. y Nussbaum, A. (2002), Informe de resultados sobre ítems abiertos, Ciencias Sociales, Fin de Nivel Medio, DINIECE, Ministerio de Educación de la Nación.

Gurevich, R. (2007) Sociedades y territorios en tiempos contemporáneos. Fondo de Cultura Económica.

Kohan, N. (2004) Teoría de Respuesta al Ítems: Supuestos básicos, en Laboratorio de Evaluación Psicológica y Educativa, Facultad de Psicologías, Universidad Nacional de Córdoba, ISSN Nº 1515-1867

Le Monde Diplomatique (2003) El Atlas, Edición Cono Sur, Buenos Aires. Perkins, David (1985) La escuela inteligente, Gedisa Editorial.


21

CURRICULUM

Andrés Nussbaum

Profesor de Enseñanza Secundaria Normal y Especial en Geografía en la Universidad de Buenos Aires. Realizó estudios de posgrado en la Universidad Interamericana Santa María de La Rábida, Huelva, España sobre Planificación y Gestión del Espacio Litoral en España y Latinoamérica. Consultor profesional de Ciencias Sociales en el Área Pedagógica de la Dirección Nacional de Información y Evaluación de la Calidad Educativa –DINIECE- del Ministerio de Educación de la Nación. Autor de módulos de Geografía en la Dirección de Adultos de la Dirección General de Cultura y Educación de la Provincia de Buenos Aires y para los diversos grados escolares y coautor del libro El Ajuste Estructural Argentino y los Cuatro Jinetes del Apocalipsis Ambiental. Ha realizado numerosos trabajos de investigación y recibido premios por sus trabajos en la materia. Investigador del Centro de Estudios Avanzados de la Universidad de Buenos Aires en temas Ambientales y Sociales. Se desempeña como docente de nivel medio en Geografía desde 1999 en el colegio Villa Devoto School.

DISEÑO DE ÍTEMS ABIERTOS DE CIENCIAS SOCIALES · PDF filediseÑo de...

Documents

Transcript of DISEÑO DE ÍTEMS ABIERTOS DE CIENCIAS SOCIALES · PDF filediseÑo de...