1

INFORME DE CONSULTORÍA DE REVISIÓN Y

ANÁLISIS DEL MARCO DE TRABAJO Y LOS

INSTRUMENTOS DE EVALUACIÓN,

CORRECCIÓN Y ANÁLISIS DE LA PRODUCCIÓN

ESCRITA DE LOS ESTUDIANTES DE SEXTO

GRADO DE PRIMARIA PARA LA EVALUACIÓN

MUESTRAL 2013

ANA ATORRESI

2

El presente documento se realizó por encargo del Proyecto Fortalecimiento de la Gestión de la Educación en el Perú (FORGE) que es implementado por el Grupo de Análisis para el Desarrollo – GRADE con el apoyo técnico y financiero del Gobierno de Canadá a través de Global Affairs Canada. (Proyecto Nº A-034597)

Informe de consultoría de revisión y análisis del marco de trabajo y los instrumentos

de evaluación, corrección y análisis de la producción escrita de los estudiantes de

sexto grado de primaria para la Evaluación Muestral 2013

Informe de consultoría: Proyecto FORGE Lima, 2014 Autora: Ana Atorresi

Cuidado de estilo: María Fernanda Torres

Las opiniones y recomendaciones vertidas en este documento son responsabilidad de sus

autores y no representan necesariamente los puntos de vista de GRADE ni de las instituciones

auspiciadoras.

3

Informe sobre las posibilidades de análisis que ofrecen las consignas de producción piloteadas

En este informe se analiza la información que es posible ofrecer a partir de las consignas de

producción de textos piloteadas. Teniendo en cuenta las restricciones que plantea al proceso

de codificación la naturaleza masiva de la prueba, así como la población escolar a la que

apunta el FORGE , se enumera y justifica la información que podría recogerse y no está aún

contemplada en las rúbricas. Además, se detalla información que las rúbricas recaban

superando la consigna, es decir, partiendo del supuesto de que la consigna exige ciertas

características de la producción que, en realidad, no han sido demandadas.

En cada caso, se abordan en primer lugar consideraciones que atañen a todas las consignas en

su relación con las rúbricas; en segundo lugar, consideraciones específicas sobre las consignas

para la narración y para la argumentación, comenzando por aspectos comunes a todas ellas,

siguiendo con que se ha decidido aplicar en la evaluación definitiva y terminando con las que

se han reservado para posibles aplicaciones futuras.

Finalmente, como resulta prácticamente imposible abordar la información recogida y la que

podría recogerse sin hacer referencia a las rúbricas, se adelantan, intercalados, comentarios

correspondientes al Producto 2 de la consultoría: “Informe sobre la rúbrica de escritura de

sexto grado”.1

1.1. Información que podría reportarse en narración y en argumentación

Filtros

Se observa que los Filtros obstaculizan el reporte de información valiosa o, al menos, que la

denominación “filtros” es limitante. Por un lado, deberían diferenciarse las pruebas que se

descartan por fallas ajenas a los estudiantes (errores de impresión), pues este dato

proporciona información “interna”, para uso del equipo de la UMC.

Por otro lado, no solo las respuestas que son textos legibles de 40 palabras o más (nivel 4)

pueden usarse para reportar información sobre el léxico, la ortografía, la segmentación de

palabras y las construcciones que se apartan de la norma estándar: también sirven para estos

fines las respuestas que no son textos (Nivel 2) y las que tienen menos de 40 palabras (Nivel 0).

Particularmente, las respuestas que tienen menos de 40 palabras pueden aportar información

más precisa respecto de la escritura en el nivel de la palabra y la construcción sintáctica sobre

los estudiantes con mayores dificultades en la escritura de textos. Debe tenerse en cuenta,

además, si la muestra es representativa con 97%-95% de confianza para cada una de las

formas (narración por una parte y argumentación por la otra) o para la suma de ambas; en el

último caso, es mucho más necesario conservar la mayor parte posible de los escritos.

Asimismo, debería explicitarse si los filtros se aplican al borrador, al texto o a ambos. Teniendo

en cuenta el diseño gráfico de la prueba, que ubica el borrador de escritura en la página 2 del

1 Estos comentarios no agotan el “Informe sobre la rúbrica de escritura de sexto grado”.

4

cuadernillo, el filtro podría aplicarse al borrador especulando con que los niños lo abordarán

siempre primero; sin embargo, se corre el riesgo de desechar escritos que se hayan producido

directamente como versión final pues las consignas dicen “En este espacio, puedes escribir el

borrador de tu texto”, lo que vuelve opcional la escritura de éste. Se sugiere, entonces,

explicitar que las respuestas para considerar serán las más elaboradas, ubicadas tanto en el

borrador como en el texto.

Finalmente, en el Nivel 2 de los filtros se reúne información que puede ser interesante separar

desde el punto de vista pedagógico: los niños que escriben no textos, entendidos como

oraciones sin ligazón entre sí, así como los niños que escriben copias, dan cuenta de la

persistencia de modelos didácticos perimidos; en cambio, los niños que escriben palabras

aisladas mostrarían dificultades de escritura de otro orden.

En suma, parece importante recoger el dato de las fallas de impresión para uso interno y, para

reportar información, a) considerar los escritos de 40 palabras o más incluidos o en el borrador

o en el texto para aplicar todos los indicadores menos los referidos a la edición; b) diferenciar

no textos de palabras aisladas; c) tomar las respuestas con menos de 40 palabras que sean

textos y no textos para analizar los criterios del nivel de la palabra y las construcciones

sintácticas. Para esto, sería conveniente adelantar el conteo de palabras en la rúbrica. A fin de

evitar resultados distorsionados en Coherencia, Cohesión y otros indicadores que son

pertinentes solo para textos y además textos relativamente extensos, puede darse una

indicación del tipo “Aplicar solo en textos de 40 palabras o más”.

Edición

Podría considerarse la inclusión de otros dos niveles. Uno, el uso del borrador como texto para

otros lectores y no para sí, uso que muestra la incomprensión de la utilidad del borrador como

plan. Evidencias de este uso detectadas en el corpus de ejemplos ofrecido a la consultora son el

trazado de líneas con regla para escribir “bonito”, la mejor caligrafía en el borrador, la mayor

extensión del borrador, la “decoración” del título o de la palabra “fin”, entre otras. Estos

indicadores están ausentes en los niveles 2 y 1, que solo consideran la caligrafía y asumen que

siempre será mejor en el texto, como si no fuera posible que el niño “agote sus energías” en el

borrador.

El otro nivel que podría sumarse es el diseño del texto en función de los contextos “presentación

del cuento para un concurso” e “inclusión de la argumentación en un periódico”. Indicadores de

este logro, para la narración, serían la decoración del título y de la palabra “fin”, la inclusión de

ilustraciones pertinentes y de todo aspecto que apunte a mejorar la presentación. Para la

argumentación lo serían las marcas tendientes al diseño periodístico, en algunas consignas. Cabe

advertir que en el corpus recibido no se han encontrado casos de diseño “periodístico”.

Hay que evaluar si conviene integrar estos niveles en los ya propuestos, que consideran borrador

y texto conjuntamente. Parecería más oportuno plantearlos aparte, como Uso de borrador con

fines pertinentes y Uso del texto en función del contexto o bien buscar una combinación que

supere la caligrafía como único indicador de los niveles 2 y 1 de Marcas de edición.

5

Adecuación a la situación comunicativa

En primer lugar, en Secuencia, parece interesante separar el actual Nivel 1 de la rúbrica en dos:

por un lado, el estudiante narra o argumenta, según corresponda, y por otro, redacta otra

secuencia no pedida, para captar casos como varios vistos en el corpus (cartas dirigidas a

parientes, comentarios personales sobre el modo en que actúan los propios padres, etc.). No se

trata meramente de captar la falta de adecuación al tema o a la secuencia, sino la producción

de textos que evidencian la incomprensión total de la consigna. También hay casos en los que

se observan dos o más textos, de los cuales uno presenta la secuencia pedida; se sugiere mostrar

estos casos en el Manual e indicar que, para la codificación, se considere el texto más adecuado

a la consigna.

Coherencia

Si el texto tiene significado autónomo es un fenómeno de la coherencia que parece importante

evaluar en forma separada. En la rúbrica actual, la falta de autonomía del texto debida a que la

consigna es supuesta por el niño como parte de él (podrían ser otras las razones) es un indicador

de la cohesión igualado en importancia a la sustitución pronominal o al uso de conectores. Sin

embargo, la ausencia de información global se asocia a la coherencia no solo teóricamente, sino

también pedagógicamente: da cuenta del aprendizaje (o no) del texto como unidad

comunicativa. Los restantes indicadores incluidos en Cohesión, en cambio, apuntan claramente

a evaluar el uso de mecanismos de textualización más locales.

Por otra parte, en Mantenimiento, el Nivel 1 (“No se puede determinar un tema central”) está

descripto en la Rúbrica como si lo leído fuera un no texto, lo que ya habría sido filtrado al inicio

de la rúbrica. En la misma línea, en el Manual se dice “El nivel 1, finalmente, caracteriza a

textos en los que no se puede apreciar unidad temática alguna” y se da el siguiente ejemplo,

en el que en realidad hay dos temas sin conexión entre sí: el tema cursos propuestos, en las

seis primeras cláusulas, y el tema preparación para el concurso en las dos últimas; el

predominio del primer tema puede hacer pensar que hay un tema y al final, una digresión,

caso que correspondería al nivel 2:

Texto 4

Como todos saben, un grupo de padres de familia ha propuesto eliminar el curso de

Educación Física para darle más tiempo a otros cursos como Comunicación o

Matemática. Yo no estoy de acuerdo con esa propuesta. Por lo general no estoy de

acuerdo con las propuestas de los padres. Recuerdo que una vez propusieron que se

construya un espacio para juegos de mesa en el lugar donde está la cancha de fulbito, y

querían que todos nos pusiéramos a jugar ajedrez. En todo caso creo que varios cursos

se deberían mantener, aunque no todos. De hecho es así para Biología, porque me

encantan las disecciones.

6

El mes próximo va a haber un concurso de coreografías y sería bueno que nos vayamos

preparando, porque vamos a tener público de muchos lugares distintos. Es importante

que defendamos la reputación de nuestro colegio.

Parece necesario, entonces, redefinir el nivel 1 o eliminarlo. Según el corpus analizado y la

experiencia de la consultora, se sugiere la eliminación.

Cohesión

Se sugiere añadir un indicador referido a la repetición de sustantivos, verbos o adjetivos que no

busca un efecto estilístico. Si la sugerencia se aceptara, en el Manual habría que hacer hincapié

en la diferencia entre este tipo de repetición y lo que se ha denominado, en Coherencia,

Estancamiento, así como en que se contabilicen solo las palabras cuya repetición es posible

evitar en sexto grado. Por ejemplo, para el nivel 1, “Se observan al menos cuatro repeticiones

de palabras que podrían haberse evitado (‘yo quiero pedirle’, ‘quiero que construya’, ‘quiero un

parque cerrado’ y ‘quiero un parque para que las niñas jueguen aparte’); la repetición de parque

no cuenta porque su sustitución por un sinónimo es compleja/prácticamente imposible/para

sexto grado”.2 Este indicador puede añadirse a los ya consignados en la rúbrica, pues atañe a la

cohesión léxica.

Además, se sugiere agregar en la rúbrica el uso incorrecto de nexos, salvo “y”. En el corpus

encontramos textos del tipo de este fragmento: “La niña se encontró con sus amigos. Donde las

amigas le dijeron que no se atrevía a entrar en la casa embrujada. Donde la niña que era valiente

se atrevió”. Por lo general, este uso incorrecto es repetitivo, razón por la cual en “Repetición de

palabras” se sugiere especificar las clases sustantivo, verbo y adjetivo. Dado que el uso reiterado

de “y” está en general asociado a la ausencia de puntuación, conviene excluir este nexo para no

contabilizar dos veces el problema, como se advierte en el Manual. Cabe señalar que el uso

incorrecto de conectores, no mencionado en la Rúbrica, sí se aborda en el Manual.

Construcción oracional

Se sugiere revisar el Nivel 1: “El texto no se puede comprender (desde el punto de vista de un

hablante idealizado de la variedad limeña) debido al uso excesivo de formas no estandarizadas”,

pues incluso considerando el Manual parece equivalente a un filtro ya aplicado. Podría tomarse

un intervalo entre hasta cinco o seis formas (Nivel 2) y más de cinco o seis (Nivel 1), por ejemplo.

Así, además se evitaría el uso de la palabra “excesivo”, que comporta un sesgo ideológico.

Por otra parte, cabe señalar que en el corpus no se ha encontrado ningún caso incomprensible

para la consultora argentina por el uso de formas no estandarizadas: tal vez podría eliminarse el

actual Nivel 1.

2 En el castellano de Argentina, parque es un espacio verde no natural mucho más amplio que plaza y no tiene sinónimo; ignoramos si este argumento esgrimido sobre la base de un ejemplo tomado del corpus es pertinente también en Perú y esa es la razón de las alternativas señaladas con barras.

7

Registro

Se sugiere reducir los indicadores y ampliar la aplicación del criterio a las narraciones. Los

fundamentos se dan en 1.3., pues dependen de la consideración de la información que

permiten reportar las consignas argumentativas.

Marcas socio-culturales

Un criterio que puede añadirse para trabajar en forma cualitativa e incluso para ejemplificar

reportes de factores asociados al aprendizaje son ciertas marcas evidentes de nivel

socioeconómico y pertenencia cultural presentes en los escritos. Solo las pruebas de escritura

permiten captar este tipo de marcas y, por lo general, se las deja de lado.

Se proponen dos niveles que no comportan una valoración mejor/peor, sino meramente una

diferencia. Si el texto es neutro en cuanto a la presencia de estas marcas, el criterio no aplica.

En un nivel los textos presentan marcas de ruralidad y pertenencia a un sector socioeconómico

o cultural desfavorecido. Marcas de este tipo que se han hallado en el corpus (con una mirada

extranjera, lógicamente) son referencias a la pobreza personal, a la solidaridad entre vecinos

de un pueblo pequeño, a recoger objetos de la basura, a realizar actividades artesanales, a

reconocer al hijo perdido por la historia familiar compartida, a padres que deben alejarse de la

familia para mantenerla, a familias numerosas separadas geográficamente, al maltrato o al

trabajo infantil.

En el otro nivel los textos presentan marcas de urbanidad y pertenencia a un sector

socioeconómico o cultural favorecido o no desfavorecido. Marcas de este tipo halladas en el

corpus hacen referencia a niños millonarios que van a la selva de vacaciones, a reconocer al

hijo perdido mediante pruebas de ADN, a la frecuentación del cine, al uso de nuevas

tecnologías de la comunicación y a la concurrencia al psicólogo para resolver los problemas

emocionales, entre otros.

1.2. Sobre las consignas narrativas

Adecuación a la situación comunicativa

En el criterio Adecuación a la situación comunicativa puede añadirse la adecuación al género. En

efecto, todas las consignas sobre narración explicitan que el texto debe inscribirse en el género

cuento.

Lo distintivo del género en sexto grado es la presencia de nudo o conflicto. Al respecto nótese

que ninguna consigna explicita que, después de “lo que pasa primero”, hay que narrar qué se

complica: se dice “qué pasa luego” y esto da lugar a la escritura secuenciada de acciones que no

necesariamente presentan una complicación. Hay que advertir que el Manual y la Rúbrica

asumen de hecho la equivalencia entre “lo que pasa luego” y el “nudo” o “acción central”. Por

otro lado, en el corpus de ejemplos se han reconocido casos con presencia de uno o más nudos,

8

así como casos de narración sucesiva de acciones (ordenadas o desordenadas) sin que ninguna

constituya una complicación. Esto habilitaría la inclusión del criterio 3 y la separación entre

“Secuencia textual narrativa” (donde solo se analizaría la secuenciación lineal de acciones) y

“Adecuación al género cuento”.

En cuanto a Secuencia textual narrativa, si la consigna demanda claramente que se cuente lo

que pasa primero, lo que pasa luego y lo que pasa al final, no se comprende por qué, en el Nivel

3 de la Rúbrica, el orden que el estudiante da a las acciones es indiferente. En este nivel se

esperaría que el estudiante ordene con una cronología lineal al menos tres acciones nucleares.

En los niveles subsiguientes podría observarse que las acciones están ordenadas pero son dos

(Nivel 2) o que están desordenadas (Nivel 1); en el Nivel 1 se incluirían también las

contradicciones (el niño es comido por un monstruo y en el núcleo narrativo siguiente los padres

lo encuentran vivo, como se ha observado en el corpus). Tal como se ha sugerido ya, si se hallara

otra secuencia predominante (caso contemplado actualmente también en el Nivel 1) el rasgo

podría recogerse en Narra/ No narra (y Argumenta/ No argumenta).

Así, en Coherencia y en Cohesión se tomarían los casos que son narraciones (y argumentaciones)

y también los que no lo son, para evaluar la mantención del tema y la progresión temática. De

esta forma, se pierde menos muestra.

Consigna “Concurso de cuentos con temas dados”

Sobre esta consigna elegida para la aplicación definitiva, lo único que puede agregarse es que

mientras las alternativas a) (“Lucía en la casa embrujada”) y b) (“Mateo, el niño que se perdió

en la selva”) favorecen la escritura de un nudo, la alternativa c) (“Chumbeque, el perro héroe”)

parece apuntar a la resolución. La alternativa b) es la que más fuertemente apoya la

construcción de un cuento, pues el nudo se plantea explícitamente en el título. En este

sentido, podrían observarse diferencias de éxito en la adecuación al género condicionadas, en

parte, por el grado de ayuda que ofrecen los títulos.

Consigna “Concurso de cuentos de historias de terror”

Esta consigna narrativa es más compleja que la anterior por las alternativas de las que propone

partir. En efecto, “tu cuento puede tratar sobre algo que hayas vivido”, puede incidir en la

3 Vale la pena considerar que, desde el punto de vista teórico, está vigente la discusión respecto de si las

secuencias textuales están por encima del género, como formas prototípicas abstractas comunes a todas

las culturas, o dentro del género, como formas de discurso culturalmente estandarizadas e indexadas a

las que se recurre para componer textos en géneros. Esto ha conducido a preguntarse si la enseñanza

debe partir de secuencias textuales o de géneros y a argumentar que la primera estrategia suele conducir

al borramiento de las condiciones históricas y geográficas en las que se inscribe la producción textual. La

vigencia de estas discusiones avalaría la inclusión del género como un aspecto más de la adecuación a la

situación comunicativa.

9

desviación del cuento hacia la anécdota y “[sobre algo que hayas] escuchado o hayas visto en

una película” exige organizar una re narración. Recordemos que en las historias de

“aparecidos” y personajes del terror, estos se caracterizan por aparecer varias veces y

provocar varias complicaciones, lo que dificulta la transposición a un cuento con un solo nudo.

Se sugiere descartar la consigna para próximas aplicaciones.

Consigna “Cuento con situación ‘eres un robot’”

Esta consigna, desde el punto de vista de la cultura argentina, tiene un sesgo urbano cuya

presencia valdría la pena considerar en Perú. En efecto, los niños que no tienen acceso a la

televisión tendrían muchas más dificultades en ubicarse en la situación propuesta que los

niños que viven en ciudades y pueblos.

Dejando de lado este rasgo cultural, en relación con las consignas anteriores esta parece ser la

más simple en cuanto a estructura, pues se dan la situación inicial y el nudo: “jugando en el

recreo, te haces una herida en la rodilla y descubres que, en el fondo de la herida, hay muchos

cables y metales; tus padres te llevan a un hospital y los médicos te analizan y dicen: ‘Eres un

robot’”.

Ahora bien, a continuación se pide que esa situación inicial y ese nudo se tomen en cuenta

para iniciar el relato en el momento del descubrimiento (“qué haces primero al enterarte de

que eres un robot”); así, se trataría, de hecho, de un cuento con inicio in media res. Resolver

esta operación parece excesivamente complejo para el nivel y en ningún caso del corpus se ha

hallado la resolución pedida: los niños re narran la situación y el nudo dados. Parecería

conveniente, entonces, demandar la reescritura expansiva de la situación inicial y el nudo

dados y la redacción del desenlace. En el corpus hay al menos dos cuentos muy creativos que

proceden de este modo.

1.3. Sobre las consignas argumentativas

Adecuación a la situación comunicativa

En el caso de las argumentaciones, no todas las consignas explicitan el género. De hecho, la

que se ha seleccionado para la aplicación definitiva demanda “un texto” que no se inscribe en

ningún género. De la oración “Tu texto será publicado en el periódico mural de tu salón de

clases” podrían inferirse –y solo inferirse– géneros de diferente grado de complejidad, como la

carta de lector, el artículo de opinión o el editorial. Sin embargo, quienes se oponen al curso o

de Educación Física son ciertos padres, por lo que no puede descartarse, también como

inferencia, la carta de pedido a los padres. En el corpus se ha observado incluso una apelación

oral (“Muy buenos días, Sres. Padres de familia, hoy tengo el honor de comunicarles que no es

10

buena idea que eliminen…”), lo que muestra la fuerza de la cultura que nos impone textualizar

en géneros aunque se nos pidan textos a secas.

Las consignas “Obra para mi colegio” y “Padres pegan a sus hijos” sí exigen la inclusión del

texto en un género. De ambas, la primera parece ser, por su género, la más adecuada para

sexto grado.

Más allá de lo explícito y lo implícito, así como de las prescripciones curriculares, cabe justificar

por qué se asume que los niños de sexto pueden inscribir su texto más fácilmente en el género

cuento que en un género argumentativo. Son conocidos los estudios que demuestran las

dificultades que la argumentación comporta a esta edad. No se trata solamente de una

cuestión de mayor o menor frecuentación de textos de uno y otro género, sino también del

desarrollo de las capacidades de abstracción, generalización y contextualización que la

argumentación requiere. Incluso considerando condicionantes históricos, el cuento es un texto

eficaz o no particularmente por sus características formales intrínsecas, mientras que la

eficacia de la argumentación depende, además y en especial, del contexto de situación. Si bien

en las consignas se han propuesto contextos de cultura cercanos a los niños, los contextos de

situación (convencer a un grupo desconocido de padres, al director de la escuela que ya tiene

la voluntad de usar el dinero recibido, a los lectores en general) son complejos para los niños

de sexto grado debido a su abstracción.

Entonces, se sugiere no evaluar el género en el caso de las consignas argumentativas, salvo

que se las inscriba en el género carta, que aún figura en la Rúbrica como criterio y debería

quitarse para la aplicación definitiva de “Eliminación de Educación Física”.

Por otra parte, a partir de las consignas sobre argumentación no sería justo evaluar el

desarrollo completo de la Secuencia textual argumentativa. En efecto, las consignas solo

exigen explícitamente la escritura de dos razones (“Escríbele una carta en la que expongas dos

razones que fundamenten tu pedido. Tus razones deben ser claras y estar bien explicadas”).

Nada se dice sobre la tesis, cuya escritura se espera a partir de una pregunta previa que puede

aludir, desde el punto de vista del niño, a un proceso mental ante el cual solo responder “sí” o

“no”: “¿Estás de acuerdo con que los padres les peguen a los niños cuando estos se portan

mal?”, “¿Estás de acuerdo con eliminar el curso de Educación Física?”. La excepción es: “¿Qué

le pedirías que construya?”, que en la mayoría de los casos del corpus recibido ha dado lugar a

listas de pedidos sin razones o con razones más y menos logradas subordinadas al pedido y no

a una tesis.

En ese corpus, muchos estudiantes inician su escrito aludiendo directamente a las razones

(“No estoy de acuerdo porque…”) y esto es congruente con lo pedido: una parte de la

estructura completa del texto argumentativo. Por tal razón, si se quiere mantener la

argumentación en la prueba a pesar de su gran diferencia de dificultad con la narración, se

sugiere fuertemente iniciar la escala (el Nivel 3) con la presencia de, al menos, dos razones que

fundamenten el “sí” o el “no”. Los casos en los que se observe una tesis, así como una

conclusión (se han visto casos en el corpus), podrían captarse a través del nuevo criterio

solicitado a la consultora: la creatividad.

11

Se recomienda, además, reforzar en el Manual que los textos que comiencen con “Sí”/”No”

más razones no deben computarse, en Cohesión (arriba se ha sugerido pasar el indicador a

Coherencia), como textos con falta de autonomía de sentido.

Registro

Ante la consigna argumentativa que se decidió aplicar en la evaluación definitiva, no

correspondería penalizar el uso de un registro correspondiente a géneros orales pues no se ha

demandado inscribir el texto en ningún género.4 En futuras aplicaciones de las otras dos

consignas, sí sería posible evaluar todos los indicadores de Registro.

Para esta situación, se sugiere ampliar la evaluación de Registro a las consignas narrativas y

argumentativas considerando los siguientes indicadores: “Uso de vocabulario, construcciones y

contracciones propios de contextos muy informales, salvo en discursos directos o indirectos” y

“Uso de abreviaturas”. En efecto, si los cuentos han de presentarse en concursos o han de

publicarse, se espera que eviten estos usos. Los casos hipotéticos en los que la alta

informalidad resulte un recurso estilístico pueden recogerse en el criterio nuevo solicitado a la

consultora: “Creatividad”.

Si se mantiene el conteo por tipo de transgresión, los niveles de Registro serían, en suma, dos.

Contenido

La evaluación del Nivel 3 en lo que se ha denominado Contenido parece carecer de

fundamentos teóricos, en el sentido de que ninguna teoría sobre la argumentación que la

consultora conozca penaliza el uso de uno u otro tipo de falacia; si la falacia es eficaz, la

argumentación es exitosa en su contexto de producción. De hecho, esa evaluación parece

carecer también de fundamentos didácticos: si un estudiante de sexto grado, por su edad

apegado a sus padres, cuestionara las ideas o actitudes de un grupo de padres de familia,

mostraría muy altas habilidades argumentativas. Lo mismo ocurriría si desplazara la tesis

original hacia otra a fin de ser más persuasivo. Ciertamente, el Manual aclara que se busca

evaluar “vicios de razonamiento”, pero ese campo pertenece a la Psicología del pensamiento5,

y no a la Lingüística y la Comunicación.

Los estudios sobre la argumentación en niños muestran que los argumentos más sencillos y

predominantes son los proto-argumentos (“porque me gusta”, “porque lo quiero”), que en la

Rúbrica se valoran en el nivel más alto de la escala. Entonces, si se ha observado un número

significativo de escritos que superan la proto-argumentación (por uso de falacias o por

4 Nótese que en la Rúbrica aún figuran los géneros carta y artículo de opinión en el nombre del criterio. 5 En el campo de la Psicología del razonamiento, desde los años 80, se ha instalado un debate aún no resuelto en torno a la cuestión de si el razonamiento humano se basa en la aplicación de un conjunto de reglas formales. Las líneas de investigación en torno de los sesgos y los heurísticos, por un lado, y de los modelos mentales, por otro, sostienen que los sujetos (adultos e inteligentes) no se basan en reglas formales al razonar, sino en factores relacionados con el contenido y con el contexto.

12

estrategias como la invocación de una autoridad o la derivación de una ley a partir de un caso,

entre otras), debería ubicárselos en el nivel más alto. El uso de proto-argumentos quedaría,

entonces, en el nivel siguiente.

Los ejemplos dados en el Manual refuerzan esta idea. El siguiente argumento:

En primer lugar, todos sabemos que los padres de familia que han hecho esa

propuesta son ociosos y que no les gusta el deporte. Si les hiciéramos caso le

abriríamos el camino a la obesidad y la mala salud.

Se considera menos elaborado que este otro, autocentrado, con una tautología

(destacada) y fácilmente refutable porque “que a todos les guste y divierta

Educación Física no es razón suficiente para que dejemos de sostener que debe ser

eliminada para reforzar materias más importantes”:

Una segunda razón es que es un curso que nos gusta a todos. Siempre ocurren cosas divertidas y nunca nos da tiempo para aburrirnos.

La única justificación para mantener las estrategias argumentativas más complejas en el Nivel

3 sería moral, en el sentido de “no es moralmente correcto defender una posición propia

atacando verbalmente a otros” o “no es moralmente correcto tergiversar las ideas de otro”. La

consultora desconoce por el momento si los documentos curriculares peruanos proponen la

enseñanza de la argumentación con tal fundamento.

Finalmente, como no se ha exigido al estudiante que redacte una tesis, se sugiere

incluir en el Manual que la consistencia de los argumentos con esta debería inferirse

cuando se encuentre ausente.

Consigna “Argumentación sobre la eliminación de Educación Física”

Para próximas aplicaciones, por las razones ya mencionadas, se sugiere la siguiente redacción:

“En tu escuela, un grupo de padres de familia ha propuesto eliminar el curso de Educación

Física. Según ellos, este curso es una pérdida de tiempo respecto de cursos mucho más

importantes como Comunicación o Matemática. ¿Estás de acuerdo con eliminar el curso de

Educación Física? Escribe una carta a esos padres en la que expongas tu opinión y en la que

ofrezcas al menos dos razones que la fundamenten”.

Además, por los motivos que ya se han expuesto, se propone revisar la información que se

reportará a partir de la aplicación definitiva de la consigna piloteada e, incluso, considerar la

posibilidad de no aplicarla.

Consigna “Argumentación carta de pedido”

En esta consigna (“El Director de tu escuela ha conseguido mucho dinero para construir algo

en tu colegio. ¿Qué le pedirías que construya? Escríbele una carta en la que expongas dos

13

razones que fundamenten tu pedido”), se observa, como ventaja en relación con la

seleccionada, la inscripción del texto en el género carta formal, al que los estudiantes de sexto

grado pueden tener una aproximación bastante cercana.

Como desventaja, se señala la ausencia de una situación a la cual adherir u oponerse en una

tesis. Para próximas aplicaciones, la consigna podría reformularse aproximadamente de este

modo: “El Director de tu escuela ha conseguido mucho dinero para tu colegio y decidió

invertirlo todo en pintar las paredes. ¿Estás de acuerdo con que gaste todo el dinero en

pintura? Escríbele una carta en la que expongas tu opinión y des al menos dos razones que la

fundamenten”.

Consigna “Argumentación sobre padres que pegan a sus hijos”

Como consigna, “El periódico de tu localidad te ha pedido que escribas un artículo sobre el

siguiente tema: ¿Estás de acuerdo con que los padres les peguen a los niños cuando estos se

portan mal? Escribe tu artículo proponiendo al menos dos razones que fundamenten tu

opinión”, tiene la ventaja de que propone inscribir el texto en un género. Sin embargo, ese

género es de tan alta dificultad para sexto grado (por la generalidad de los destinatarios, por la

posición enunciativa que exige al autor y por su estructura típica) que no sería conveniente

evaluarlo. Tal vez, se podría demandar la escritura de una carta de lector, aunque la tarea no

deja de ser más compleja que la producción de una carta formal de solicitud.

Por otra parte, considerando el nivel de desarrollo afectivo y cognitivo de los niños de sexto, se

ve complicada la separación entre sus propias razones y las que transmiten los padres (o las

personas a su cargo) al inculcarles valores. En el corpus se ha observado una cantidad

considerable de casos en los que los niños se apartan de la argumentación para comentar

cómo los padres dan el ejemplo o saben qué merece un castigo, o para narrar anécdotas y

plantear situaciones personales.

En suma, se sugiere revisar el género y el tema de esta consigna para aplicaciones futuras.

Conclusión

En este informe se ha analizado la información que puede ofrecerse a partir de las consignas

de producción escrita piloteadas.

Por un lado, se ha detallado información que podría ser útil e interesante recabar y que

todavía no ha sido contemplada en las rúbricas. Ignoramos hasta ahora si alguna de esa

información que se sugiere añadir ya fue descartada por el equipo técnico de la UMC durante

el proceso de codificación por determinadas razones.

14

Por otro lado, se ha detallado información que no sería conveniente reportar pues surge del

supuesto de que la consigna exige ciertas características de la producción que, en realidad, no

han sido demandadas.

El texto no se propone como un informe cerrado; al contrario, se procura alimentar el diálogo

con los actores responsables de la evaluación de la escritura de los niños peruanos de sexto

grado.

Producto 2. Informe sobre las rúbricas, el Manual y el protocolo de

aplicación y sugerencias para evaluar el contenido

En este informe se realiza en primer lugar una comparación, en términos de avances, entre la

evaluación de escritura de sexto grado que implementa Perú en 2013 y las que realizan otros

países y los organismos internacionales de evaluación de la calidad educativa.

15

En segundo lugar, se analizan las rúbricas y el Manual en cuanto a las dimensiones y los

criterios de evaluación y los indicadores incluidos en cada criterio6, en relación con las pruebas,

los datos entregados a la consultora obtenidos en la aplicación piloto, el Marco de trabajo de

la UMC y también en relación con el diseño curricular vigente, las Rutas del Aprendizaje y el

Mapa de Progreso de escritura. Además, se abordan las indicaciones para el estudiante y para

el aplicador.

Finalmente, se hacen algunas propuestas para abordar el contenido de los textos y,

específicamente, medir su originalidad.

1. La evaluación de la escritura en Perú y en otros contextos

En este punto se ha solicitado efectuar realizar un análisis crítico de los principales avances en

las evaluaciones de otros países y multinacionales en lo que respecta a la competencia de la

producción escrita, haciendo énfasis en las rúbricas de corrección aplicadas, el análisis que se

efectúa con cada una de ellas y la información que se reporta. Sin embargo, hasta el momento,

solo se ha logrado contar con tres rúbricas por razones de confidencialidad. Por esta razón,

comparamos más globalmente la evaluación de la escritura que implementa Perú en 2013 y las

que realizan otros países y los organismos internacionales de evaluación de la calidad

educativa, y esperamos completar el punto para la fecha de entrega de los productos 3 y 4.

Como bien señala en su Marco de Trabajo el equipo de Comunicación de la UMC, “el camino

explorado en dicha competencia [la evaluación de la escritura] es todavía bastante limitado y

requiere de mucha mayor investigación (2013: 2).

Como sabemos, salvo el SERCE y el TERCE, las evaluaciones multinacionales no evalúan la

escritura en sí, sino como cómo a través de esta se evidencia la competencia lectora.

En nuestra región, los países que evaluaron la escritura desde 2005 hasta la fecha fueron

Argentina, Chile, Colombia, México y Perú.

La evaluación que realiza la Argentina en sexto grado, así como al término de la educación

secundaria, llama al área “Lengua”, pero solo evalúa la lectura. El modelo tomado es el de

PISA. Se reportan respuestas correctas, parcialmente correctas e incorrectas, por ejemplo, en

el nivel de desempeño “Identificar una relación de causa consecuencia en un texto de

divulgación científica de circulación masiva”. Sin embargo, en los informes para docentes, se

dice evaluar la escritura y se muestran algunos ejemplos de problemas de escritura a partir de

respuestas a preguntas semi-abiertas de la prueba de Lectura. Por ejemplo: “El siguiente

6 En este informe, para facilitar la comunicación, llamaremos “dimensión” al aspecto global que se busca

evaluar; por ejemplo, Proceso de composición o Adecuación a la situación comunicativa;

denominaremos “criterio” a cada uno de los aspectos que se evalúan dentro de una dimensión; por

ejemplo, dentro de Coherencia, Mantenimiento del tema y Estancamiento; finalmente, usaremos

“indicador” para hacer referencia a la expresión de evidencias empíricas en cada uno de los niveles de

desempeño de un criterio; por ejemplo, “El texto no presenta digresiones”.

16

ejemplo también es correcto, pero es interesante observar que el alumno no maneja

correctamente la noción de registro lingüístico, y emplea algunas expresiones informales no

apropiadas para la lengua escrita como ‘nos colgamos en la nuestra’. Es importante trabajar en

clase las diferencias de registro para que el alumno comprenda que los textos académicos

requieren un lenguaje formal” (ONE, 2011, 17). Es evidente que la falta de horizonte de estos

comentarios no ayuda en nada ni a tomar decisiones de política educativa ni a mejorar las

prácticas pedagógicas.

Argentina solo reporta resultados nacionales y por región (por ejemplo, la comparación de la

puntuación de una provincia de la región patagónica con otras provincias de la misma región).

El criterio es meramente político.

Chile aplicó una nueva evaluación de la escritura en forma exploratoria en 2012, a una muestra

de estudiantes de sexto grado. El reporte expresa que se han evaluado las siguientes

habilidades:

“-Producir distintos textos, como cartas, noticias, artículos informativos y narraciones no

ficticias; que sean comprensibles; tengan propósitos comunicativos definidos, como

manifestar opinión, informar o narrar experiencias reales, y que se adecuen al

destinatario.

-Organizar los textos de forma clara y apropiada para el propósito comunicativo.

-Presentar ideas coherentes, desarrolladas mediante la incorporación de descripciones o

informaciones relevantes que mantengan el tema central.

-Incorporar vocabulario variado y preciso.

-Utilizar adecuadamente las convenciones propias del español relativas a ortografía literal,

acentual y puntual”. (SIMCE, 2012: 5). La consigna fue solo una: “Una revista escolar premiará

las mejores historias de paseos realizados por estudiantes. El paseo puede ser de curso,

familiar o con amigos. Recuerda el mejor paseo que hayas tenido, y escribe un texto en el que

cuentes lo que lo hace inolvidable, para enviarlo a la revista”. Como se ve, la consigna no tiene

género y da por hecho que una historia familiar o con amigos es necesariamente de interés

periodístico. Por otra parte, es confuso que solo se pida contar “lo que lo hace inolvidable”.

La evaluación no fue procesual. Además, las habilidades se reportan sin distinción ni

ponderación, pues se emplean rúbricas holísticas, inferimos que semejantes a las propuestas

por el National Assessment of Educational Progress. El argumento es el siguiente: “De este

modo, se evita la evaluación desagregada de aspectos específicos de los textos escritos por los

estudiantes (como ortografía, vocabulario o desarrollo de ideas)” (SIMCE, 2012: 8). Así, el

reporte de resultados asume (erróneamente, como han demostrado varios estudios) la co-

variación de todas las habilidades evaluadas y no determina específicamente qué se ha logrado

y qué falta mejorar. Los resultados que se reportan son el puntaje promedio a nivel nacional y

regional, y el puntaje promedio según el grupo socioeconómico, la dependencia administrativa

y el género del estudiante.

17

En 2012, Chile promete que “a partir del año 2013, se aplicará una nueva prueba SIMCE de

Escritura a todos los estudiantes del país que cursen 6. º básico. Antes de la aplicación, en la

página web de la Agencia (www.agenciaeducacion.cl), se pondrá a disposición de docentes y

directivos, el documento Orientaciones SIMCE Escritura 6. ° básico 2013, que contendrá las

características de la evaluación que se aplicará este año”. No obstante, a la fecha, en la URL

citada nada se dice sobre la evaluación 2013 de la escritura.

Colombia, que a comienzos de la década pasada había iniciado procesos de evaluación de la

escritura, plantea ahora en sus pruebas preguntas de selección múltiple sobre ella, del tipo

“qué hacer antes de comenzar a escribir un texto”. Las pruebas iniciales usaban una rúbrica

semi-analítica del tipo de la que mostramos a continuación y no eran procesuales:

Este tipo de rúbrica volvió a ser usado por la Secretaría de Educación de Bogotá en 2005-2007,

para indagar producciones procesuales durante las cuales los estudiantes podían consultar

materiales adicionales. La pequeña escala de esta evaluación externa permitió realizar un

trabajo bastante profundo con las escuelas en torno de los resultados, entre una evaluación y

otra.

18

En cuanto a México, toma el modelo de la Australasian Schools Writing Competition y propone

una evaluación analítica y criterial. Los criterios se organizan en cuatro secciones:

características inherentes al modo discursivo (que dependen de si el texto es descriptivo,

narrativo o argumentativo); características de la textualización (como la estructura de las

oraciones, el uso de conectores y referentes); características sintácticas (como la concordancia

y el uso de preposiciones) y, por último, las convenciones locales. El argumento es que la

“evaluación analítica da cuenta del nivel de ejecución de los alumnos en los aspectos

medulares que componen una habilidad tan compleja como es la Expresión escrita, y con esto

ofrece información valiosa de sus fortalezas y debilidades, cuestión importante tanto para el

diagnóstico como para la enseñanza. […]. La evaluación analítica proporciona una información

más detallada de los diferentes aspectos de la Expresión escrita y, en el caso del INEE, puede

dar cuenta de los contenidos presentes en el currículo vigente en el Sistema Educativo

Nacional” (INEE, 2006: 22-23). Coincidimos con México en cuanto a las ventajas del uso de

rúbricas analíticas.

El INEE sostiene también que, como los Excale son pruebas criteriales, puede calificarse a cada

estudiante sin considerar su edad o su habilidad y tomando en cuenta solo el criterio. Por esta

razón, se evalúa con la misma escala a estudiantes de sexto de primaria y de tercero de

secundaria. Así, las dimensiones varían según el tipo de texto. Veamos: los estímulos son seis,

graduados según su dificultad: escritura de cinco palabras temáticamente relacionadas, copia

de un aforismo y su autor, texto breve (tres oraciones cohesionadas, en futuro), texto

descriptivo, texto narrativo (carta informal) y texto argumentativo (carta formal). Desde el

estímulo texto breve en adelante, se aplica la cohesión pero sólo a la escritura de cartas

narrativas y argumentativas se aplican el formato y la efectividad de la respuesta (registro más

creatividad para conmover o persuadir). Las rúbricas utilizadas para ser aplicadas según el

estímulo y el criterio fueron en total 40 y han sido sintetizadas en un informe de resultados. Se

trata de rúbricas dicotómicas. Por ejemplo:

A partir de los logros obtenidos se elaboraron cinco niveles de logro que integran los

diferentes criterios comunes a ambos grados; por ejemplo: “Nivel III. Los estudiantes que se

ubican en este nivel utilizan las formas lingüísticas características de los discursos narrativos,

descriptivos y argumentativos; sin embargo, sus textos no revelan una planeación previa en

cuanto a estructura y desarrollo de las intenciones comunicativas. Del mismo modo, si bien

pueden estructurar los párrafos de los textos en torno a una oración temática y dominar la

19

segmentación de las palabras, siguen cometiendo faltas de ortografía y utilizando puntuación

de manera no convencional”. También se valora positivamente que se muestren los

instrumentos de evaluación usados y que la evaluación analítica haya dado lugar a una síntesis.

Cabe añadir que de los procesos de elaboración de la prueba e interpretación de resultados

participaron 60 profesionales del INEE (sin contar los asesores y consultores externos, los

codificadores, etc.).

Puede realizarse una primera crítica a esta prueba: ¿cómo pueden ser idénticos los criterios

para evaluar a un niño de sexto de primaria y a otro de tercero de secundaria? Evidentemente,

el currículo mexicano (que ha sufrido una modificación después de esta aplicación, aunque no

en el sentido que apuntamos), presenta, como la mayoría de los currículos de nuestra región,

ausencia de indicadores que evidencien la gradualidad del aprendizaje y el espiralamiento

necesario de los contenidos. En este sentido, los mapas de progreso parecen superadores

como currículo prescripto y también como insumo para las unidades de evaluación.

En la región, la primera evaluación masiva y externa de la escritura mediante un instrumento

analítico fue elaborada y coordinada por la consultora en el año 1996, en el marco del Diseño

de un Prototipo de Evaluación de la Calidad de la Educación para la Provincia de Buenos Aires.

A través de un convenio entre la Dirección General de Educación de dicha provincia y la

OREALC/UNESCO, se decidió implementar la primera evaluación de valor agregado en América

Latina, lo que supone tomar dos pruebas a los mismos estudiantes; la primera, para trazar la

línea de base y la segunda para determinar los aportes de la escuela con control del nivel

socioeconómico, después de un período de dos años.

La consultora no había trabajado hasta el momento en la elaboración de pruebas externas, por

lo que le pareció “natural” proponer la medición de la lectura, la escritura y la escucha. Gracias

a la colaboración de un experto argentino y a las capacitaciones ofrecidas por la OREALC para

Lectura, la consultora llegó a la conclusión de que la evaluación de la escritura sería aceptada

sólo si los puntajes en cada criterio eran 1 o 0 o bien rangos de frecuencia. La investigación

realizada previamente había descartado el uso de instrumentos holísticos por considerar que

no entregaban datos que pudieran usarse para reportar qué aspectos debían reforzarse y

tanto la provincia como la OREALC aceptaron los argumentos. También había desechado el

empleo de las rúbricas semi-análiticas como la 6+1, por considerar que, a mayor cantidad de

niveles de desempeño, mayor dificultad para la formación de evaluadores y más posibilidades

de hallar niveles que no discriminaran y más dificultades para “emparejar” los resultados en

Lectura y en Escritura.

Las consignas planteadas demandaron la descripción enciclopédica del perro y el gato en

séptimo grado de primaria (12 años) y fueron procesuales. La consigna con el tema perro fue

retomada casi sin cambios en el SERCE. El instrumento usado para la codificación fue muy

similar al del SERCE. De hecho, las diferencias radican en aspectos que en el SERCE no pudieron

ser evaluados por inconsistencias entre correctores detectadas en la piloto y que Perú retoma:

puntuación, tildación y sintaxis.

Como se trataba de un prototipo con fondos limitados y la resistencia a la evaluación externa

era durísima, la consultora hizo una propuesta que las autoridades aceptaron, pero que

condujo a la entrega de resultados demasiado tiempo después y con un desgaste insuperable.

20

La propuesta fue capacitar a docentes de la provincia en los marcos teóricos vigentes sobre el

proceso de escritura, a lo largo de varios meses, viajando a cada localidad; el curso, con

resolución de la Dirección General de Capacitación, otorgaba puntaje si era aprobado, pero

para aprobar, el docente cursante debía obtener 9 o 10 al corregir 100 pruebas. De este modo

ingenuo, se buscaba asegurar la consistencia: la tercera parte de las pruebas dadas a cada

docente era corregida también por la consultora junto con un equipo de 6 lingüistas

contratados y capacitados.

Se elaboró un solo informe, en 1999, referido solo a los resultados en escritura. Los resultados

se reportaron solo analíticamente, pues persistía cierta confusión entre evaluación y

formación docente. Cambios en la Dirección General de Escuelas y en el ya constituido Sistema

de Evaluación, impidieron el reporte de datos sobre valor agregado en escritura. De todos

modos, para la asignación de un puntaje al estudiante no se había estudiado un sistema de

ponderaciones, a diferencia de lo que acertadamente propone Perú.

Durante este proceso tuvimos un intercambio académico con Uruguay, y su equipo de

evaluación, entonces dirigido por Pedro Ravela, se interesó por nuestra forma de evaluar la

escritura. Eso llevó, imaginamos, a que en el marco del SERCE la iniciativa de reemplazar las

consignas de compleción por la escritura de textos completos fuera tomada por Uruguay.

El mismo año en que la consultora fue designada coordinadora de Lectura y Escritura del

SERCE, realizó una consultoría en Perú. La relectura de los documentos compartidos y las

recomendaciones muestra su persistencia en el empleo de rúbricas analíticas

predominantemente dicotómicas. El Informe pedagógico de resultados [sobre] Producción de

textos escritos publicado por la UMC en 2006 evidencia que el equipo de Comunicación y la

consultora acordaron en gran medida que las rúbricas analíticas ofrecen información más

valiosa para la transformación de las prácticas docentes.

Respecto del SERCE, como es sabido, los sucesivos cambios de conducción afectaron el

proceso de elaboración y codificación de las pruebas de escritura. Con un contrato de U$ 500,

la consultora analizó los datos sin colaboradores y escribió el informe final. Todos los

colaboradores citados en el reporte hicieron lecturas críticas o aportes puntuales ad honorem,

salvo quien procesó los datos. Se tenía el propósito de calcular niveles de desempeño en

escritura, pero la responsable no maneja el Modelo de Rasch y ya se daba inicio el TERCE con

un nuevo equipo, por lo que el trabajo quedó trunco. Aunque se ofreció al nuevo equipo

colaborar con él, solo tuvo lugar un breve intercambio, en Bogotá. Ignoramos entonces hasta

el momento si existen puentes entre el SERCE y el TERCE en la evaluación de la escritura.

Respecto de cómo se imaginaba adjudicar puntajes y establecer niveles de desempeño con

Rasch, puede decirse que dimensiones como el proceso de escritura iban a dejarse de lado y

que los indicadores referidos a los aspectos más locales iban a ser ponderados con un puntaje

menor, tal como está trabajando Perú en estos momentos.

La evaluación de la escritura que emprendió la UMC para el año 2013 da un salto cualitativo

pues mantiene las rúbricas analíticas, pero supera los ítems dicotómicos sobre la base del

análisis del comportamiento de varios niveles de desempeño durante el pilotaje. Así, los

niveles en los que se desagrega cada criterio de cada dimensión resultan confiables y no solo

21

más pormenorizados. Con esto queremos decir, por ejemplo, que ya se ha controlado el sesgo

de marcar, de tres opciones, la intermedia y que puede reportarse con certeza una escala de

tres grados de coherencia textual. Por otra parte, como se ampliará más adelante, se añade la

evaluación del contenido de los textos, que puede resultar sumamente interesante.

Solo se sugiere, si no ha sido considerado ya, establecer algunos cruces entre criterios de la

prueba de escritura (por ejemplo, la relación entre la coherencia y la ortografía o entre la

narración y la argumentación) y entre criterios de escritura y factores asociados (por ejemplo,

contenido y nivel socio-económico o cantidad de palabras y género), que permitan explorar

nuevas hipótesis.

2. Las rúbricas, el Manual y las indicaciones

2.1. Las rúbricas: dimensiones, criterios de evaluación e indicadores de acuerdo con las

consignas, los datos, el Marco de Trabajo y los documentos curriculares

Este apartado se centra en las rúbricas. A la luz de las consignas escogidas para la aplicación

final, de los datos estadísticos ofrecidos a la consultora, del Marco de trabajo del equipo de

Comunicación de la UMC y de los documentos curriculares, analizamos las dimensiones y los

criterios o subdimensiones evaluadas, así como los indicadores que describen cada nivel de

desempeño. Cuando se lo considera pertinente, se hacen sugerencias de mejora. En la

exposición, seguimos el orden que las dimensiones y los criterios tienen en las rúbricas.

Filtros

En el Producto 1, a partir de analizar las consignas, las rúbricas y los casos dados a la

consultora, se ha planteado la posibilidad de modificar los filtros para medir dimensiones

locales (Manejo de la variedad estándar y Convenciones de legibilidad) en los niveles 1 y 2 y,

con ello, evitar la caída de la muestra (142 casos en la piloto). Además, la reformulación del

nivel 2 posibilita captar la persistencia de una práctica pedagógica perimida. La sugerencia es

la siguiente:

Dimensión Criterio Indicadores

Filtro Texto N 3: Lo escrito en uno de los espacios o en ambos es un texto. N 2: Lo escrito en uno de los espacios o en ambos es una serie de oraciones sin ligazón entre sí. N1: Lo escrito es una copia de la consigna o se encuentra en otra lengua o en un código no verbal.

El conteo de palabras seguiría a este filtro y en la dimensión Cohesión textual, se anticiparía lo

siguiente: “Aplicar sólo si el texto tiene al menos 40 palabras”. (Se considera que un texto

puede ser coherente con menos de 40 palabras).

22

El proceso de composición

En relación con la dimensión El proceso de composición, se toma en cuenta la decisión

preliminar del equipo de la UMC de eliminar el criterio “¿Usó el espacio del borrador para su

texto definitivo?”. Al respecto cabe señalar que ese indicador solo aparece en la rúbrica

correspondiente a los textos argumentativos. Entonces, antes de tomar la decisión final, se

sugiere revisar si se han enviado a la consultora rúbricas de dos momentos diferentes del

proceso de trabajo (es lo que sugieren los datos de frecuencia en el documento Sinopsis de

decisiones preliminares) o si el criterio se ha piloteado sólo en argumentación.

Por otra parte, también en la dimensión El proceso de composición, se ha sugerido incluir un

criterio para indagar la comprensión del uso del borrador (lógicamente, este criterio no

entraría en la adjudicación de puntaje):

Dimensión Criterio Indicadores

El proceso de composición

Uso del borrador como tal

N 2: El borrador es un texto para el escritor: es un esquema o un cuadro, o carece de líneas dibujadas con regla para asegurar la caligrafía o de adornos en el título u otras partes. N 1: El borrador es un texto para otros: está escrito de corrido sobre líneas dibujadas con regla o muestra marcas de presentación final, como títulos adornados o ilustraciones.

En el punto siguiente hacemos algunas consideraciones sobre el modelo adoptado para la

evaluación del proceso de composición.

Adecuación a la situación comunicativa

Para la dimensión Adecuación a la situación comunicativa, se ha sugerido añadir el criterio

Género discursivo para los textos narrativos, pues la consigna de escritura ofrecida explicita

que se espera un texto inscripto en el género del cuento:

Dimensión Criterio Indicadores

Adecuación a la situación comunicativa

Género discursivo

N 3: El texto es un cuento y presenta al menos una situación central o complicación, que puede estar ubicada después de la situación inicial (“Todo estaba bien hasta que, de pronto...”) o al inicio del relato (“Despertó y se vio en medio de la selva rodeado por jaguares”). N 2: El texto narra una serie de acciones pero ninguna de ellas constituye una complicación de la situación inicial (explícita o implícita). N 1: El texto no es un cuento: es una descripción o una explicación o una argumentación o una combinación de secuencias textuales en las que la narración no predomina.

Lo anterior lleva a replantear el criterio Secuencia textual narrativa, que solo se aplicaría a los

textos ubicados en los niveles 3 y 2 de Género:

23

Dimensión Criterio Indicadores

Adecuación a la situación comunicativa

Secuencia textual narrativa

N 3: El texto presenta al menos tres acciones nucleares cronológicamente organizadas/con una cronología lineal. N 2: El texto presenta solo dos acciones nucleares cronológicamente organizadas/con una cronología lineal. N 1: El texto presenta una sola acción o presenta dos o más, pero sin orden cronológico (primero el niño muere y después está vivo; el niño está en su casa y, sin pasaje, aparece a continuación perdido en la selva).

Paralelamente, considerando la consigna seleccionada para la aplicación final, en el Producto 1

se ha sugerido eliminar el criterio Género de la rúbrica para textos argumentativos, así como la

noción de tesis en el sentido de proposición desarrollada que se sostiene con argumentos.

Ahora se observa también una superposición entre el modo en que se han evaluado la

Secuencia textual argumentativa y el Contenido de los textos argumentativos pues si “el texto

explicita una opinión a partir de la consigna y la fundamenta” (Nivel 3 de Secuencia), entonces

“los argumentos se basan en hechos plausibles y guardan una relación lógica con la

tesis/opinión” (Nivel 3 de Contenido).

Es asimismo cuestionable que se separe en otro criterio la Cantidad de argumentos. Por un

lado, estos constituyen la fundamentación que es parte de la secuencia. Por otro lado, se

superponen conceptualmente los indicadores “El texto explicita una opinión a partir de la

consigna pero no fundamenta” (Nivel 2 de Secuencia argumentativa) y “No fundamentó su

opinión” (Nivel 1 de Número de argumentos: 61 casos). Lamentablemente, en los resultados

no puede apreciarse la frecuencia correspondiente al Nivel 2 de Secuencia argumentativa,

porque ha sido sumada a la narrativa. Sin embargo, en los textos narrativos no se ha

contabilizado aparte la cantidad de acciones nucleares: como los argumentos en una

argumentación, las acciones son parte de la secuencia narrativa y así se las ha tomado.

En suma, para Secuencia textual argumentativa, se sugiere lo siguiente. En primer lugar, a falta

de género explícito, evaluar la presencia del tipo de texto:

Dimensión Criterio Indicadores

Adecuación a la situación comunicativa

Tipo de texto N 2: El texto es argumentativo. N 1: El texto no es argumentativo: es una descripción o una explicación o una narración o una combinación de secuencias textuales en las que la argumentación no predomina.

En segundo lugar, con el propósito de tratar la secuencia completa como se ha hecho en

narración e incluir los casos que podrían quedar afuera por fallas de la consigna, se propone lo

siguiente:

24

Dimensión Criterio Indicadores

Adecuación a la situación comunicativa

Secuencia textual argumentativa

N 3: El texto presenta la formulación de una opinión completa (“Estoy de acuerdo/no estoy de acuerdo con la eliminación de Educación Física”) y dos o más razones que la fundamentan. N 2: El texto presenta la formulación de una opinión completa o incompleta, seguida de una razón que la fundamenta. N 1: El texto presenta solo una opinión, completa o incompleta, o solo una razón, o las razones contradicen la opinión o se contradicen entre sí y entonces no fundamentan.

En este punto parece importante hacer referencia a las discrepancias que los documentos

curriculares presentan en torno de la argumentación (entre otras). El Diseño Curricular 2009 no

menciona la escritura de textos argumentativos ni en IV Ciclo ni en V Ciclo. Se mencionan los

“textos informativos, instructivos, poéticos, dramáticos” y “los textos discontinuos y de diverso

tipo”, evidenciando confusión entre propósitos, géneros y formatos. En el Diseño subyacen

aplicacionismos no solidarizados de la teoría del desarrollo piagetiana, de la Psicología cognitiva, la

Pragmática y la Gramática del texto, a los que se suman categorías tomadas de pruebas

internacionales, como “textos continuos y textos discontinuos”. Hablamos de aplicacionismos

porque diferentes hallazgos de diferentes disciplinas de referencia se bajan al aula sin que se los

haya diseñado para la enseñanza y sin que su eficacia pedagógica haya sido suficientemente

probada.

Las Rutas del aprendizaje, por su parte, parecen menos eclécticas y ponen el acento en procesos

descriptos por la Psicología cognitiva; sin embargo, no remarcan que la dificultad de esos procesos

varía en relación con los textos que se escriben y los contextos que exigen optar por ciertos textos;

así, predominan las expresiones “textos variados”, “diversos tipos de textos” como complemento

de los procesos. En relación con la argumentación y como parte de un ejemplo, se lee: “Escribir

una carta a las autoridades e instituciones regionales para que les puedan donar diversos textos

para la biblioteca de la escuela” (Rutas del aprendizaje: 49). El uso del modalizador “poder” en

“puedan donar” quita matiz argumentativo al ejemplo, pero incluso así podría inferirse que se

trata de escribir una carta de pedido convincente. Sin embargo, la evidencia de que se ha logrado

escribir dicha carta es la siguiente: “En la redacción de la carta deberán tener en cuenta el

formato, lenguaje y contenido que va a presentar en el texto” (sic) (Rutas del aprendizaje: 50).

Como se ve, la alusión a la argumentación y a la situación en la que resultaría eficaz está ausente.

En el Mapa de progreso de Comunicación, en el nivel IV se menciona “Expresa sus opiniones y

argumenta utilizando fuentes de información complementarias”; la argumentación está presente

pero sin género, como en la consigna elegida; el único género es la noticia: “Escribe una noticia de

interés público, estructurada en párrafos, considerando la fecha, el lugar, las personas y los

hechos, utilizando la tercera persona”. Sin embargo, como ejemplo del nivel, se ofrece una carta

predominantemente argumentativa.

Cabe aclarar que la observación sobre el conjunto de los documentos curriculares peruanos se

extiende a la mayoría de (o a todos) los currículos latinoamericanos.

En opinión de la consultora, el Marco de trabajo del equipo de Comunicación de la UMC, así como

sus pruebas, sus rúbricas y su Manual 2013 subsanan los aplicacionismos y las divergencias

25

señalados, pues parten del contexto de producción o situación, pasan al texto y llegan al nivel de

la gramática, el léxico y las grafías con una lógica que puede observarse en modelos completos

que sí se han probado largamente en las aulas, como el de la Lingüística Sistémico Funcional.

Siguiendo esta línea, en el Producto 1 se han hechos dos observaciones en relación con lo que

Halliday llama “contexto de cultura”: la ausencia de género en la consigna argumentativa elegida

para la aplicación final y el sesgo urbano de algunas consignas. Más allá de eso, se valora muy

especialmente la coherencia del modelo adoptado.

Ahora bien, cabría preguntarse si un marco de trabajo como el elaborado es capaz de crear

conflictos o tensiones con los equipos a cargo del diseño curricular. La exposición del proceso de

escritura, por ejemplo, excede en mucho lo prescripto y los descripto en los diseños curriculares;

la relación –y particularmente la distinción– planteada entre coherencia y cohesión también

excede lo que en los documentos se nombra como un bloque: “coherencia y cohesión”. Sin dudas,

el lector inscripto en el Marco de trabajo es mucho más experto que el lector de los documentos

curriculares y los cuadros incluidos en el Anexo 4 para mostrar los paralelismos entre la

evaluación y los documentos curriculares no parecen suficientes para disimularlo. La

consultora no está en capacidad de predecir posibles impactos, por lo que se limita a sugerir que

los conceptos vertidos en el Marco dados por conocidos y que no aparecen en los documentos

curriculares sean aclarados (por ejemplo, “memoria a largo plazo” aparece solamente en Rutas del

aprendizaje y no figura “memoria de trabajo” y las máximas de Grice no se abordan en ningún

documento)7. Esta sugerencia apunta a ampliar el auditorio, no solo en Perú, sino también en la

región.

Retomando el análisis de las rúbricas, también dentro de la dimensión Adecuación a la

situación comunicativa, se sugiere revisar el indicador de Nivel 1 del criterio Tema: “Escribe

sobre un tema que no tiene que ver directamente con el solicitado”. Los ejemplos dados en el

manual prescriben que un texto que toma el tema lateralmente (la Educación Física y no la

eliminación de la Educación Física), deben incluirse en el Nivel 2. Por tanto, sería más claro

redactar el indicador de Nivel 1 del siguiente modo: “Escribe sobre un tema que no tiene

ninguna relación con el solicitado”.

En cuanto al criterio Registro, en el Producto 1 se ha señalado que, ante una consigna

argumentativa que no prescribe la inscripción del texto en ningún género, resultaría arbitrario

penalizar el uso de un registro correspondiente a géneros orales. Además se ha sugerido

extender la evaluación de Registro a la consigna narrativa porque los cuentos han de

presentarse en un concurso. Los indicadores podrían ser los siguientes:

7 En el Marco hay algunas conceptualizaciones y algunos usos que tal vez merezcan revisión: el uso de “capacidad” (tomado de los documentos curriculares, ciertamente, pero que a diferencia de “habilidad” está asociado a la “incapacidad”); la afirmación de que se mide si el estudiante “Evalúa la adecuación de su texto a los objetivos originales”; la superposición entre “Modela una red temática ajustada a las expectativas del lector” y “Modela argumentos lógicamente consistentes”; la afirmación de que el texto argumentativo responde sólo a la pregunta “por qué” y la formulación de indicadores encabezados por “no”.

26

Dimensión Criterio Indicadores

Adecuación a la situación comunicativa

Registro N 3: El registro es adecuado en todo momento. N 2: Se observa el uso de una palabra, construcción o contracción propia de contextos muy informales o el empleo de una abreviatura. N 1: Se observa el uso de al menos una palabra, construcción o contracción propia de contextos muy informales y además el empleo de al menos una abreviatura.

Coherencia

Pasando a la dimensión Coherencia, se ha sugerido añadir un criterio (separándolo de

Cohesión) por razones conceptuales que, vemos ahora, están destacadas en los documentos

curriculares: “Cuando se habla de lo textual se trata de la concordancia con la lingüística del

texto que lo considera como unidad lingüística de comunicación”. (Diseño Curricular 2009 III:

167). Cabe aclarar que se presupone que la coherencia –así como la cohesión– se evalúa en

todos los textos, argumentativos y narrativos, pero también descriptivos, explicativos, etc.

Dimensión Criterio Indicadores

Coherencia Texto como unidad comunicativa

N 2: El escrito constituye una unidad comunicativa por su sentido pleno. N 1: El escrito no constituye una unidad comunicativa porque presupone el conocimiento de la consigna o da por presentados referentes clave que no pueden reponerse (“Porque nos divertimos mucho y entrenamos nuestro cuerpo”/ “Él se perdió en la selva y él comenzó a perseguirlo”).

Además, por la simple razón de que los codificadores automatizan o la evaluación de aciertos o

la evaluación de desaciertos, se propone emplear dos términos positivos al denominar los

criterios: por un lado, Mantenimiento y por otro, Avance o Progresión, en vez de

Estancamiento. En opinión de la consultora, esta observación es válida también para los

indicadores. Así, en lugar de “El texto no presenta

transgresiones/digresiones/estancamientos”, etc., conviene formular indicadores como “El

texto mantiene en todo momento un registro adecuado”/ “El texto se organiza en todo

momento alrededor de una misma red temática”/ “La información del texto progresa sin

interrupciones”.

En cuanto a la decisión de eliminar de Coherencia el criterio Contradicciones, a partir de haber

notado contradicciones y saltos en algunos casos de textos narrativos, se ha propuesto incluir

las contradicciones en el Nivel 1 de los criterios Secuencia textual narrativa y Secuencia textual

argumentativa, respectivamente.

Respecto del Nivel 1 de los criterios Mantención y Estancamiento, respectivamente, a las

razones conceptuales dadas en el Producto 1 se suman ahora evidencias empíricas que

reafirman la conveniencia de colapsarlo con el Nivel 2.

27

Cohesión textual

En la dimensión Cohesión textual, criterio Cohesión léxico-gramatical, los resultados muestran

sólo 51 casos en el Nivel 1, lo que sugeriría que está sub-representado. Asimismo, se observa

un número alto de casos, de acuerdo con la experiencia de la consultora, en el Nivel 4: 950. Sin

embargo, los niveles conceptualmente más cercanos por los indicadores que los describen son

el 2 y 3, que reciben, respectivamente, 569 y 590 marcaciones, cantidades muy próximas.

¿Discriminan?

Al respecto, en el Manual se ha hecho un esfuerzo importante para describir y ejemplificar los

cuatro niveles, pero algunas distinciones parecen muy finas para el momento de la corrección:

probablemente, los codificadores tiendan a superponer la omisión y/o el uso fallido de nexos y

conectores con la omisión y/o el uso fallido de pronombres que no son nexos y referentes

ausentes en frases del tipo “el mismo” o “lo anterior”. Nótese que en el actual indicador de

Nivel 2 “palabras” puede abarcar “nexos” y “conectores” y que en las definiciones al pie de

“referentes” y “nexos” resultan superpuestos ciertos pronombres.

Además, se ha sugerido revisar este criterio porque en la rúbrica los indicadores se basan en la

presencia de referentes (incluidos los que hacen a la autonomía de significado del texto),

palabras, nexos y conectores y omiten su uso fallido, así como las repeticiones injustificadas de

palabras, aun cuando los documentos curriculares contemplan el “vocabulario variado”: “Al

término del IV ciclo se espera que los estudiantes logren alcanzar el siguiente estándar de

aprendizaje. Lee comprensivamente textos que presentan estructura simple con algunos

elementos complejos y que desarrollan temas diversos con vocabulario variado […]” (y lo

mismo al término del V Ciclo) (Rutas del aprendizaje, Comunicación: 24). A falta de datos

estadísticos finales de consistencia entre correctores, se propone revisar los porcentajes y

evaluar reformulaciones como la siguiente:

Dimensión Criterio Indicadores

Cohesión textual

Cohesión léxico-gramatical

N 3: El texto está plenamente cohesionado: todos los pronombres tienen un referente concordante, todos los nexos y los conectores necesarios para la comprensión están presentes y correctamente usados y se emplean sinónimos de palabras de uso común. N 2: El texto está cohesionado, pero no plenamente: al menos dos pronombres no tienen referente o tienen un referente no concordante, y/o al menos dos nexos o conectores necesarios para la comprensión están ausentes o incorrectamente usados y/o al

28

menos tres palabras de uso común se repiten innecesariamente. N 1: El texto presenta varios problemas de cohesión, aunque no impiden por completo su comprensión: tres o más pronombres carecen de referente o tienen un referente no concordante y/o tres o más nexos o conectores necesarios para la comprensión están ausentes o incorrectamente usados y/o se repiten innecesariamente más de tres palabras de uso común.

Una modificación de este tipo, obviamente, implica rehacer el apartado del Manual

correspondiente a Cohesión textual; en el Producto 1 se ha sugerido restringir el conteo de

palabras repetidas a las clases de los sustantivos, los verbos y los adjetivos y excluir el conector

“y”.

En cuanto al otro criterio de la Cohesión textual, Puntuación, llama la atención la frecuencia

del Nivel 4: 1113 casos, así como la del nivel 2: 34 casos. Se propone considerar la posibilidad

de colapsar los niveles 2 y 3 y la de efectuar un pequeño cambio (destacado) en el nivel 3, a fin

de que el codificador no se “anticipe” a la coma enumerativa: “Se utiliza algún signo de

puntuación de manera adecuada (punto seguido, punto final o coma para separar

suboraciones yuxtapuestas u oraciones), pero comete al menos un error […]”.

Manejo de la variedad estándar

Pasando a la dimensión Manejo de la variedad estándar y al criterio Construcción oracional, en

el Producto 1 se había sugerido eliminar el Nivel 1 por su cercanía con un filtro, pues el

indicador describe un texto que no puede comprenderse. Los datos empíricos ofrecidos en el

documento Sinopsis de decisiones preliminares refuerzan la crítica a la presencia de este nivel.

La decisión de volver cuantitativo el análisis podría ocasionar inconsistencias significativas

entre codificadores ya que el indicador reúne evidencias bien heterogéneas. En este sentido,

se sugiere contemplar también la posibilidad de eliminar el Nivel 1 y recalibrar los niveles 2 y 3.

Por otra parte, parecería necesario reforzar en el Manual la diferencia entre Construcción

oracional y Léxico (el alcance, la unidad de análisis), para que casos como “haiga” no sean

asociados “automáticamente” a Construcción oracional por la sencilla razón de que este

criterio aparece primero.

Respecto de los criterios Léxico y Segmentación (este último de la dimensión Convenciones de

Legibilidad), a partir de los datos estadísticos ofrecidos, coincidimos con el equipo de la UMC

en la conveniencia de reportar valores absolutos.

Convenciones de legibilidad

Para reforzar la consistencia de Número de palabras, se sugiere en primer lugar adelantar

Convenciones de legibilidad, ya que particularmente el criterio Segmentación puede incidir en

29

un conteo incorrecto. Además, se propone indicar al codificador que en el margen del texto

anote la cantidad de palabras que corresponde al título, y a continuación que haga una

pequeña marca cada 10 palabras; la última anotación puede corresponder a un número

inferior a 10. Según nuestra experiencia el título es olvidado con frecuencia y, en los textos

extensos, el conteo se dificulta si se lo quiere hacer de corrido.

Para el criterio Grafías, al que se ha considerado añadir el indicador Uso de mayúscula, se

propone tratar con cuidado en el Manual los casos en que los estudiantes escriben solo en

mayúscula y, particularmente, los que trazan una mayúscula por minúscula sistemáticamente,

como hace este niño con la “p”, a diferencia de la “r” en “Reso” y “echar”:

Cabe agregar que, según la experiencia de la consultora, los codificadores tienden a no ver los

errores en el uso de mayúscula cuando además cuentan los restantes errores ortográficos. En

este sentido, se plantea la posibilidad de inclinarse hacia la decisión de reducir la cantidad de

niveles manteniendo el criterio por separado. El mismo problema de codificación se ha

observado en la tildación, que el equipo ha decidido acertadamente codificar por separado.

Contenido

Pasando finalmente a la dimensión Contenido, se sostienen los argumentos planteados en el

Producto 1 respecto de la arbitrariedad de medir “vicios de razonamiento”. A lo expuesto

puede añadirse que, según los datos del pilotaje, en el Nivel 1 (“Ningún argumento guarda una

relación lógica válida con la consigna”) solo se encuadraron 22 respuestas y, principalmente,

que ninguno de los documentos curriculares hace referencia a tipos de argumentos. En el

punto 3 se hacen, entonces, algunas propuestas para evaluar el contenido.

30

Presentación de las rúbricas

Se observan dos detalles. En primer lugar, tal vez, las rúbricas deberían recordar cuándo no

aplica un criterio. Por ejemplo, para Cohesión, “NA (si el texto tiene menos de 40 palabras)”;

para Coherencia, “NA (si se indicó ausencia de texto)”, etc.

En segundo lugar, en las rúbricas se ponen al pie o en el cuerpo de la tabla con letra más

pequeña descripciones y/o prescripciones tomadas del Manual respecto del alcance de

algunos criterios o indicadores. Se trata sin duda de una estrategia que tiene en cuenta la

tendencia de los codificadores a dejar el manual de lado. No obstante, pensando en la

tendencia a dejar de revisar también las notas al pie, se propone, por un lado, unificar la

ubicación de esas aclaraciones en el cuerpo y, por otro lado, volverlas prescriptivas y lo más

breves posible. Por ejemplo, en vez de la siguiente nota al pie:

Si una palabra es una forma léxica no estandarizada y además contiene un error ortográfico (por ejemplo, <inrecistible> en vez de <irresistible>: la presencia de <n> en la primera es una desviación de la norma estándar asociada a la conciencia que tiene el hablante de la estructura morfológica de la palabra, mientras que el uso de la <c> por <s> es un error de ortografía llano), se contará la forma en el indicador léxico, y no en el indicador ortografía.

se sugiere indicar en el cuadro de Léxico, con letra más pequeña: “Si en una palabra halla, además de un error de léxico, un error de ortografía, cuente solo el primero”.

2.2. El Manual para el codificador

El Manual para el codificador es ordenado y claro, aunque se encuentra actualmente a medio

camino entre las rúbricas aplicadas y el trabajo que se ha ido rehaciendo a partir de la

aplicación piloto. La única crítica general que podría hacérsele, a juicio de la consultora, es la

falta de ejemplos problemáticos tomados de textos reales. En efecto, los ejemplos dados, con

el fin de mostrar la codificación de un criterio por vez, presentan errores solo de ese criterio.

Sin embargo, hay criterios que suelen confundir a los correctores y también casos dudosos:

cuantos más se aborden en el manual, menos serán las consultas y menores las

inconsistencias.

Es cierto que los manuales largos atentan contra la revisión sostenida del codificador; en este

sentido, se propone la selección de casos francamente dudosos, particularmente para los

criterios que se han mostrado más débiles en la aplicación piloto, y su análisis en un anexo. Por

ejemplo, este caso se presta para problematizar si el texto es o no un cuento porque el

conflicto –¿reconocerán los padres al hijo perdido? – se encuentra apenas esbozado; también

sirve para identificar el nivel 1 de la secuencia textual narrativa, pues se narran varias acciones

pero la cronología está alterada: hay un salto narrativo entre el momento en que el niño se

pierde y el momento en que llama a la puerta y una contradicción, ya que se narra primero lo

que se ve tras la puerta (la madre tejiendo lana) y a continuación que se llama a la puerta.

Asimismo, “su papá fue carpintero” es la única digresión y la repetición de “papá no te

acuerdas” tiene un efecto estilístico y no debe computarse como repetición de palabras, entre

otros aspectos.

31

Finalmente, en el Producto 1 se han efectuado comentarios puntuales sobre la descripción de

niveles que ya han decidido eliminarse.

2.3. Indicaciones generales para el estudiante y para el aplicador

Las indicaciones generales para el estudiante provocaron dudas inicialmente porque no

anticipan que el escrito se desarrollará primero en borrador. Ahora, los datos de uso del

borrador (94%) y de uso del borrador como insumo (91%), despejan esas dudas.

En el Manual del aplicador correspondiente a la aplicación definitiva se ve que el al final de los

días dos y tres de aplicación los niños responderán a cada consigna de escritura. Esto

aseguraría que el efecto del cansancio sea igual para las dos consignas.

En cuanto a las indicaciones para el aplicador, se observan dos erratas en el manual, que

seguramente fueron subsanadas durante la capacitación. En la página 2 se afirma que en la

caja 6, correspondiente al tercer día, se encontrará el cuadernillo Escribamos una carta y en la

página 25 la prueba se denomina Escribamos un artículo. Recuérdese que la consigna elegida

no solicita la escritura de ninguno de esos dos géneros.

Por lo demás, las indicaciones para el aplicador son concisas y exhaustivas.

Finalmente, los comentarios sobre las consignas, se realizaron en el Producto 1.

3. Propuestas para evaluar el contenido

32

En primer lugar, debe remarcarse el avance que implica, respecto de las evaluaciones masivas

de la escritura, la inclusión de un criterio referido al contenido. En efecto, criterios como

secuencia, tema, coherencia y cohesión no informan nada acerca del modo en que los

estudiantes abordan los temas y desarrollan las macro proposiciones que componen la

secuencia pedida o incrustan secuencias subordinadas de otros tipos. Tampoco ofrecen datos

sobre el tipo de apropiación de los géneros discursivos y, con ello, de su participación en las

prácticas sociales. Y dejan de lado asimismo información valiosa sobre las posiciones

enunciativas que los estudiantes asumen.

La primera propuesta retoma la idea de desarrollo planteada en el Nivel 4 de la rúbrica de

argumentación. Se propone concebir el desarrollo del contenido como una expansión de las

macro proposiciones “obligatorias”, ya sea mediante la incrustación de proposiciones

coherentes pertenecientes a otro tipo de texto, ya sea mediante la inclusión de proposiciones

del mismo tipo textual que tengan por función la expansión no obligatoria, a los fines de la

comprensión, de la información “básica”. El criterio se plantea de igual modo para la narración

y la argumentación y solo se aplica en textos que hayan alcanzado los niveles 3 o 2 en

Secuencia:

Dimensión Criterio Indicadores

Contenido Desarrollo como expansión

N 2: El texto presenta dos o más proposiciones de otro tipo textual o del mismo tipo textual que apuntan a desarrollar/expandir la información básica (por ejemplo, la descripción de un lugar o un personaje o de los efectos que produce la práctica de la Educación Física, o la narración de un indicio o de acciones puntuales verosímiles (en la consigna narrativa) o una evaluación final (en ambas consignas). N 1: El texto se limita a presentar las macro proposiciones básicas que lo vuelven narrativo o argumentativo o introduce una sola proposición expansiva.

Si bien siempre es riesgoso introducir un criterio que no se ha piloteado, el equipo de la UMC

ha decidido no usar la dimensión Contenido a efectos de puntuar la escritura. Además, aunque

el número de casos con el que contamos es mínimo, de ellos y de la experiencia puede

asumirse esta evaluación, con estos niveles, al menos con carácter exploratorio. Tomamos

algunos casos y los analizamos:

-El caso citado en la página 18 quedaría en el nivel 1 pues la única expansión se observa en la

reiteración de la pregunta al padre. Es la única proposición no digresiva que puede suprimirse

para conservar la información “básica” (si se suprimieran las dos preguntas, el texto dejaría de

tener nudo).

33

-En el siguiente caso no puede aplicarse el criterio porque la secuencia presenta más de dos

acciones sin orden cronológico: primero Lucía vive dos años en una casa solitaria. Después,

repentinamente, la casa “estuvo” embrujada. Después apareció la dueña para advertírselo,

porque al parecer ella no lo había notado. Hay un además dos saltos en la narración: la

expectativa de lectura se dirige a saber cómo resuelve Lucía la muerte de ambos padres, su

soledad, pero sola decide irse a otro país a vivir también sola. La aparición de un príncipe en su

lugar de origen (tal como es presentado) es el otro salto.

-El caso siguiente correspondería al Nivel 2. Se incrustan secuencias descriptivas referidas al

personaje y varias acciones puntuales que aportan verosimilitud al relato:

34

35

-La siguiente argumentación se codificaría en el Nivel 1 porque no presenta ninguna

expansión.

-Y la siguiente (fragmentada), en el Nivel 2, porque hay un argumento expandido, una

refutación y una conclusión evaluativa (aunque su eficacia resulte débil).

36

La segunda propuesta, que retoma en parte los patrones temáticos hallados por el equipo de

la UMC, se refiere solo a las narraciones (adecuadas o no a la consigna) y se relaciona con la

apropiación de los géneros discursivos a partir de la enseñanza y la participación de los niños

en las prácticas socio-culturales. La hipótesis es que en el nivel primario la escuela refuerza la

lectura de algunos géneros narrativos originados en la cultura popular: los cuentos folclóricos y

las leyendas, mientras que a los géneros originados por la cultura de masas, como el policial, la

ciencia ficción y la nueva literatura infanto-juvenil, se accedería a través de consumos que

dependen del nivel socioeconómico y cultural familiar o en el secundario. Los documentos

curriculares no prescriben la enseñanza de ninguno de estos géneros en particular y la

propuesta evaluación se basa en una posición ideológica: la igualdad de oportunidades, que no

37

supone la sobrevaloración ni de lo masivo ni de lo popular. De hecho, los resultados en este

criterio podrían cruzarse con los de nivel socioeconómico y cultural y los de rural/urbano8.

Cabe señalar que el criterio puede ser débil. En primer lugar, porque ante su difusión masiva

los relatos de origen tradicional pasan a ser parte de la cultura de masas mediante una serie de

transformaciones (por esta razón nos hemos remitido al origen). Por otra parte, solo se ha

chequeado el funcionamiento del criterio en la escasa cantidad de casos con que se cuenta al

realizar este informe. Además, de los tres temas propuestos en la consigna, “Lucía en la casa

embrujada” y “Mateo, el niño que se perdió en la selva” son más convocantes para apelar a

rasgos de ambos grupos de géneros: los embrujos y las aventuras recorren la historia de la

literatura, aunque con matices. En cambio, “Chumbeque, el perro héroe” (el tema menos

elegido) parece invitar a la apelación a los géneros de masas, pues hay numerosos perros

héroes en series con actores y animadas, y películas –así como en noticias– y no se observan

perros que realicen hazañas en cuentos populares y fábulas. Entonces, también podría

atribuirse al tema elegido a partir de la consigna dada una parte de las elecciones

intertextuales que los niños efectúen. Finalmente, algunos textos narrativos leídos, no

presentan intertextos ni masivos ni populares (por ejemplo, el caso citado en la página 18). Por

lo dicho, la aplicación de este criterio, de aceptarse, debería ser exploratoria.

8 Esta hipótesis es parte de la tesis doctoral en curso de la consultora, por lo que, si se acepta probar el criterio, se ruega referenciar dicho trabajo, debido a que se exige que sea inédito.

38

Dimensión

Criterio Indicadores9

Contenido en textos narrativos

Géneros presentes como intertextos

N 3: El texto presenta marcas evidentes de rasgos estructurales y tópicos propios tanto de los relatos de origen popular como de los relatos originados en la cultura de masas. N 2: El texto presenta marcas evidentes de rasgos estructurales y tópicos propios de los relatos originados en la cultura de masas: héroe con poderes extraterrestres o habilidades dadas por las nuevas tecnologías, hazañas para salvar a muchos, peripecias y seres de las películas de aventuras o terror (momias que cobran vida, serpientes gigantes, caricaturas o hipérboles de fantasmas, zombies, Haloween, martes 13), situaciones iniciales “actuales” (viaje familiar, vacaciones, campamento); indicios estereotípicos (puertas que se abren solas, frío inexplicable, selva densa); complicaciones motivadas por pares desafiantes; soluciones como sueños, amnesia, engaños mediáticos; adultos que se equivocan en su percepción de los niños y al final se disculpan, etc. N 1: El texto presenta marcas evidentes de rasgos estructurales y tópicos propios de los relatos de origen popular; el protagonista experimenta una o varias pruebas valiéndose de habilidades humanas (astucia, belleza, persistencia, maña, fuerza), a veces con ayuda de seres sobrenaturales; aparecen elementos campesinos (chozas, casas de piedra, caballos, gallinas, pobreza) y/o palaciegos; situaciones iniciales tradicionales (cumplir con un mandato adulto, alejarse del hogar) y complicaciones tradicionales (desobedecer a los adultos, perderse, no ser reconocido); los adultos tienen la razón y auxilian al personaje; el final feliz es un casamiento o una victoria contra la adversidad; el final puede ser también trágico. Pueden observarse repeticiones como rasgos de la oralidad y el ritualismo. El uso de las fórmulas “Había una vez” y “Vivieron felices” y la función ejemplar (con moraleja explícita o implícita) se dejan de lado porque los estudiantes no las usan exclusivamente como marcas evidentes de relato de origen popular.

El cuento citado en la página 22, se ubicaría en el Nivel 2: predominan los rasgos de los relatos

de aventuras de masas, pero también están presentes los esfuerzos del héroe para regresar al

hogar y el hecho de no ser reconocido inicialmente por sus padres. Lo mismo sucede en este

9 Hemos consultado los indicadores propuestos a la luz de los casos recibidos y de los documentos curriculares peruanos con un experto en literatura medieval artúrica, Manuel Abeledo, doctor en Letras por la Universidad de Buenos Aires.

39

caso: hay marcas de relato popular en la primera parte y de relato de terror masivo a partir de

“entonces”:

El siguiente relato, en cambio, puede ser ubicado en el Nivel 1: el héroe se aleja, comete

transgresiones, tiene enemigos, los enemigos lo interrogan, el adulto lo auxilia, el héroe

regresa y vuelve a alejarse; es perseguido; hay tres peripecias (al estilo de los cuentos de tres

intentos), el ambiente es campesino.

40

La tercera propuesta se efectúa en relación con los textos argumentativos. Consiste en evaluar

la eficacia comunicativa de la argumentación en relación con dos parámetros que parecen

justos en sexto grado: la autonomía versus la heteronomía, categorías que estudió Piaget y

retomaron Kholberg y Gilligan, desde el punto de vista de la psicología del desarrollo, y

Marková y Duveen desde el punto de vista de la psicología social. Como es sabido, según

Piaget, hasta los 10 años es esperable que los sujetos sean heterónomos dado que para

41

alcanzar la autonomía necesitan pasar por un proceso de descentración cognitiva que les

posibilite superar el egocentrismo intelectual. El pensamiento egocéntrico propio de los 3 a los

7 años es un período del desarrollo cognitivo en el cual los sujetos se encuentran centrados en

su propio punto de vista, porque todavía no ha culminado el proceso de diferenciación entre

mundo interno y mundo externo que comienza en los primeros meses de vida. La

descentración cognitiva necesaria para superar el egocentrismo intelectual se produce en la

medida en la que el niño participa de relaciones de cooperación entre pares que lo confrontan

con puntos de vista, intereses y deseos distintos de los suyos. Los estudios de Piaget recibieron

críticas y autocríticas centradas en la edad de los sujetos, en la generalización de los estadios y

en la idea de que los logros son propios de los individuos como tales.

En la línea de Piaget, los estudios posteriores de Kholberg, quien postula que entre los 9 años y

la adolescencia la acción justa es aquella que satisface instrumentalmente las necesidades del

sujeto, necesidades que pueden entrar en conflicto con las de otras personas y a veces deben

ser acordadas, fueron criticados por Gilligan debido a que habían sido realizados sólo con

sujetos varones.

Desde la psicología social se apuntó que tanto Piaget como Kholberg habían descuidado la

intervención de la cultura en el desarrollo del juicio y se postuló que los conocimientos

construidos colectivamente son la base de la posterior elaboración individual de conceptos. Se

realizaron estudios en parejas compuestas por un niño y una niña y se observó que, en

aquellas en las que los argumentos correspondientes a la moral autónoma eran esgrimidos por

un niño ante una niña heterónoma, el tiempo en llegar a una respuesta acordada era menor y

los argumentos esgrimidos eran simples. En cambio, cuando una niña esgrimía argumentos

autónomos ante un niño heterónomo, el tiempo transcurrido hasta el logro de una respuesta

común era mayor y los argumentos esgrimidos más complejos y extensos. Tales resultados

indican que los sujetos no aceptan los juicios simplemente por considerarlos

epistemológicamente válidos, como afirma Piaget, sino que en ese procesos intervienen los

significados sociales, como las creencia sostenidas culturalmente en torno a las diferencias de

género. En este sentido, sería interesante cruzar los resultados obtenidos en este criterio con

los resultados de género.

El criterio puede aplicarse a todas las argumentaciones que alcanzan los niveles 3 y 2 en

Secuencia. Para formularlo, tomamos también en cuenta la propuesta original del equipo de

Comunicación de la UMC.

Dimensión Criterio Indicadores

Contenido Argumentación autónoma

N 3: Los juicios expresan la opinión del estudiante sobre una situación que atañe a él y a otros. Los juicios muestran la acción de (o la conciencia sobre) sujetos diferentes del estudiante: pares que no opinan como él, una autoridad, un colectivo, una

42

convención social, los padres. Si se observan cuantificadores referidos a los pares, explícitos o implícitos, son “muchos“ o “algunos“. El texto puede presentar argumentos ad-hominen (“el grupo de padres que quiere eliminar Educación Física está frustrado por sus problemas de sobrepeso”) u otras falacias (“No estoy de acuerdo con la eliminación de Educación Física, pues no queda allí: conduce directamente a la eliminación de Música y Plástica”). N 2: Al menos un juicio expresa la opinión del estudiante sobre una situación que atañe a él y sus pares. Los juicios muestran la acción de (o la conciencia sobre) los niños en edad escolar, cuantificados, implícita o explícitamente, como “todos”. Para alcanzar la persuasión, el texto puede hacer, de un caso, una regla (“es sabido que un niño que dejó de practicar Educación Física y quedó con su musculatura disminuida, por lo que todos los niños…”); también puede presentar la falacia del hombre de paja (“No estoy de acuerdo con la eliminación de Educación Física. Los niños tenemos derecho a hacer actividades variadas”). Los argumentos se basan experiencias que se asumen compartidas: “En Educación Física siempre nos hemos divertido mucho/hemos aprendido a convivir”. N 1: El estudiante expresa su opinión sin tener en cuenta a otros. Si usa el “nosotros”, el pronombre puede ser fácilmente sustituido por “yo” porque solo abarca el punto de vista del estudiante. Los argumentos se basan en deseos, gustos, sentimientos o experiencias personales: “porque deseo ser atleta en el futuro”, “porque me gusta”, “porque me divierto”.

El texto fragmentado citado en la página 24, quedaría codificado en el Nivel 3 pues el estudiante

emplea argumentos que se aplican a la generalidad de la población (“uno puede desestresarse/

y eso es muy bueno para la salud”); a una parte de la población de estudiantes (“muchos tal vez

de grandes quisieran ser atletas”); a una autoridad: “unos cursos son más importantes que otros,

pero solo por eso no los podemos eliminar”).

El siguiente texto, quedaría codificado en el Nivel 2, porque todos los argumentos se refieren a

“nosotros, todos los estudiantes”.

43

También este texto quedaría codificado en el nivel 2, porque los dos primeros argumentos

involucran a todos los pares y solo el último es personal.

44

En cambio, el texto citado en la página 23, quedaría codificado en el nivel 1 pues el estudiante

solo emplea argumentos relacionados con su experiencia: “en educación aprendes a jugar vóley

y a jugar fútbol y…”. También quedaría en este nivel el siguiente texto (fragmentado) que

presenta un solo argumento no desarrollado:

45

En este informe, en primer lugar, hemos tratado comparativamente la evaluación de la

escritura que implementa Perú en 2013 y las que realizan otros países y los organismos

internacionales de evaluación de la calidad educativa. La comparación fue más global de lo

deseado debido a que solo se ha logrado contar con tres rúbricas por razones de

confidencialidad.

En segundo lugar, se han analizado las rúbricas y el Manual según a las dimensiones y los

criterios de evaluación y los indicadores incluidos en cada criterio, en relación con las pruebas,

los datos entregados a la consultora obtenidos en la aplicación piloto, el Marco de trabajo de

la UMC y también en relación con el diseño curricular vigente, las Rutas del Aprendizaje y el

Mapa de Progreso de escritura. Además, se han abordado las indicaciones para el estudiante y

para el aplicador. En cada caso, se han efectuado sugerencias de mejora o ratificado las

decisiones del equipo de Comunicación de la UMC.

Finalmente, se han realizado tres propuestas para evaluar el contenido de los textos.

46

Se insiste en que las sugerencias no constituyen planteos acabados y en qué quedamos

abiertos al intercambio.

47

Producto 3. Informe sobre el Marco de trabajo de la prueba de escritura,

el modelo de procesamiento y los resultados que se espera reportar

En este informe se realizan en primer lugar comentarios adicionales a los vertidos en los

productos 1 y 2 sobre el marco teórico de la prueba de escritura y el modelo de evaluación.

Además se efectúan consideraciones sobre el modelo de procesamiento que se busca emplear

y los resultados que se espera reportar.

1. El Marco de trabajo

1.1. El marco teórico

En el Producto 2 se ha señalado ya que el marco teórico de la UMC supera el aplicacionismo de

modelos sobre la producción textual que se observan hoy, sin solidarización, en casi todos los

currículos de los países de la región. Nos referimos particularmente a que el llamado “enfoque

comunicativo” no solo pone énfasis en que los estudiantes conozcan y manejen diversas

estructuras textuales adecuadas a la intención, el tema, los destinatarios y el contexto en el

que se usa el lenguaje atenuando la enseñanza de lo normativa y la gramática; además, como

bien reconoce el equipo de Comunicación: “un vasto paisaje disciplinar -desde la pragmática,

la lingüística del texto, la etnografía de la comunicación y la semiótica textual, hasta la

sociolingüística, los enfoques socio cognitivos de la psicolingüística, la etnometodología o el

análisis del discurso- aparece ante los ojos de los maestros como un nuevo marco sugerente y

lleno de posibilidades para dar sentido al trabajo en el aula” (p.3). Cuando hablamos de

“aplicacionismo” hacemos referencia a que diferentes hallazgos de esas muy diferentes

disciplinas de referencia se bajan al aula sin que se los haya diseñado para la enseñanza, sin

que su eficacia pedagógica haya sido suficientemente probada y sin que la generalidad de los

docentes conozca su procedencia, sus encuadres, etc. Cuando hablamos de ausencia de

solidarización, queremos decir que dentro de ese “paisaje” hay ramas de la Lingüística cuyos

objetos de estudio no se intersectan o cuyos objetos de estudio se superponen, lo que da

como resultado una desarticulación en la enseñanza de ciertos contenidos y una superposición

de contenidos de enseñanza, respectivamente. Hemos visto, por ejemplo, que las Rutas del

aprendizaje tienen una fuerte marca de uno de los enfoques dominantes: la Psicología

cognitiva, que deja de lado las características de los textos y los contextos; asimismo, que el

Diseño Curricular 2009 menciona los “textos informativos, instructivos, poéticos, dramáticos” y

“los textos discontinuos y de diverso tipo”, evidenciando confusión entre propósitos

(Pragmática), géneros (Análisis del discurso) y formatos (Lingüística del texto).

El equipo de la UMC destaca que “A través del tiempo, se ha optado por diferentes modelos

educativos teóricos que han determinado cómo debía ‘enseñarse’ la lengua a los estudiantes”

(p.3) y con esto asume que los saberes no son estables y que se los debe desacralizar o

desnaturalizar considerando su origen, su historia y sus implicaciones en la enseñanza.

Además, si bien sitúa el foco de la enseñanza de la lengua en su uso con diferentes propósitos

comunicativos, reconoce que los aspectos gramaticales y normativos son parte de la

48

enseñanza de la lengua, pues “se vuelven reflexivos al ser usados como elementos que

permiten una mayor eficacia en la comunicación del estudiante” (p.4). Subrayamos este último

aspecto porque algunos estudios señalan ya los efectos negativos del abandono de la

enseñanza de la gramática, en lugar de tratarla como parte constitutiva y comunicativa del

texto.

Evidentemente, la presentación de un marco teórico más sólido e integrado que el de los

documentos curriculares es positiva para el público destinatario del documento. Sin embargo,

y a pesar de las constantes remisiones a los documentos curriculares en tanto fuente, en el

Producto 2 se ha sugerido tener en cuenta posibles conflictos con la rama del Ministerio de

Educación a cargo de la planificación curricular.

Por otra parte, se ha propuesto quitar algunos rasgos de escritura académica al Marco de

trabajo, presentes en el uso de términos y referencias a autores que los destinatarios

difícilmente conozcan.

1. 2. Modelo de evaluación de la escritura

Ya hemos expresado en los productos anteriores nuestro acuerdo general y nuestras

diferencias puntuales con el modelo de evaluación de la escritura adoptado. A continuación

hacemos referencia a puntos específicos del modelo de evaluación de la escritura tal como es

descripto en el Marco de trabajo.

-Se sugiere revisar la numeración de partes: se inicia en 6.1. y se pasa a 6.4.1., 6.4.2., etc.

“Evaluación de la competencia de producción escrita” no está numerado y en la página 13 se

lee una paráfrasis: “Modelo de evaluación de la escritura”. Los “Puntos clave del modelo” se

repiten en las páginas 8 y 13. Las tablas también están mal numeradas (la primera es la 8). Se

sugiere exponer en este orden: 1) Evaluación de las competencias comunicativas; 2) Enfoque

comunicativo; 3) Definición de “escritura”; 4) Modelo de evaluación de la escritura, puntos 1 a

7, con sus respectivas tablas10.

-En las páginas 5 y 14 se habla de los “conocimientos estáticos del estudiante” por oposición al

uso de conocimientos durante un proceso productivo; si bien la oposición es útil para

favorecer la comprensión, se sugiere revisarla porque ningún conocimiento es estático.

-En las páginas 6 y 7 parece necesario aclarar que se exponen características de hablantes y

escritores expertos y que aún se carece de estudios suficientes sobre cómo se adquiere

procesualmente la experticia. En este sentido, la evaluación de la escritura procura informar

en qué medida los niños de cada grado evaluado se acercan a un ideal obtenido en

investigaciones, aunque esté ajustado a prescripciones curriculares.

-En la página 7 sería necesario definir las memorias a largo plazo y de trabajo. Como

comentario adicional, cabe señalar que, al describir con tanto detalle los procesos y

subprocesos de escritura según los modelos de Kellog, Hayes, Bereiter y Scardamalia, etc.,

10 Los comentarios siguientes remiten a la numeración de la versión borrador recibida por la consultora.

49

situados claramente en el individuo, se dejan de lado restricciones retóricas “sociales” o

dependientes de consensos culturales. Tal vez, este aspecto podría cubrirse con algún ejemplo

que apele no solo a la búsqueda de ser claro o convincente, sino también a la de adecuarse a

un género discursivo en alguno de sus rasgos.

-En la página 8, segunda noción, (a) puede ser identificada con coherencia textual y (b) con

coherencia pragmática o adecuación de las ideas a la situación comunicativa, pues este último

aspecto se evalúa. También en la página 10 debería incluirse alguna referencia a la coherencia

pragmática.

-En la página 11 se sugiere agregar un ejemplo verbal que se corresponda con el esquema para

facilitar la comprensión.

-En la página 12, también para facilitar la comprensión, se propone transformar el paréntesis

“(principalmente, aunque no exclusivamente, deixis)” en una oración aparte que incluya

ejemplos de deixis anafórica y catafórica.

-En la página 13, Tabla 9, correspondería quitar el primer punto, pues no se lo evalúa.

-En la página 14, se sugiere justificar por qué se habla de “capacidades” en vez de “habilidades”. Allí mismo, en la Tabla 10, 7ii debería decir “modela argumentos lógicamente consistentes y acciones cronológicamente ordenadas”. En la misma tabla, ¿cómo se mide si el estudiante “Evalúa la adecuación de su texto a los objetivos originales”? Se propone quitar el punto. -Se sugiere unir las tablas 10 y 11, diferentes en solo dos filas, y colocar al final la

especificación sobre el estatus de la variedad estándar.

-Entre las páginas 14 y 16 se hace, implícitamente, una distinción discutible: la de que se

evalúan, por un lado, capacidades cognitivas de producción textual; por otro, textos y

finalmente, contextos. En realidad, la producción de un texto narrativo o argumentativo

adecuado a cierto contexto es una capacidad cognitiva de producción textual. Se sugiere

encabezar la distinción con una aclaración.

-En la página 17, de acuerdo con lo planteado en el Producto 1, se propone revisar si debe

quedar para todo caso el filtro “textos de menos de 40 palabras”. Revisar, además, cómo

emparejar las categorías simplificadas de planificación, textualización y revisión con el modelo

de la escritura más complejo que se ha presentado inicialmente. En la nota al pie sobre

narración, considerar si la pregunta “qué ocurrió” no es más comprehensiva que “cuándo y en

qué orden”. En la nota al pie sobre argumentación, analizar si “por qué” abarca la tesis y si

conviene emplear "explicación", que corresponde a otro por qué, el cual, en vez de convencer,

busca desenvolver las razones por las cuales se produce un fenómeno social, natural, etc. en

un marco científico o pre-científico. Se sugiere, finalmente, ver si la caracterización del texto

pedido debe ir en nota al pie o en el cuerpo central del texto, ya que las capacidades

involucradas en la escritura de cada texto varían al variar este y ya que luego los resultados se

reportarán por separado según la secuencia predominante.

-En todas las tablas de especificaciones se sugiere unificar la formulación de indicadores sin

negaciones (“usa el registro esperado…” en vez de “no trasgrede el registro esperado”).

50

-En la página 18 parece cuestionable que se tomen los indicadores listados como evidencia de

la capacidad de planificación. ¿Por qué no evidencian la capacidad de textualizar? ¿Por qué no

se reserva para la planificación el análisis del borrador?. Se entiende el esfuerzo por aproximar

el modelo teórico adoptado para la evaluación a la simplificación o transposición que se

observa en Rutas del aprendizaje, pero realmente parece forzado asimilar tales indicadores a

la planificación, así como los de la Tabla 14 a la revisión (p. 20). Finalmente, también en la

página 18, de acuerdo con lo planteado en el Producto 2, se sugiere corregir el último

indicador de la Tabla 12: “En situaciones que requieren la producción de un texto

predominantemente narrativo, propone una secuencia narrativa en la que hay una situación

inicial, una situación central y una situación final, independientemente del orden en que se

presenten”. Y agregar un indicador más: “En situaciones que requieren la producción de un

cuento, siempre plantea un nudo o complicación”.

-En la Tabla 13 (p. 19) el tercer indicador debería quitarse, pues no se evalúa. En la misma

tabla, de acuerdo con lo propuesto en el Producto 2, se sugiere separar el desarrollo de los

argumentos –y de las narraciones– de la información “básica” surgida de las macro

proposiciones “obligatorias” argumentativas –o narrativas–. La evaluación de las expansiones

sería referencial. Para las dos últimas capacidades listadas en la Tabla 13 se han formulado

propuestas en el punto 3 del Producto 2.11

Estas mismas observaciones se consideran aplicables al Anexo 4 (que debería llamarse Anexo

1, aunque el hecho de que la Bibliografía tenga como subtítulo “Del área de Comunicación”

nos hace pensar que hemos trabajo con un texto al que solo se le han dejado las partes de

interés para la consultora).

2. Reporte de resultados

Al redactar esta sección, nos basamos en el documento “Notas sobre escritura”, que nos fue

enviado por el especialista Carlo Linares y que da cuenta de algunos de los consensos a los que

el Equipo de Comunicación arribó hasta el momento.

En primer lugar, se señala la intención de reportar resultados por criterio “pero también, y

sobre todo, [el reporte] debería considerar niveles de desempeño globales” (“Notas”, p.1).

Estamos de acuerdo con esta decisión, pero creemos necesario insistir en el valor del reporte

por criterios.

El reporte de resultados por criterios es muy útil, a juicio de la consultora, para la formación de

docentes o para ofrecerles nuevos elementos de trabajo en el aula. Es sabido, por ejemplo,

que en algunos textos de divulgación y manuales escolares “coherencia y cohesión” se tratan

como una misma cosa y con independencia de los otros aspectos que caracterizan al texto.

Conocemos también que ciertos errores de léxico son tratados como errores de ortografía,

11 Lamentablemente, en el punto 3 del Producto 2 ha quedado un error importante: se usa “autonomía” por “heteronomía”. En la página 29, el texto debía decir “Como es sabido, según Piaget, hasta los 10 años es esperable que los sujetos sean autónomos dado que para alcanzar la heteronomía necesitan pasar por un proceso de descentración cognitiva que les posibilite superar el egocentrismo intelectual”.

51

entre muchos otros problemas. Un reporte que muestre los resultados en cada criterio y, a

partir de ejemplos tomados del corpus, proponga orientaciones de trabajo específicas para

textos con diferentes tipos de problemas permitiría aprovechar valiosa información que los

sistemas de evaluación producen y que, en general, se deja de lado aunque puede colaborar

fuertemente con la mejora de la calidad educativa. Además, un reporte de esta clase permite

mostrar formas de evaluar más sistemáticas que las que suelen proponerse en el aula, donde

predominan aún consignas sin propósito, sin destinatario, etc. o correcciones que evalúan algo

que se no se demandó escribir. Siendo los docentes el público privilegiado de este tipo de

reporte puede pensárselo como un producto separado del reporte con resultados más

globales e incluso, posterior. No desconocemos con esto que los equipos de evaluación de la

calidad educativa tienen más que suficiente trabajo en su área. Más bien, planteamos un

interés personal que nos surgió a diferentes colegas cada vez que evaluamos masivamente la

escritura: cuántas publicaciones para docentes e incluso jefas y jefes de hogar podríamos

haber generado seleccionando textos conmovedores, divertidos, creativos y planteando seria y

sencillamente temas específicos y posibles vías de mejora…

Respecto del reporte por resultados globales, destinado a un público más amplio, un primer

interrogante nos remite al procesamiento de resultados, aun sin ser expertos en el tema. Ese

interrogante es el siguiente: ¿conviene definir los niveles de desempeño de una manera en

Lectura y de otra manera en Escritura? Damos por hecho que los resultados en Lectura se

informan a través de niveles de desempeño generados mediante del Modelo de Rasch y que

en el reporte se da una definición sencilla de “nivel de desempeño” en el marco de ese

Modelo, al que los lectores se han venido acostumbrando en los últimos años. Para Escritura,

se planea obrar de otro modo, aunque el Modelo de Rasch no ha sido descartado. Hacemos

una breve referencia a esta primera planeación y a continuación comentamos lo que, a

nuestro juicio, son sus principales ventajas y desventajas.

Según “Notas…”, el equipo seleccionó inicialmente 10 criterios para argumentación y 9 para

narración (cuando asumía que el contenido de los textos narrativos no se evaluaría), que

serían colapsados en 5 y 4 “aspectos” para los textos argumentos y los textos narrativos,

respectivamente: contenido (solo para los argumentativos), cohesión, coherencia, adecuación

a la situación comunicativa y legibilidad. A los fines de presentar un reporte que proceda

descendentemente desde lo más global hasta lo más local y en vistas de que la nueva

propuesta de evaluación del contenido (Producto 2) debería ser referencial por su novedad,

nos permitimos reordenar los aspectos y reducirlos a 4 para ambos textos: adecuación a la

situación comunicativa, coherencia, cohesión y legibilidad.

El documento “Notas” informa también que en 6to. grado la correlación no fue todo lo baja

que se esperaba en Adecuación a la situación comunicativa, que reúne los criterios Secuencia

textual y Tema. En los productos anteriores se han hecho sugerencias para precisar los

indicadores de estos criterios. Pensamos que el hecho de que en narración se aceptara todo

orden de las acciones aunque la consigna exigía un orden lineal puede haber originado una

codificación más laxa que la propuesta ahora. Lo mismo opinamos sobre la separación entre la

cantidad de argumentos y la secuencia textual argumentativa y hemos propuesto que, así

como en narración conviene evaluar la presencia de tres acciones nucleares sucesivas, en

argumentación conviene medir la presencia de una opinión y dos argumentos para sostenerla,

52

pues esto constituye la secuencia completa pedida. Respecto de Tema, aunque no deja de ser

una cuestión de forma, parece prudente modificar el indicador “Escribe sobre un tema que no

tiene que ver directamente con el solicitado”, eliminando la palabra “directamente”.12

Para colapsar dos criterios en un aspecto, el equipo planea usar tablas de equivalencia en las

que se estipularán distintos niveles de dominio para cada aspecto dado sobre la base del nivel

alcanzado en los criterios que lo componen; por ejemplo, para Coherencia, la tabla combinaría

los tres niveles de Mantención del tema y los tres niveles de Avance de la información

(Estancamiento). Así, los niveles de desempeño en escritura serían la expresión de cortes en la

totalidad de las combinaciones posibles de los aspectos, según cómo se decida ponderarlos.

Un programa informático diseñado ad hoc permite modificar las tablas de equivalencia y

ponderar de diferente manera cada aspecto sobre la base de un ranking de las posibles

combinaciones de códigos por aspecto y de la frecuencia con que esas combinaciones se

establecieron. “Con esta herramienta se busca explorar y validar puntos de corte, que reflejen

distinciones concretas entre niveles de logro globales” (“Notas”; p. 5).

Insistiendo en que no somos expertos en el tema, pensamos que esta forma de determinar los

niveles de desempeño en Escritura es sumamente interesante desde el punto de vista

conceptual, pues parte de una diferencia fundamental con el modo en que se conciben

habitualmente los ítems de lectura (de selección de respuesta y de producción de respuesta):

sin ponderación y sin consideración de las muy diversas elecciones que pueden realizar

diferentes sujetos para resolver un mismo problema comunicativo. Sin embargo, esto nos lleva

a replantearnos el interrogante acerca de los diferentes modos de evaluar la lectura y la

escritura en la EN 2013, en el sentido de que también al leer y resolver ítems de lectura los

estudiantes realizan tareas de diferente dificultad tomando diferentes caminos de resolución,

aunque sin duda es mucho más sencillo para quien elabora ítems determinar un solo

contenido y solo un proceso.

La puntualización anterior, referida a uno de los supuestos del Modelo de Rasch, sería no

obstante, de menor peso que la siguiente: ese modelo es hoy dominante en la evaluación

masiva y dejarlo de lado por completo puede ocasionar que el estudio peruano de la escritura

resulte menospreciado ante los ojos de los expertos. En el Producto 2, si bien nuestra revisión

resultó incompleta, coincidimos con el Equipo de la UMC en que son muy escasas las

evaluaciones de la escritura. Las pocas que hallamos parecen ser elaboradas para que se

ajusten al Modelo de Rasch. Por ejemplo, como hemos comentado, México plantea consignas

graduadas en su dificultad (desde cuatro palabras hasta una argumentación compleja) y esto

necesariamente conduce a la determinación y la descripción de niveles de desempeño

jerárquicos e inclusivos. Colombia, en la prueba de escritura de finalización de la Educación

Superior, asume que las respuestas de los evaluados a preguntas de muy diferente formato

son producto de la interacción entre dos elementos: el rasgo evaluado, representado por la

“habilidad”, y la pregunta, representada por la “dificultad”. En otras palabras, se entiende que

las respuestas de los evaluados dependen de la exigencia de lo que se les demanda y de su

12 Según la experiencia de la consultora, los mejores criterios para medir la adecuación a la situación comunicativa son, además de Secuencia, Género y Registro, pero no fueron solicitados en la consigna de argumentación seleccionada para la aplicación definitiva.

53

propia capacidad para resolver aquello que se les demanda. Las tareas de escritura dadas en

esta prueba son tan disímiles como las mexicanas, pero el supuesto es otro: el constructo no

está definido para medir la habilidad de enfrentar una tarea específica, sino una competencia

genérica: “escribir para comunicarse”. En este marco se asume que la variación en las

calificaciones no se deriva de la diferencia entre las tareas propuestas. Entonces, los niveles de

desempeño “surgen” de la rúbrica, que es holística y presenta en sí 4 niveles jerárquicos e

inclusivos: “uso de recursos estilísticos, elaboración de la intención comunicativa, presencia de

estructura y fallas en el lenguaje”.

Sin negar los aportes del Modelo de Rasch al procesamiento de pruebas, notamos claramente,

en estos dos ejemplos, que las pruebas se elaboraron para adecuarse al modelo de

procesamiento, en vez de buscar una interacción entre que lo que se quiere evaluar y el modo

de analizarlo. Es indudable la claridad de lo que el equipo de la UMC quiere evaluar y de que lo

ha ideado para buscar a posteriori la mejor forma de procesarlo, al punto de elaborar un

software específico. Sin embargo, por el actual estatuto del Modelo de Rasch, se sugiere

analizar la escritura usándolo también. En ocasión de las discusiones sobre el empleo de Rasch

en la prueba de escritura del SERCE se barajaban dos alternativas: la creación de un índice

(para contemplar ponderaciones) y el uso de todos los criterios salvo los referidos al borrador.

Vale recordar que en el SERCE los criterios eran dicotómicos y eso simplificaba el

procesamiento.

Finalmente, desde un punto de vista práctico y de optarse por el uso exclusivo del modelo ad

hoc, cabe preguntarse por qué no reportar niveles en cada uno de los 4 aspectos: adecuación a

la situación comunicativa, coherencia, cohesión y legibilidad. Esto reduciría la cantidad de

combinaciones que deberían manipularse si se intentara combinar los aspectos y sus criterios

en el modelo ad hoc y la información no dejaría de ser global. Por otra parte, en vez de

ponderar cada aspecto, podría decirse que los resultados se reportan por su orden de

importancia conceptual, expresada en el modelo teórico.

En este informe hemos realizado nuevos comentarios sobre el Marco de trabajo: el marco

teórico del área de Comunicación y de la prueba de escritura en particular y el modelo de

evaluación. Se han efectuado comparaciones con los documentos curriculares y sugerencias

puntuales de revisión de la versión recibida. Además se han efectuado consideraciones sobre

el modelo de procesamiento que se busca emplear y el Modelo de Rasch, sin que el tema sea

de nuestra experticia. Finalmente, se han tomado en cuenta los resultados que se espera

reportar insistiendo en la importancia de informar tanto resultados globales como específicos

para apuntar a la mejora de la calidad educativa.

54

PROYECTO FORGE- LÍNEA DE APOYO A LA UMC

Producto 4. Resumen ejecutivo

En este texto se resumen las principales observaciones y recomendaciones efectuadas en los productos 1 a 3 respecto de las consignas, las rúbricas, lo que se evalúa y lo que podría evaluarse, el Manual para el codificador, el Marco de trabajo y el reporte de resultados.

1. Consignas

La consigna narrativa elegida para la aplicación definitiva es adecuada; la única observación es

que los temas de relato dados en los títulos facilitan en diferente grado el planteo de un nudo.

Para próximas evaluaciones, se sugiere ofrecer un solo tema a fin de facilitar la comparación

de logros.

La consigna “Concurso de cuentos de historias de terror” es más compleja que la dada en la aplicación 2013, pues puede inducir a la escritura de una anécdota (“historia que hayas vivido”) o exigir la organización de una re-narración (“película que hayas visto”). Se sugiere descartarla o reformularla para futuras aplicaciones.

La consigna “Cuento con situación ‘eres un robot’” parece tener un sesgo urbano. Desde el

punto de vista estructural, a diferencia de las anteriores, ofrece la situación inicial y el nudo

(“eres un robot”), y pide que se desarrolle la resolución (“qué haces desde que te enteras…”).

Se recomienda revisar el sesgo y tratar de que las consignas de evaluaciones sucesivas sean lo

más semejantes posible en cuanto a sus rasgos estructurales.

La consigna argumentativa elegida para la aplicación definitiva demanda un texto que no se

inscribe en ningún género, a diferencia de todas las otras consignas. De las tres consignas

argumentativas, la que parece más adecuada en este sentido es la que demanda la escritura

de un texto del género carta formal.

Desde el punto de vista estructural, las tres consignas argumentativas demandan

explícitamente la sola escritura de razones. Se sugiere reformular en este sentido las que

quedan para aplicaciones futuras “Expresa tu opinión y da dos razones…”), así como revisar la

adecuación de “padres que pegan a sus hijos” por la cercanía de las ideas de los niños de sexto

grado con las que les inculcan sus familias, lo que dificultaría asumir la posición enunciativa de

argumentador.

2. Rúbricas

En líneas generales, se sugiere unificar las rúbricas para narración y argumentación en todos

los aspectos posibles. Idealmente, solo deberían diferenciarse en una dimensión de Contenido,

si se tomaran todas las sugerencias efectuadas.

También se propone nombrar los criterios y los indicadores del nivel más alto

sistemáticamente con una formulación positiva (Avance o Progresión en vez de

Estancamiento, por ejemplo).

55

Asimismo, reordenar las rúbricas adelantando el conteo de palabras, para dejar pasar los no

textos a los que aplicar las categorías del nivel de la oración y la palabra y para filtrar los textos

a los que aplicar categorías del texto.

También se propone recordar el significado de NA en cada caso (“No aplica si el texto tiene

menos de 40 palabras”), eliminar las notas al pie explicativas y, de ser necesario, hacer breves

recordatorios prescriptivos en los cuadros donde se codifica (“Si encuentra un error de

ortografía y otro de léxico, cuente sólo el último”).

3. Qué se evalúa y qué podría evaluarse

Filtros

Se sugiere modificar los filtros para medir Manejo de la variedad estándar y Convenciones de

legibilidad y evitar la caída de la muestra, así como para captar la posible persistencia de la

práctica de redactar oraciones:

Dimensión Criterio Indicadores

Filtro Texto N 3: Lo escrito en uno de los espacios o en ambos es un texto. N 2: Lo escrito en uno de los espacios o en ambos es una serie de oraciones sin ligazón entre sí. N1: Lo escrito es una copia de la consigna o se encuentra en otra lengua o en un código no verbal.

El proceso de composición

Se acuerda con la decisión del equipo de la UMC de eliminar el criterio “¿Usó el espacio del

borrador para su texto definitivo?” para ambos textos.

Se sugiere incluir un criterio para indagar la comprensión del uso del borrador:

Dimensión Criterio Indicadores

El proceso de composición

Uso del borrador como tal

N 2: El borrador es un texto para el escritor: es un esquema o un cuadro, o carece de líneas dibujadas con regla para asegurar la caligrafía o de adornos en el título u otras partes. N 1: El borrador es un texto para otros: está escrito de corrido sobre líneas dibujadas con regla o muestra marcas de presentación final, como títulos adornados o ilustraciones.

Adecuación a la situación comunicativa

Se ha sugerido añadir el criterio Género discursivo para los textos narrativos, pues la consigna

de escritura ofrecida explicita que se espera un texto inscripto en el género del cuento:

Dimensión Criterio Indicadores

Adecuación a la situación comunicativa

Género discursivo

N 3: El texto es un cuento y presenta al menos una situación central o complicación, que puede estar ubicada después de la situación inicial (“Todo estaba bien hasta que, de pronto...”) o al inicio del relato (“Despertó y se vio en medio de la selva rodeado por jaguares”).

56

N 2: El texto narra una serie de acciones pero ninguna de ellas constituye una complicación de la situación inicial (explícita o implícita). N 1: El texto no es un cuento: es una descripción o una explicación o una argumentación o una combinación de secuencias textuales en las que la narración no predomina.

Lo anterior lleva a replantear el criterio Secuencia textual narrativa, que solo se aplicaría a los

textos ubicados en los niveles 3 y 2 de Género:

Dimensión Criterio Indicadores

Adecuación a la situación comunicativa

Secuencia textual narrativa

N 3: El texto presenta al menos tres acciones nucleares cronológicamente organizadas/con una cronología lineal. N 2: El texto presenta solo dos acciones nucleares cronológicamente organizadas/con una cronología lineal. N 1: El texto presenta una sola acción o presenta dos o más, pero sin orden cronológico (primero el niño muere y después está vivo; el niño está en su casa y, sin pasaje, aparece a continuación perdido en la selva).

Paralelamente, considerando la consigna seleccionada para la aplicación final y la conveniencia

de hacer semejantes las rúbricas, se sugiere reemplazar el criterio Género de la rúbrica para

textos argumentativos por el de Tipo de texto:

Dimensión Criterio Indicadores

Adecuación a la situación comunicativa

Tipo de texto N 2: El texto es argumentativo. N 1: El texto no es argumentativo: es una descripción o una explicación o una narración o una combinación de secuencias textuales en las que la argumentación no predomina.

En segundo lugar, con el propósito de tratar la secuencia completa como se ha hecho en

narración e incluir los casos que podrían quedar afuera a causa de la imprecisión de la

consigna, se propone no contar aparte la cantidad de argumentos y definir “opinión completa”

(por oposición a tesis como proposición desarrollada), respectivamente:

Dimensión Criterio Indicadores

Adecuación a la situación comunicativa

Secuencia textual argumentativa

N 3: El texto presenta la formulación de una opinión completa (“Estoy de acuerdo/no estoy de acuerdo con la eliminación de Educación Física”) y dos o más razones que la fundamentan. N 2: El texto presenta la formulación de una opinión completa o incompleta, seguida de una razón que la fundamenta. N 1: El texto presenta solo una opinión, completa o incompleta, o solo una razón, o las razones contradicen la opinión o se contradicen entre sí y entonces no fundamentan.

Nótese que se propone incluir las contradicciones, eliminadas de Coherencia, en el Nivel 1 de

Secuencia textual narrativa y Secuencia textual argumentativa.

57

Se sugiere revisar el indicador de Nivel 1 del criterio Tema: “Escribe sobre un tema que no

tiene que ver directamente con el solicitado”. Se indica que un texto que toma el tema

lateralmente debe incluirse en el Nivel 2. Por tanto, sería más claro redactar el indicador de

Nivel 1 del siguiente modo: “Escribe sobre un tema que no tiene ninguna relación con el

solicitado”.

En cuanto al criterio Registro, se observa que, ante una consigna argumentativa que no

prescribe la inscripción del texto en ningún género, resultaría arbitrario penalizar el uso de un

registro correspondiente a géneros orales. Además se sugiere extender la evaluación de

Registro a la consigna narrativa porque los cuentos han de presentarse en un concurso. Los

indicadores podrían ser los siguientes (como es muy improbable el uso de términos muy

informales, podría eliminarse el nivel 1):

Dimensión Criterio Indicadores

Adecuación a la situación comunicativa

Registro N 3: El registro es adecuado en todo momento. N 2: Se observa el uso de una palabra, construcción o contracción propia de contextos muy informales (“ejemplo”) o el empleo de una abreviatura (x q). N 1: Se observa el uso de al menos una palabra, construcción o contracción propia de contextos muy informales y además el empleo de al menos una abreviatura.

Coherencia

Se sugiere evaluar la coherencia –así como la cohesión– en todos los textos, argumentativos y

narrativos, y también descriptivos, explicativos, etc. Se propone además añadir un criterio

(separándolo de Cohesión):

Dimensión Criterio Indicadores

Coherencia Texto como unidad comunicativa

N 2: El escrito constituye una unidad comunicativa por su sentido pleno. N 1: El escrito no constituye una unidad comunicativa porque presupone el conocimiento de la consigna o da por presentados referentes clave que no pueden reponerse (“Porque nos divertimos mucho y entrenamos nuestro cuerpo”/ “Él se perdió en la selva y él comenzó a perseguirlo”).

Respecto del Nivel 1 de los criterios Mantención y Estancamiento, respectivamente, se

acuerda con el equipo la conveniencia de colapsarlo con el Nivel 2.

Cohesión textual

Se sugiere revisar este criterio porque en la rúbrica los indicadores se basan en la presencia de

referentes, palabras, nexos y conectores y omiten su uso fallido, así como las repeticiones

injustificadas de palabras:

Dimensión Criterio Indicadores

Cohesión textual

Cohesión léxico-gramatical

N 3: El texto está plenamente cohesionado: todos los pronombres tienen un referente concordante, todos los nexos y los conectores necesarios para la comprensión

58

están presentes y correctamente usados y se emplean sinónimos de palabras de uso común. N 2: El texto está cohesionado, pero no plenamente: al menos dos pronombres no tienen referente o tienen un referente no concordante, y/o al menos dos nexos o conectores necesarios para la comprensión están ausentes o incorrectamente usados y/o al menos tres palabras de uso común se repiten innecesariamente. N 1: El texto presenta varios problemas de cohesión, aunque no impiden por completo su comprensión: tres o más pronombres carecen de referente o tienen un referente no concordante y/o tres o más nexos o conectores necesarios para la comprensión están ausentes o incorrectamente usados y/o se repiten innecesariamente más de tres palabras de uso común.

Se propone restringir el conteo de palabras repetidas a las clases de los sustantivos, los verbos

y los adjetivos y excluir el conector “y”.

En Puntuación se propone considerar la posibilidad de colapsar los niveles 2 y 3 y/o la de

efectuar un pequeño cambio (destacado) en el Nivel 3, a fin de que el codificador no se

“anticipe” a la coma enumerativa: “Utiliza algún signo de puntuación de manera adecuada

(punto seguido, punto final o coma para separar suboraciones yuxtapuestas u oraciones), pero

comete al menos un error […]”.

Manejo de la variedad estándar

Para el criterio Construcción oracional, se propone eliminar el Nivel 1 por su cercanía con un

filtro, pues el indicador describe un texto que no puede comprenderse. La decisión de volver

cuantitativo el análisis podría ocasionar inconsistencias significativas entre codificadores ya

que el indicador reúne evidencias bien heterogéneas. En este sentido, se sugiere contemplar

también la posibilidad de recalibrar los niveles 2 y 3.

Respecto de los criterios Léxico y Segmentación (este último de la dimensión Convenciones de

Legibilidad), a partir de los datos estadísticos ofrecidos, coincidimos con el equipo de la UMC

en la conveniencia de reportar valores absolutos.

Convenciones de legibilidad

Para reforzar la consistencia de Número de palabras, se sugiere en primer lugar adelantar

Convenciones de legibilidad, ya que particularmente el criterio Segmentación puede incidir en

un conteo incorrecto.

Para el criterio Grafías, al que se ha considerado añadir el indicador Uso de mayúscula, se

propone tratar con cuidado en el Manual los casos en que los estudiantes escriben solo en

mayúscula y, particularmente, los que trazan una mayúscula por minúscula sistemáticamente.

Además, se sugiere mantener el criterio por separado, tal como se procederá con Tildación.

59

Contenido

En primer lugar, para ambos textos, se propone concebir el desarrollo del contenido como una

expansión de las macro proposiciones “obligatorias” (las tres acciones nucleares en la

narración y la opinión y las dos razones en la argumentación). La expansión puede realizarse

mediante la incrustación de proposiciones coherentes pertenecientes a otro tipo de texto o

mediante la inclusión de proposiciones del mismo tipo textual que tengan por función la

expansión no obligatoria de la información “básica” a los fines de facilitar la comprensión o

avivar el interés. El criterio solo se aplica en textos que hayan alcanzado los niveles 3 o 2 en

Secuencia:

Dimensión Criterio Indicadores

Contenido Desarrollo como expansión

N 2: El texto presenta dos o más proposiciones de otro tipo textual o del mismo tipo textual que apuntan a desarrollar/expandir la información básica (por ejemplo, la descripción de un lugar o un personaje o de los efectos que produce la práctica de la Educación Física, o la narración de un indicio o de acciones puntuales verosímiles (en la consigna narrativa) o una evaluación final (en ambas consignas). N 1: El texto se limita a presentar las macro proposiciones básicas que lo vuelven narrativo o argumentativo o introduce una sola proposición expansiva.

La segunda propuesta se refiere solo a las narraciones (adecuadas o no a la consigna) y se

relaciona con la apropiación de los géneros discursivos a partir de la enseñanza y la

participación de los niños en las prácticas socio-culturales. En el nivel primario la escuela

refuerza la lectura de algunos géneros narrativos originados en la cultura popular: los cuentos

folclóricos y las leyendas, mientras que a los géneros originados por la cultura de masas, como

el policial, la ciencia ficción y la nueva literatura infanto-juvenil, se accedería a través de

consumos que dependen del nivel socioeconómico y cultural familiar, incluso cuando los

documentos curriculares no excluyen estos “nuevos” relatos. Además de este argumento,

didáctico, la propuesta se basa en una posición ideológica que sostiene el FORGE: la igualdad

de oportunidades. Por esta razón, los resultados en este criterio podrían cruzarse con los de

nivel socioeconómico y cultural y los de rural/urbano.

El criterio puede ser débil porque los relatos de origen tradicional son parte de la cultura de

masas mediante una serie de transformaciones, porque solo se ha chequeado su

funcionamiento en una escasa cantidad de casos y porque los temas dados convocan

desigualmente rasgos de ambos grupos de géneros (“Chumbeque, el perro héroe” invita a la

apelación a los géneros de masas, pues hay numerosos perros héroes en series, películas y

noticias y no hay perros que realicen hazañas en cuentos populares y fábulas). Por lo dicho, la

aplicación de este criterio, de aceptarse, debería ser exploratoria.

Dimensión Criterio Indicadores

60

Contenido en textos narrativos

Géneros presentes como intertextos

N 3: El texto presenta marcas evidentes de rasgos estructurales y tópicos propios tanto de los relatos de origen popular como de los relatos originados en la cultura de masas. N 2: El texto presenta marcas evidentes de rasgos estructurales y tópicos propios de los relatos originados en la cultura de masas: héroe con poderes extraterrestres o habilidades dadas por las nuevas tecnologías, hazañas para salvar a muchos, peripecias y seres de las películas de aventuras o terror (momias que cobran vida, serpientes gigantes, caricaturas o hipérboles de fantasmas, zombies, Haloween, martes 13), situaciones iniciales “actuales” (viaje familiar, vacaciones, campamento); indicios estereotípicos (puertas que se abren solas, frío inexplicable, selva densa); complicaciones motivadas por pares desafiantes; soluciones como sueños, amnesia, engaños mediáticos; adultos que se equivocan en su percepción de los niños y al final se disculpan. N 1: El texto presenta marcas evidentes de rasgos estructurales y tópicos propios de los relatos de origen popular; el protagonista experimenta una o varias pruebas valiéndose de habilidades humanas (astucia, belleza, persistencia, maña, fuerza), a veces con ayuda de seres sobrenaturales; aparecen elementos campesinos (chozas, casas de piedra, caballos, gallinas, pobreza) y/o palaciegos; situaciones iniciales tradicionales (cumplir con un mandato adulto, alejarse del hogar) y complicaciones tradicionales (desobedecer a los adultos, perderse, no ser reconocido); los adultos tienen la razón y auxilian al personaje; el final feliz es un casamiento o una victoria contra la adversidad; el final puede ser también trágico. Pueden observarse repeticiones como rasgos de la oralidad y el ritualismo. El uso de las fórmulas “Había una vez” y “Vivieron felices” y la función ejemplar (con moraleja explícita o implícita) se dejan de lado porque los estudiantes no las usan exclusivamente como marcas evidentes de relato de origen popular.

La tercera propuesta se efectúa en relación con los textos argumentativos. Consiste en evaluar

la eficacia comunicativa de la argumentación en relación con dos parámetros que parecen

justos en sexto grado: la autonomía o egocentrismo intelectual versus la heteronomía o

reconocimiento de los puntos de vista ajenos. El criterio puede aplicarse a todas las

argumentaciones que alcanzan los niveles 3 y 2 en Secuencia. Para formularlo, tomamos

también en cuenta la propuesta original del equipo de Comunicación de la UMC.

Dimensión Criterio Indicadores

Contenido Argumentación heterónoma/autónoma

N 3: Los juicios expresan la opinión del estudiante sobre una situación que atañe a él y a otros. Los juicios muestran la acción de (o la conciencia sobre) sujetos diferentes del estudiante: pares que no opinan como él, una autoridad, un colectivo, una convención social, los padres. Si se observan cuantificadores referidos a los pares, explícitos o implícitos, son “muchos“ o “algunos“. El texto puede presentar argumentos ad-hominen (“el

61

grupo de padres que quiere eliminar Educación Física está frustrado por sus problemas de sobrepeso”) u otras falacias (“No estoy de acuerdo con la eliminación de Educación Física, pues no queda allí: conduce directamente a la eliminación de Música y Plástica”). N 2: Al menos un juicio expresa la opinión del estudiante sobre una situación que atañe a él y sus pares. Los juicios muestran la acción de (o la conciencia sobre) los niños en edad escolar, cuantificados, implícita o explícitamente, como “todos”. Para alcanzar la persuasión, el texto puede hacer una regla de un caso (“es sabido que un niño dejó de practicar Educación Física y quedó con su musculatura disminuida, por lo que todos los niños…”); también puede presentar la falacia del hombre de paja (“No estoy de acuerdo con la eliminación de Educación Física. Los niños tenemos derecho a hacer actividades variadas”). Los argumentos se basan en experiencias compartidas con pares: “En Educación Física siempre nos hemos divertido mucho/hemos aprendido a convivir”. N 1: El estudiante expresa su opinión sin tener en cuenta a otros. Si usa el “nosotros”, el pronombre puede ser fácilmente sustituido por “yo” porque solo abarca el punto de vista del estudiante. Los argumentos se basan en deseos, gustos, sentimientos o experiencias personales: “porque deseo ser atleta en el futuro”, “porque me gusta”, “porque me divierto”.

4. Manual para el codificador

La única crítica general que se ha formulado es la falta de ejemplos problemáticos tomados de

textos reales. Los ejemplos dados tienen la finalidad de mostrar la codificación de un criterio

por vez. Sin embargo, hay criterios que suelen confundir a los correctores y también casos

dudosos: cuantos más se aborden en el manual, menos serán las consultas y menores las

inconsistencias.

Como los manuales largos atentan contra la revisión sostenida del codificador, se propone la selección de casos francamente dudosos, particularmente para los criterios que se han mostrado más débiles en la aplicación piloto, y su análisis en un anexo.

Se efectuaron además sugerencias puntuales, que no parece importante repetir dado que, al modificarse las rúbricas, deberá revisarse una nueva versión del Manual.

5. Marco de trabajo

El marco teórico

Se observa que el marco teórico de la UMC supera el aplicacionismo de modelos sobre la

producción textual que se observan hoy, sin solidarización, en casi todos los currículos de los

países de la región, incluido el peruano. Cuando hablamos de “aplicacionismo” hacemos

referencia a que diferentes hallazgos de muy diferentes disciplinas de referencia se bajan al

aula sin que se los haya diseñado para la enseñanza, sin que su eficacia pedagógica haya sido

62

suficientemente probada y sin que la generalidad de los docentes conozca su procedencia, sus

encuadres, etc. Cuando hablamos de “ausencia de solidarización”, queremos decir que hay

ramas de la Lingüística cuyos objetos de estudio no se intersectan o cuyos objetos de estudio

se superponen, lo que da como resultado una desarticulación en la enseñanza de ciertos

contenidos y una superposición de contenidos de enseñanza, respectivamente.

Sin dudas, la presentación de un marco teórico más sólido e integrado que el de los

documentos curriculares es positiva para el público destinatario del documento. Sin embargo,

y a pesar de las constantes remisiones a los documentos curriculares en tanto fuente, se

sugiere tener en cuenta posibles conflictos con la rama del Ministerio de Educación a cargo de

la planificación curricular.

Por otra parte, se propone quitar algunos rasgos de escritura académica, presentes en el uso

de términos y referencias a autores que los destinatarios difícilmente conozcan.

Modelo de evaluación de la escritura

Expresamos nuestro acuerdo general y nuestras diferencias puntuales con el modelo de

evaluación de la escritura adoptado. Además, realizamos una lectura crítica de puntos

específicos del modelo de evaluación de la escritura tal como es descripto en el Marco de

trabajo. Sugerimos:

-revisar el orden de la exposición;

-revisar el uso de “conocimientos estáticos del estudiante”.

-aclarar que en el modelo de escritura se exponen características de hablantes y escritores

expertos;

-definir las memorias a largo plazo y de trabajo;

-incluir restricciones retóricas “sociales” o dependientes de consensos culturales;

-en el modelo, incluir una referencia a la coherencia pragmática o de adecuación a la situación

comunicativa;

-expandir algunas nociones teóricas con ejemplos;

-quitar puntos que ya no se evalúan y agregar otros que pasan a evaluarse;

-simplificar algunas tablas;

-aclarar que la producción de un texto narrativo o argumentativo adecuado a cierto contexto

es una capacidad cognitiva de producción textual antes de hacer la distinción entre

capacidades cognitivas, textos y contextos;

-pasar las caracterizaciones de texto narrativo y texto argumentativo de nota al pie al cuerpo

del texto;

63

-revisar los indicadores que, para aproximar el modelo de evaluación a los documentos

curriculares, se encuadran en “planificación” o “revisión”.

6. Reporte de resultados

En primer lugar, se señala la importancia del reporte de resultados por criterios para la

formación de docentes: se trata de aprovechar valiosa información producida por los sistemas

de evaluación y que suele dejarse de lado para mostrar formas de evaluar más sistemáticas

que las que suelen proponerse en el aula, donde predominan aún consignas sin propósito, sin

destinatario, etc. o correcciones que meramente evalúan algo que se no se demandó escribir.

Siendo los docentes el público privilegiado de este tipo de reporte se sugiere concebirlo como

un producto separado del reporte con resultados más globales e incluso, posterior.

Respecto del reporte por resultados globales, destinado a un público más amplio, nos

cuestionamos si conviene definir los niveles de desempeño de una manera en Lectura y de

otra manera en Escritura, dando por hecho que los resultados en Lectura se informan a través

de niveles de desempeño generados mediante del Modelo de Rasch.

Para el reporte global que se está probando, nos permitimos reordenar los “aspectos” y

reducirlos a 4 para ambos textos: adecuación a la situación comunicativa, coherencia, cohesión

y legibilidad. Además, desde un punto de vista práctico y de optarse por el uso exclusivo del

modelo ad hoc, nos preguntamos por qué no reportar niveles en cada uno de los 4 aspectos

para reducir la cantidad de combinaciones que deberían manipularse si se intentara combinar

los aspectos y sus criterios. Asimismo, nos preguntamos si, en vez de ponderar cada aspecto,

no conviene decir que los resultados se reportan por su orden de importancia conceptual,

expresada en el modelo teórico. Si estas sugerencias se siguieran, la información no dejaría de

ser global.

Insistiendo en que no somos expertos en el tema, pensamos que la forma de determinar los

niveles de desempeño en Escritura que se ha planteado el equipo es sumamente interesante

desde el punto de vista conceptual, pues tiene en cuenta las muy diversas elecciones que

pueden realizar diferentes sujetos para resolver un mismo problema comunicativo. Ahora

bien, también al leer y resolver ítems de lectura los estudiantes realizan tareas de diferente

dificultad tomando diferentes caminos de resolución.

La puntualización anterior, referida a uno de los supuestos del Modelo de Rasch, sería no

obstante, de menor peso que la siguiente: ese modelo es hoy dominante en la evaluación

masiva y dejarlo de lado por completo puede ocasionar que el estudio peruano de la escritura

resulte menospreciado ante los ojos de los expertos.

64