“IPSATIVE ASSESSMENT TO IMPROVE ARGUMENTATIVE ESSAY...
31
“IPSATIVE ASSESSMENT TO IMPROVE ARGUMENTATIVE ESSAY WRITING” “LA EVALUACIÓN IPSATIVA PARA MEJORAR LA REDACCIÓN DE TEXTOS ARGUMENTATIVOS” Autores Pérez Montaña, Andrea del Pilar Universidad de la Sabana Univio Céspedes, Diana Jazmín. Universidad Santo Tomás
Transcript of “IPSATIVE ASSESSMENT TO IMPROVE ARGUMENTATIVE ESSAY...
“IPSATIVE ASSESSMENT TO IMPROVE ARGUMENTATIVE ESSAY WRITING”
“LA EVALUACIÓN IPSATIVA PARA MEJORAR LA REDACCIÓN DE TEXTOS
ARGUMENTATIVOS”
Autores
Pérez Montaña, Andrea del Pilar
Universidad de la Sabana
Univio Céspedes, Diana Jazmín.
Universidad Santo Tomás
Resumen
La evaluación Ipsativa para mejorar la redacción de textos argumentativos tuvo
como objetivo analizar cómo un tipo alternativo de evaluación influyó en la habilidad de
escritura de 14 adultos jóvenes y 10 adultos de dos universidades colombianas, una
con un programa de idiomas para los estudiantes de pregrado de diversas carreras, y la
otra en un programa de licenciatura . Ambos contextos, el presencial y en línea
correspondientemente, fueron sometidos al mismo proceso de intervención e
investigación. Debido a la naturaleza propia de la evaluación ipsativa, este estudio
también se interesó en sus efectos sobre el aprendizaje auto-dirigido y a largo plazo.
Las preguntas de la investigación se enfocaron en analizar como los estudiantes
estructuraban sus ensayos por medio de la retroalimentación ipsativa y como este
enfoque de evaluación influenció a los estudiantes a nivel individual. Para este estudio
de investigación se reunieron datos cualitativos y cuantitativos de los 24 estudiantes a
través de cuatro tipos de instrumentos: pre y post-cuestionarios, un formato ipsativo,
ensayos de los estudiantes y sus calificaciones. Estos datos se analizaron por medio de
muestreo teórico y estadística descriptiva. El primero permitió a los profesores-
investigadores identificar patrones en las reflexiones de los estudiantes y la última
describe el desempeño de los estudiantes en la escritura del ensayo. Los resultados
revelaron que por medio de la evaluación ipsativa los estudiantes mejoraron la escritura
de un ensayo argumentativo ya que comprendieron la importancia de la estructura
retórica y el carácter reflexivo de la escritura, así mismo los estudiantes lograron
desarrollar competencias genéricas útiles en el discurso académico.
Palabras clave: Ensayo argumentativo, proceso de escritura y evaluación.
Introducción
La evaluación en general ha jugado un papel fundamental en los procesos de
aprendizaje y de evaluación de los procesos de escritura en particular; este ha sido
tema de debate desde principios de los años 70, cuando la escritura académica cambió
su enfoque de producto a proceso (Ferris, 2003). Este cambio ha tenido implicaciones
pedagógicas tanto para docentes como para estudiantes quienes deben llevar a cabo
unas acciones que son exigentes para las dos partes. Sommers argumentó que por una
lado, los maestros están obligados a proporcionar información sustancial, lo cual
consume tiempo; y los estudiantes, por su parte, deben interpretar los comentarios del
profesor, los cuales son con frecuencia mal entendidos (como se cita en Ferris, 2003, p.
3). Teniendo en cuenta este contexto, es evidente que la evaluación formativa ha sido
la pieza central en la mejora de las producciones escritas, porque su componente de
retroalimentación se ha considerado crucial para desarrollo de la escritura (Klimova,
2011). A pesar de que la evaluación formativa puede adoptar diversas formas que
pueden aliviar las dificultades mencionadas anteriormente, todavía falla en lograr que
los estudiantes participen más activamente en la evaluación de la tarea por escrito; por
lo tanto este estudio de investigación propone un enfoque de evaluación alternativa que
se centra en la auto-comparación.
La escritura académica en la Universidad de La Sabana y la Universidad Santo
Tomás ha sido un componente importante de los programas de inglés por lo que los
profesores dedican mucho tiempo y esfuerzo para su evaluación a lo largo del período
académico. En ambos contextos, los estudiantes de nivel inglés intermedio (B1) deben
ser capaces de organizar sus ideas dentro de una estructura argumentativa por lo que
durante el desarrollo de esta tarea, las investigadoras-profesoras se centraron en el
análisis de la precisión de los estudiantes para lograr dicho objetivo. En ese momento,
segundo periodo académico de 2013, dos tipos de evaluación; formativa y
sumativa evidenciaron el bajo desempeño de los estudiantes tanto a nivel cognitivo
como del uso de la estructura retórica. Este diagnóstico preliminar sirvió como
plataforma para lanzar la idea de que para que los estudiantes lograran aprehender
sobre la naturaleza de un proceso de escritura; era necesario cambiar el enfoque de
producto a proceso: Un proceso de orientación, reflexión individual y establecimiento
de metas y aprendizaje a largo plazo. Por último pero no menos importante, el principal
resultado del diagnóstico motivo a las profesoras-investigadoras a incluir a los
estudiantes como participantes activos en la evaluación de su trabajo con el fin de
incentivar actitudes de responsabilidad, autodirección y el aprendizaje de las
competencias genéricas.
El argumento central de este estudio - opuesto al punto de vista transmisible
de la evaluación- es que los estudiantes pueden establecer sus propios objetivos
(apoyados por la retroalimentación del profesor) los cuales, a lo largo del proceso de
aprendizaje, les sirve como objeto de medición del avance de su trabajo. Al permitir a
los estudiantes establecer sus propias metas de mejoramiento, se les hace responsable
de la efectividad de estas y al mismo tiempo, les permite tomar conciencia de sus
avances. Este enfoque, conocido como evaluación ipsativa, tiene el potencial de
cambiar la prioridad sobre las notas (evaluación sumativa) hacia la auto-regulación y la
autonomía, ya que el crédito que se le da al estudiante se da con base en su progreso,
a cambio de que tanto ha logrado alcanzar los criterios de referencia de evaluación-
(rúbrica). Después de la aplicación de este enfoque de evaluación, los resultados
mostraron que los estudiantes mejoraron su escritura académica, ya que
comprendieron la naturaleza estructural y reflexiva de esta habilidad y desarrollaron
habilidades genéricas útiles para el discurso académico.
El documento de este estudio, ilustra una investigación-acción sobre la influencia
de un enfoque particular de evaluación en la redacción de ensayos en un grupo de 24
estudiantes de nivel intermedio (B1) de licenciatura en Ingles y otro de proficiencia en
inglés. El primero se imparte en línea y el segundo de manera presencial
respectivamente. El estudio se centró específicamente en cómo la evaluación ipsativa
conduce a una mejora en los en la escritura de un ensayo argumentativo en los
estudiantes de pregrado y de cómo este tipo de evaluación influyó a mejorar el nivel de
autonomía en los estudiantes. Los datos fueron recogidos por los instrumentos
cuantitativos y cualitativos aplicados, tales como ensayos de los estudiantes y
reflexiones proporcionadas por ellos mismos durante todo el proceso. La literatura
incluida en el documento de investigación dio soporte a cuestiones prácticas que
surgieron durante el estudio y a los resultados de cada etapa. Este estudio de
investigación espera contribuir a las prácticas de evaluación actuales en ambos
contextos universitarios en relación con la escritura académica; se propone involucrar a
los estudiantes en el proceso de evaluación mediante el aumento de la conciencia de
su progreso e involucrar en su proceso de aprendizaje, habilidades académicas útiles
para toda la vida.
Marco teórico
Los constructos desarrollados fueron fijados por el componente principal de la
pregunta de investigación y aplicación: ensayo argumentativo, proceso de escritura y
evaluación. De igual forma, se presenta una descripción de la transición de la
evaluación formativa a la evaluación ipsativa para favorecer la mejor comprensión de la
evolución de un término al otro.
Ensayo argumentativo
La estructura del ensayo argumentativo en ambos contextos universitarios
pretende animar a los alumnos a adoptar una posición frente a un tema polémico, a
través de argumentos lógicos y sólidos, a defender su postura considerando diferentes
puntos de vista. El objetivo principal de esta actividad es ayudar a los estudiantes a
desarrollar sus habilidades de pensamiento crítico mientras recolectan, analizan,
sintetizan y comunican la información de manera que su composición convenza a otros
acerca de la veracidad de su argumento. Según Álvarez (2001), la escritura del ensayo
argumentativo puede definirse como un conjunto de estrategias de un orador puede
utilizar para persuadir al público para cambiar sus pensamientos acerca de una idea
determinada, adherirlos a los suyos, o admitir una situación o una idea externa.
Asimismo, Díaz (2002), afirma que los ensayos argumentativos tratan temas polémicos
en los que un autor defiende una idea que él considera válida. Asimismo, Ordóñez
argumentó que el ensayo argumentativo es un texto estructurado que se desarrolla
alrededor de una tesis que es sustentada a través de razones y alimentada con datos,
ejemplos y detalles (citado en Torres, 2004, p. 99).
Respecto de la enseñanza de la estructura del ensayo argumentativo, los
profesores-investigadores consideran el análisis de género como el enfoque más
adecuado para familiarizar a los estudiantes con el tipo de texto, su finalidad y
organización. En este sentido, Morrison (2010) declara que análisis de género se
caracterizara por la provisión de modelos y de instrucción explícita; él destaca que los
estudiantes necesitan estar conscientes de las convenciones del género y los maestros
necesitan proporcionar instrucciones explícitas. De manera similar, Hyland (2004)
establece que los estudiantes necesitan contar con oportunidades de exploración y
análisis de género para que sean conscientes de las características de este y de
herramientas para escribir sus propias composiciones. Mediante la implementación de
este enfoque, los alumnos no sólo aprenden los patrones lingüísticos y de organización
del ensayo argumentativo, sino también exploraran la creación de la tesis, los
argumentos principales, los detalles de apoyo y otras características relacionadas con
este tipo de estructura.
En cuanto a la organización del ensayo, los participantes siguieron los
principales patrones de organización de esta estructura: introducción, cuerpo y
conclusión y dentro de ellos, una estructura de párrafo compuesto por elementos
específicos que dan cuenta de la organización y la coherencia a lo largo del texto. En el
ensayo argumentativo, la cohesión se logra mediante el uso apropiado de conectores,
los cuales pretenden establecer conexiones lógicas entre ideas, mientras que la
coherencia es evidente a través de la relación entre la tesis y sus argumentos con el
contexto de la composición. Según Hyland (1990) "este tipo de texto se caracteriza por
una estructura de tres fases: tesis, argumento y conclusión; a su vez cada fase tiene
una estructura o cambia algunos de los elementos opcionales del sistema" (p. 68).
Otro componente pedagógico para abordar el ensayo argumentativo implica la
capacidad de los estudiantes para manejar problemas de contenido y organización para
cumplir con los requerimientos de la estructura retórica; sin embargo, para superar
estas dificultades, la enseñanza explícita de las características de esquema y el análisis
de modelos de género pueden facilitar este proceso de aprendizaje. Como Hyland
(1990) declara el análisis de género puede ayudar a los estudiantes a identificar como
los textos bien organizados pueden transmitir significado mientras que los textos mal
organizados resultan en comunicación ineficaz.
Respecto a la evaluación, la estructura retórica del ensayo argumentativo fue
elegido para este estudio porque permite un diálogo entre el alumno y el profesor.
Principalmente se trata de cómo los alumnos estructuran sus pensamientos a través de
un proceso de evaluación bidireccional: el docente brinda comentarios formativos al
estudiante pero es al final la voz de los estudiantes lo que da forma a sus productos
escritos. Marshall (1991) señala que el trabajo escrito de los estudiantes puede ser
evaluado constructivamente teniendo en cuenta el análisis de género, el cual
proporciona el criterio de evaluación cualitativa y una base objetiva para la discusión
fundamentada en cada etapa del ensayo.
Proceso escritura
Las habilidades de escritura son muy valoradas en las universidades donde se
realizó este estudio. Tanto, en los contextos presenciales, como en el contexto en línea,
se da un valor más alto a la evaluación del trabajo escrito de los alumnos debido a los
requisitos del Marco Común Europeo de Referencia para las Lenguas (CEF) para el
desarrollo de esta habilidad. Según esta norma internacional, los estudiantes en los
niveles intermedios deben ser capaces de escribir un ensayo que desarrolla un
argumento a favor o en contra de un punto de vista particular. Para ello, ambos
programas de idiomas de las universidades, llevan los estudiantes a través de un
proceso de escritura que comienza con la enseñanza de la estructura retórica escogida
y luego los guía a través de algunos pasos en los cuales diversos aspectos cognitivos
son tenidos en cuenta para culminar con un producto de aprendizaje.
El proceso de escritura es necesario, entre otras razones, porque la habilidad de
escritura en sí misma posee la limitación de ser aprendido - casi exclusivamente - en
ambientes formales, a diferencia de las habilidades de escucha y habla que se
adquieren naturalmente. En este sentido, Nunan (1999) enuncia que la escritura puede
ser una de las cosas más difíciles de hacer en una lengua porque su eficacia depende
de la capacidad de manejar problemáticas lingüísticas, pragmáticas y contextuales
necesarias para la interpretación. Además de estos desafíos Hedge (2005) ha
destacado la importancia de la organización de ideas, la precisión, la elección adecuada
de estructuras gramaticales y de léxico que componen los requisitos de estilo y
estructura. El valor del proceso de escritura, se basa entonces en que los estudiantes
son llevados a través de un camino de creación que implica motivación, desarrollo de
ideas, planificación, esquematización, elaboración, revisión y edición durante un par de
ciclos. Las etapas fundamentales del proceso de escritura propuestas por Hedge
(2005), fueron sintetizadas para el propósito de este estudio como: brainstorming,
esquematización, redacción, revisión y publicación. Esta adaptación abarca las
prácticas de escritura en ambas universidades y le permite a los profesores-
investigadores incorporar otros procesos relacionados con el componente de
evaluación, el cual es el tema central en esta investigación.
De evaluación formativa a evaluación Ipsativa En estos últimos años diferentes tipos de evaluación han sido reconocidos en
diferentes contextos, específicamente, se ha evidenciado cómo la evaluación formativa
se convierte en un instrumento para el desarrollo del aprendizaje de cada alumno
(Hyland, 2000). El poder de la evaluación formativa recae en el hecho de cómo esta
proporciona información al profesor y estudiante. Maestros utilizan la retroalimentación
recibida para verificar las construcciones de los estudiantes y a su vez ellos utilizan los
comentarios de los profesores para realizar ajustes de aprendizaje hacia el progreso
(Biggs, 1999; Brown y Knight, 1994; Ding, 1998).
Aunque la evaluación formativa "teóricamente" funciona, hay una serie de temas
que deben ser considerados como el creciente número de alumnos por clase, la
competencia entre compañeros, el efecto de la evaluación en la motivación y más
importante cómo la retroalimentación influye en el progreso y en el aprendizaje a corto y
largo plazo. En la evaluación formativa, la retroalimentación busca cerrar la brecha
entre el desempeño de los estudiantes y las exigencias de los criterios establecidos,
mientras que en la evaluación Ipsativa el desempeño de los estudiantes se utiliza como
el criterio para revisar su propio progreso. Como señala Hughes (2011) "en la
evaluación formativa la retroalimentación está vinculada a normas y criterios externos
más que a los procesos de aprendizaje. Por el contrario, la evaluación ipsativa está
basada en la comparación del desempeño previo de los estudiantes y vinculado con el
progreso a largo plazo".
El concepto de evaluación ipsativa en educación superior fue puesto a prueba
inicialmente en un estudio sobre retroalimentación ipsativa en educación a distancia
llevado a cabo por un grupo de investigadores quienes examinaron el grado en el que la
evaluación ipsativa fue utilizada y las percepciones de sus ventajas entre estudiantes y
tutores. Los resultados revelaron que no se implemento a cabalidad la evaluación
ipsativa en los programas a distancia y que los tutores no informaron a los estudiantes
sobre su progreso. Por el contrario, los estudiantes consideraron la evaluación ipsativa
como motivadora y útil (Hughes et al, 2011 p. 4). Después de este estudio preliminar, se
realizó una segunda intervención para introducir y evaluar el enfoque ipsativo en un
programa de maestría a distancia. La evidencia mostró que los estudiantes que
terminaron el proceso llenando los formatos, incrementaron su motivación, sin embargo
la necesidad de las notas a corto limitó el beneficio de la evaluación ipsativa (Hughes et
al, 2011 p. 17).
La evaluación ipsativa se distingue de otros tipos de evaluación al centrar su
interés por el logro personal, lo cual tiene implicaciones directas en la actividad y en el
aprendizaje permanente. Mediante la evaluación ipsativa, por ejemplo, los estudiantes
aumentan la conciencia sobre su propio progreso de aprendizaje a largo plazo,
desarrollando competencias genéricas. Hughes (2011) argumenta que el paso de
brindar retroalimentación basada en criterios específicos a la retroalimentación ipsativa
podría ser el catalizador necesario para fomentar la "evaluación para el aprendizaje". A
través de evaluación ipsativa, los estudiantes adquieren conciencia acerca de su
progreso, al ser evaluados a través de metas autorreferenciales, que les permiten ver el
progreso alcanzable y realista en el tiempo.
Además, el principio clave de la evaluación ipsativa es persuadir a los
estudiantes a reflexionar sobre la retroalimentación proporcionada por el profesor, con
el objetivo de explicar lo que han aprendido los estudiantes y proponer acciones para el
desarrollo futuro; el profesor proporcionará esta retroalimentación comparando los
desempeños existentes y centrándose en las competencias genéricas más que
específicas. Esta técnica implica que la evaluación no estará basada en criterios sino
trabajará a la luz de las capacidades de los estudiantes (Hughes, 2011, p. 353), esta
técnica se denomina feed-forward, y, este fue el argumento principal de evaluación en
este estudio. A lo largo de la implementación del proceso de escritura, los estudiantes
involucrados en las etapas de la evaluación ipsativa pueden estar informados sobre
cuán bien han respondido y progresado frente a la retroalimentación recibida mediante
el esquema (Figura 1) que inicia el diálogo entre alumno y tutor (Hughes et al., 2011).
Figura 1. Esquema del enfoque de evaluación Ipsativa de Hughes.
Para el propósito de este estudio de investigación, dentro de la evaluación
ipsativa, la retroalimentación jugó un papel fundamental. Los profesores-investigadores
creen en scaffolding (escalonamiento) como la mejor estrategia para ayudar a los
estudiantes con sus necesidades individuales y objetivos en la escritura de ensayos, así
scaffolding como la base la retroalimentación ipsativa, se enfatiza en guiar a cada
alumno hacia su mejor composición escrita. A través de scaffolding, el alumno es
llevado a realizar actividades que no serían capaces de hacer sin ayuda y a lo largo de
este camino entre más conocedor es el estudiante de la actividad, menor asistencia
eventualmente será necesaria (Raymond, 2000). Por lo tanto, puede decirse que
mediante la estrategia de scaffolding, los estudiantes fueron empoderados a auto
dirigirse al aprender a establecer metas, autoevaluarse y solicitar ayuda.
En cuanto al papel del docente al proporcionar retroalimentación a través de
scaffolding, hay tres puntos importantes a considerar: los objetivos, el progreso de los
estudiantes y las estrategias proporcionadas para superar las dificultades. Estos temas
se presentan en cierto modo en el modelo propuesto por Hattie y Timperley (2007), el
cual aborda el impacto de la retroalimentación en diferentes niveles. Este modelo es
conveniente para este estudio ya que implementa objetivos de auto-dirección, los
cuales los estudiantes llevan a cabo al participar en la evaluación ipsativa. El modelo de
retroalimentación que se indica muestra cómo una retroalimentación eficaz puede
ayudar a los estudiantes en el logro de sus objetivos en el nivel de actividad (ensayo
argumentativo), nivel de rendimiento (proceso de escritura) y el nivel de autogestión
Evaluación 1 Evaluación 2 Evaluación 3
Feed forward 1 Feed forward 2
Feedback on feed forward 1 al comparar las evaluaciones 1 y 2
Feedback on feed forward 2 al comparar las evaluaciones 2 y 3
Etc.
(procesos meta cognitivos). Este modelo afirma que incluyendo estos temas en la
retroalimentación proporcionada por el profesor, los estudiantes reducirán la brecha
entre su trabajo y lo que se espera de ellos. Sin embargo, por el bien de este estudio,
los profesores-investigadores adaptaron este modelo teniendo en cuenta las etapas de
comparación de documentos existentes y fomentaron en los estudiantes la importancia
de establecer metas individuales.
Hughes (2011) afirma que mediante la evaluación ipsativa, los profesores
pueden ayudar a los alumnos para abordar los tres componentes propuestos por Hattie
y Timperley (2007): feed up, feedback y feed-forward, al centrar su atención en los
niveles de proceso y de conciencia de sí mismo. La base de estos conceptos son
metas, progresos y habilidades genéricas, los cuales fundamentan la auto dirección
como se explica a continuación:
Feed – up Ipsativo (centrado en objetivos). Los estudiantes son incentivados a
establecer sus propias metas (metas Ipsativas alcanzables) que sustentan estándares
basados en criterios (objetivo general) para que la progresión realista sea evidente
tanto para el profesor como para el alumno; así, hay un cambio de enfoque hacia el
proceso sobre el producto.
Feedback Ipsativo (centrado en el rendimiento actual). Los alumnos están
informados sobre su progreso y desarrollo, en comparación con el anterior escrito
presentado, con el fin que, las notas y los criterios externos de evaluación sean
socavados y produzcan un crecimiento en la motivación intrínseca.
Feed-forward Ipsativo (enfoque sobre a dónde ir después). Considerando
que el enfoque Ipsativo es implementado a través de varios desempeños del estudiante
en una actividad, este permite a los maestros proveer retroalimentación en habilidades
genéricas más que en habilidades especificas de la actividad; en consecuencia, el
enfoque en la retroalimentación va más allá del mejoramiento de errores superficiales
para ayudar a los estudiantes a través de procesos de aprendizaje permanente. Esta
práctica permite el inicio y mantenimiento del diálogo ente el docente y el estudiante,
que es uno de los principios de la retroalimentación formativa señalada por Nicol y
Macfarlane-Dick (2006).
Como se evidencia en la ilustración del concepto de evaluación ipsativa (Figura
1), los beneficios son múltiples, para profesores y alumnos. Profesores, por un lado,
podrían reducir su carga de trabajo evaluativo porque los estudiantes también son
responsables de participar en la evaluación y mejora de su trabajo. Por otro lado, los
estudiantes tienen un mayor sentido de progreso cuando su trabajo no se ve socavada
por criterios externos o notas, pero es guiado hacia la mejora la retroalimentación
constructiva. Además, a los estudiantes se les proponen caminos a seguir, desde los
cuales pueden tomar decisiones sobre cómo incorporarlos en su trabajo por la
retroalimentación recibida a través del scaffolding (escalonamiento). Dar una voz de los
estudiantes en el proceso de evaluación les ayuda a desarrollar habilidades genéricas y
de auto -dirección.
Resultados
Los resultados de este estudio se presentan a partir del análisis de datos
cuantitativos y cualitativos recogidos después de la implementación de los
instrumentos: pre y post cuestionarios, el formato de evaluación ipsativa, los ensayos
de los estudiantes y las notas de dichos ensayos. Éstos fueron utilizados para
demostrar el mejoramiento de los estudiantes en la escritura de ensayos
argumentativos después de poner en práctica la evaluación ipsativa e identificar los
enunciados del nivel de autogestión bajo el enfoque de evaluación ipsativa. Usar
técnicas de análisis de datos cuantitativos fue muy útil en este estudio de método mixto
(LeCompte y Schensul, 1999) ya que las preguntas de investigación de este estudio
fueron respondidas mediante el uso de ambos enfoques analíticos.
Métodos de análisis de datos Con el propósito de proporcionar evidencia de la mejora de los estudiantes en la
escritura de ensayos argumentativos después de estar involucrados en el proceso de
evaluación ipsativa y para identificar enunciados de autogestión de los estudiantes se
utilizaron los métodos de estadística descriptiva y teoría fundamentada en datos
(Grounded Theory). El primer método se utilizó para resumir conjuntos de datos
numéricos y para describir el logro del grupo de estudiantes (Dörnyei, 2007). Por otro
lado, la teoría fundamentada en datos (GT) fue utilizado para reducir y analizar los
datos escritos recogidos a través de los tres instrumentos al triangular la información,
identificando patrones y enmarcando una categoría central para proveer y responder al
conjunto de preguntas.
Estadística descriptiva. Para describir el conjunto de datos, se utilizaron dos
grupos de estadística descriptiva para analizar los resultados: las medidas de tendencia
central y medidas de dispersión (Bailey, 2006). Como afirma Dörnyei (2007), las
medidas de tendencia central describen el conjunto de datos con un único valor
numérico que ofrece información valiosa sobre el tema de estudio en el momento en
ocurrió (p. 213). Por otro lado, las medidas de dispersión describen cómo los puntajes
se despliegan y agrupan en el conjunto de datos (Bailey, 2006). Los procedimientos
básicos utilizados para describir el conjunto de datos eran de las medidas de tendencia
central, la media, la mediana y el modo; y de las medidas de dispersión, la desviación
estándar. La media explica el promedio de los puntajes de los estudiantes a través de
todo el proceso, la mediana muestra el punto central de los resultados, el modo es el
número encontrado con mayor frecuencia en el conjunto de resultados y; la desviación
estándar indica cómo cada puntuación se desvía en relación con la media (Bailey,
2006). En la siguiente tabla se presentan los resultados encontrados al analizar los
formatos de evaluación numérica de los escritos de los estudiantes (Anexo A) en
relación con el promedio, la mediana, el modo y la desviación estándar de cada una de
las etapas de la escritura del proceso basado en las notas del grupo de 24 estudiantes
(Apéndice B). Las variables fueron los resultados de los ensayos de los estudiantes
evaluados en una escala de 1 a 5 en cada uno de los ensayos presentados a lo largo
del proceso de escritura: diagnóstico, primer borrador, segundo borrador y ensayo final.
Tabla 1 Resultados de la estadística descriptiva de las notas de los ensayos de los estudiantes.
ESTADÍSTICA DIÁGNOSTICO PRIMER
BORRADOR
SEGUNDO
BORRADOR
ENSAYO
FINAL
PROMEDIO 1,9 2,7 3,5 3,9
MEDIANA 1,9 2,7 3,4 4,0
MODO 1,8 2,7 3,2 4
DESVIACIÓN
ESTÁNDAR 0,375 0,670 0,594 0,645
La primera tabla representa la mejora general de los estudiantes, ilustrando la
eficacia significativa de la implementación de la evaluación ipsativa en los resultados de
la escritura de ensayos de los estudiantes. De estos resultados es evidente que la
media, la mediana y el modo muestran mejoras constantes para el grupo. La aplicación
de la evaluación ipsativa demostró su eficacia en ensayos argumentativos ya que las
puntuaciones del grupo mejoraron gradualmente durante todo el proceso, en una
puntuación media de 1.9 para el diagnóstico, 2.7 para el primer borrador, 3.5 y 3.9 para
el segundo borrador y el documento final. La mediana, como el punto medio en el
conjunto de las puntuaciones mostro un punto central de progreso en cada etapa a lo
largo del proceso de escritura. La misma mejoría es visible en los resultados de medida
modo, donde el número más frecuentemente de cada etapa aumento a lo largo de la
implementación. Por otra parte, calculando la desviación estándar proporciona la
difusión de los datos de la media, cuyos valores de los ensayos presentados en las
cuatro etapas del proceso de escritura (diagnóstico, primer y segundo borrador y
ensayo final) fueron menores de 1.0, lo cual representa que los resultados fueron
agrupados estrechamente alrededor de la media. Considerando los resultados
presentados, se puede inferir que estos fueron estadísticamente significativos, por lo
tanto, fue descartado el cambio y los resultados producidos por la intervención fueron
vistos para ser más confiables. Para concluir, después de analizar los datos, los
profesores-investigadores encontraron que 96% de los estudiantes mostraron mejoría
en comparación con un 4% que no mejoró. Del 96%, 25% de los estudiantes mostró
mejoría significativa, mientras que 71% mejoró gradualmente, lo que indica que la
aplicación de la evaluación ipsativa en la escritura del ensayo argumentativo resultó en
mejoras para la mayoría de los estudiantes.
Teoría fundamentada en datos. (Grounded Theory)
El segundo método considerado en el análisis de los datos de esta investigación
fue el enfoque de teoría fundamentada en datos, el cual es un proceso analítico
inductivo específico que ofrece a los investigadores una metodología elaborada que
lleva el análisis a una comprensión básica de los principios y las causas que subyacen
el fenómeno objetivo (Dörnyei, 2007, p. 213). Durante la intervención pedagógica, los
estudiantes participaron en un taller presentado en la plataforma Moodle de cada
universidad. El taller se dividió en nueve pasos que se trabajaron uno cada semana y
fueron planeados para guiar a los estudiantes en proceso de escritura de ensayos
argumentativos. Después de la aplicación del primer borrador, segundo borrador y el
ensayo final se evaluaron los escritos teniendo en cuenta la rubrica diseñada para este
fin por las docentes (Anexo C), se le brindo a los estudiantes un checklist para la auto
evaluación de sus escritos y una lista de estrategias para la mejora de las necesidades
encontradas (Anexo D) y se implemento el formato de evaluación ipsativa (Anexo E),
Del análisis de la información recolectada se establecieron como sub –
categorías: el mejoramiento de la escritura de ensayos como un proceso de evolución y
reflexión, y el desarrollo de la auto conciencia de progreso; llevando a la formulación de
la categoría principal denominada: La evaluación ipsativa implementada en el proceso
de escritura de ensayos a fomenta la reflexión y la auto - conciencia de progreso.
La categoría final refleja que al involucrar a los estudiantes en una actividad de
escritura centrada en el proceso (a diferencia de la orientación en el producto) en el que
los estudiantes fueron incentivados a reflexionar y actuar sobre la retroalimentación
recibida al comparar su propio trabajo, les permitió comprender cómo su trabajo
evoluciona con el tiempo.
La introducción de la evaluación ipsativa en el desarrollo de una tarea de escritura
permite a los estudiantes convertirse en participantes activos en la elaboración y
evaluación de su trabajo. Tal cambio en el enfoque empodera a los estudiantes para
tomar decisiones sobre sus escritos fundamentadas en el progreso constante, al tener
que realizar una comparación semanal a la luz de sus propios resultados.
Esta experiencia influyó en varias habilidades de competencias genéricas de los
estudiantes: a) la actividad de escritura, al demostrar un uso efectivo de la estructura
esquemática (estructura retórica del ensayo argumentativo) desde el texto diágnostico
hasta el texto publicado después de la implementación del enfoque; b) los procesos de
desempeño: como el mismo escrito fue enviado varias veces con diferentes tipos de
mejoría que fueron desde el contenido, uso del lenguaje y finalizaron con el uso de
fuentes especializadas, c) el nivel personal: en tanto que la motivación se refleja en
formato de evaluación ipsativa, así como en las herramientas de colección de datos
debido a la sensación de desarrollo personal, y lo más importante; d) autogestión: los
estudiantes compararon su escrito teniendo en cuenta una versión anterior y luego
establecieron un plan de acción para la mejora. Este tema de autogestión fue posible
por el componente de feed forward de la evaluación ipsativa en la que el profesor
propone donde ir y los estudiantes cuestionan cómo hacerlo.
En definitiva, después de analizar los datos recogidos desde el set de las dos
categorías, conclusiones significativas aparecieron para proporcionar evidencia precisa
que el uso de la evaluación ipsativa en la escritura de ensayos fomenta la reflexión y la
conciencia de progreso en si mismo . Por un lado, instruyendo a los alumnos a través
del análisis de género y complementando con el enfoque del proceso de escritura,
dando lugar a mejores resultados de calidad en los escritos finales. Por otro lado, usar
la comparación, la evaluación de progreso, el scaffolding (escalonamiento) para mejorar
y sobre todo alentando a los alumnos para establecer un plan de acción les permitió
desempeñar un papel activo en su evaluación y en el proceso de aprendizaje de la
escritura.
Conclusiones
En el informe de investigación documentó la implementación de la evaluación
ipsativa con estudiantes de una universidad a distancia y otra presencial. Los resultados
de esta prueba están en línea con Hughes (2011), quien afirma que la evaluación
ipsativa tiene el potencial de mejorar áreas cognitivas, en este caso, cómo los
estudiantes desarrollan y estructuran ideas en un texto; así como las habilidades de
aprendizaje para toda la vida. Adicionalmente, las investigadoras identificaron que los
estudiantes tomaron más responsabilidad a lo largo de su proceso de evaluación y
escritura ya que sus decisiones hicieron parte de este proceso.
Los resultados de este estudio pedagógico mostraron que la incorporación de
algunos de los pasos proporcionados (scaffolding) durante el proceso de escritura y
evaluación en la práctica actual permitiría a los estudiantes convertirse en aprendices
más independientes. En primer lugar, los estudiantes deben ser expuestos a una
variedad de actividades que requieran habilidades de pensamiento crítico, (activación
de conocimientos previos, incluir experiencias propias, clasificación de información y
análisis de ensayos modelo) antes de escribir, de esta manera, la escritura aparece
como parte natural de un proceso de aprendizaje en vez de como una tarea impuesta.
En segundo lugar, los múltiples beneficios de seguir un proceso de escritura son
evidentes en la competencia lingüística, la estructura del texto y el desarrollo de ideas.
En tercer lugar, es necesario cambiar la percepción de los estudiantes hacia
evaluación; las profesoras-investigadoras consideran que los estudiantes deben
participar en el proceso, al proponer un curso de acción específico y por lo tanto tenerlo
en cuenta para la mejora de su trabajo. La evaluación no debería ser responsabilidad
exclusiva del profesor.
Una de las limitaciones de este estudio es confirmada por Hughes (2011) con
respecto al progreso entendido como el mejoramiento de las calificaciones en el corto
plazo. Mientras que los adultos jóvenes esperaban ver resultados sumativos más altos,
los estudiantes a distancia, fueron además, capaces de reconocer el valor de la
evaluación ipsativa a largo plazo. Una posible forma de superar esta situación podría
ser crear conciencia en los estudiantes sobre su papel activo en la evaluación y su
auto-gestión, para ello, los estudiantes deben ser motivados a elaborar planes de
acción para mejorar cada una de sus entregas en el proceso de escritura, así como de
proporcionar una reflexión sobre los aspectos mejorados en las diferentes versiones de
sus trabajos. Con base en esta problemática, futuras investigaciones deberían entonces
analizar el papel de la evaluación sumativa, la motivación y la autorregulación como
parte de la implementación del enfoque de evaluación ipsativa.
Referencias
Álvarez, A. (2001). Textos Expositivo-Explicativos y Argumentativos. Barcelona:
Octaedro.
Bailey, K. (2006). Language teacher supervision. New York, NY: Cambridge University
Press.
Biggs, J. (1999) Teaching for Quality Learning at University. Buckingham, BP: Open
University Press).
Brown, S. & Knight, P. (1994). Assessing Learners in Higher Education. London, LN:
Kogan Page.
Díaz, Á. (2002). La Argumentación Escrita. Colombia, CO: Caminos. Editorial
Universidad de Antioquia.
Ding, L. (1998) Revisiting assessment and learning: implications of students’
perspectives on assessment feedback. Paper presented to Scottish Educational
Research Association Annual Conference, University of Dundee, 25–26
September.
Dörney, Z. (2007). Research methods in applied linguistics: Quantitative, qualitative, and
mixed methodologies. Oxford: Oxford University Press.
Ferris, D. (2003). Response to student writing: Implications for second language
students. London, LN: Lawrence Erlbaum Associates.
Hattie, J., and H. Timperley. (2007). The power of feedback. Review of Educational
Research, 77, no. 1: 81–112.
Hedge, T. (2005) Writing. Oxford: Oxford University Press.
Hughes, G. (2011). Towards a personal best: a case for introducing ipsative assessment
in higher education. Studies in Higher Education, 36(3), 353-367.
10.1080/03075079.2010.486859
Hughes, G., Okumoto, K. & Wood, E. (2011). Ipsative Assessment and Motivation of
Distance Learners. A report on a Center for Distance Education research project
London, published online http://cdelondon.wordpress.com/2010/07/28/use-of-
ipsative- assessment-in-distance-learning/(accessed on 21 February 2014).
Hyland, K. (1990). Genre description of argumentative essay. Papua New Guinea:
University of Technology Lae.
Hyland, P. (2000). Learning from feedback on assessment, in: P. Hyland & a. Booth
(Eds) The practice of University history teaching. Manchester: Manchester
University Press.
Hyland, K. (2004). Genre and Second Language Writing. Ann Arbor: University of
Michigan Press.
Klimova, F. B. (2011). Assessment methods in the course on academic writing. Procedia
– Social and Behavioral Sciences, 15(1), 2604- 2608, Elsevier Ltd.
LeCompte, M.D., & Schensul, J.J. (1999). Analyzing & interpreting ethnographic data.
Retrieved from: http://www.actionresearch.net/living/marianlothian/mlphdch5.pdf
Marshall, S. (1991). A genre-based approach to the teaching of report- writing. English
for Specific Purposes, Vol. 10(1), p.3-13 [Revistas arbitradas]
Morrison, B. (2010). Developing a culturally- relevant genre- based writing course for
distance learning. In Language Education in Asia, 1, 171-180.
Nicol, D., and Macfarlane-Dick, D. (2006). Formative assessment and self-regulated
learning: A model and seven principles of good feedback practice. Studies in
Higher Education 31, no. 2, 199–218.
Nunan, D. (1999). Second language teaching and learning. Boston, BS: Heinle & Heinle.
Raymond, E. (2000). Cognitive Characteristics: Learners with Mild Disabilities.
Needham Heights, MA: Allyn & Bacon, A Pearson Education Company.
Torres, C. (2004). Una Mirada pedagógica a la escritura de un ensayo argumentativo.
Revista de estudios sociales # 19.
Anexos
Anexo A. Formato de evaluación numérica de los escritos de los estudiantes.
1 de 2. STUDENT´S RESULTS CHART. STUDENT NAME:
CRITERIA DIAGNOSTIC 1ST DRAFT SCORE
2ND DRAFT SCORE
FINAL PAPER SCORE
RHETORICA
L STRU
CTURE
INTR
ODUCT
ORY
PAR
AGRA
PH
OPE
NING
SENTENCE
THESIS
STAT
EMEN
T
CLOSING
SENTENCE
BODY PA
RAGRA
PH
SUPP
ORT
ING
PARA
GRA
PH
OPP
OSING
PARA
GRA
PH
CONCLUSION
SUPP
ORT
ING
AND OPP
OSING
ARGUMEN
T
THESIS
STAT
EMEN
T
TOTAL 0 0 0 0
PORCENTAGE 0,0 0,0 0,0
2 de 2.
USE OF LA
NGUAG
E
SENTENCE
STRU
CTURE
D
VOCA
BULA
RY
PUNCT
UAT
ION
GRA
MMAR
TOTAL 0 0
PORCENTAGE 0,0
SOURC
ES
# OF SO
URC
ES
TOTAL 0
OVERAL TOTAL 0 GRADE 0,0
USE O
F SPECIALIZED SO
URCES
Anexo B
Resultados numericos de los estudiantes.
VARIABLE DIAGNOSTIC 1st DRAFT 2ND DRAFT FINAL
PAPER STUDENT
1 1,6 1,5 3,9 4,4 2 2,1 2,9 3,8 4 3 2,9 3 3,4 2,5 4 2 3,5 3 3,2 5 1,8 3,8 4,3 4,6 6 1,8 2,1 2,5 4,7 7 1,3 1,8 2,7 3,6 8 1,4 3,6 4,2 4,5 9 1,4 2,7 3,2 3,8 10 1,6 1,8 2,5 2,4 11 1,8 2,1 4 4 12 1,9 3,3 3,6 3,8 13 2 2,5 2,8 3,4 14 2 3,5 4 4,5 15 2,7 3,4 4 4,2 16 1,8 2,7 3,3 4,4 17 1,8 1,8 3,2 3,4 18 2,1 2,7 3,2 4 19 1,8 3,1 3 3,1 20 2,1 2,5 3,4 4,3 21 2 2,7 4,2 4,8 22 1,5 1,8 3,9 3,8 23 1,8 2,1 3,1 3,6 24 2,3 2,9 4,6 4,2
MEDIA 1,9 2,7 3,5 3,9 MEDIAN 1,9 2,7 3,4 4,0 MODE 1,8 2,7 3,2 4
SD 0,375 0,670 0,594 0,645
Anexo C Rúbrica del docente para la evaluación de los escritos.
1 de 2.
TEACHER´S RUBRIC
INSTRUCTION: This rubric is used to evaluate the criteria that must be included in the argumentative essay.
CRITERIA MEETS EXPECTATIONS 4
IMPROVING 3 PROGRESSING 2 NEEDS IMPROVEMENT 1
RHETORICA
L STRU
CTURE
INTR
ODUCT
ORY
PAR
AGRA
PH
OPE
NING
SENTENCE
• The introductory sentence describes or explains the relevance of the topic.
•The introductory sentence describes some relevance of the problem.
• The introductory sentence vaguely explains the relevance of the problem.
• The introductory sentence does not state the relevance of the problem.
THESIS
STAT
EMEN
T
• There is a focused thesis statement that shows a solid position about the problem chosen.
• The thesis statement is a bit broad; it shows one´s opinion of the problem.
• Thesis statement is vague and it lacks of solid reasoning of the problem.
• Thesis statement is in the form of a fact and it fails to show understanding of the problem.
CLOSING
SENTENCE
• The closing sentence frames the content of the essay.
• The closing sentence partially refers to the content of the essay.
• The closing sentence doesn´t refer to the content of the essay.
• There isn´t a closing sentence in the introductory paragraph.
BODY PA
RAGRA
PH
SUPP
ORT
ING
PARA
GRA
PH •There is a focused
topic sentence which is connected to the thesis and supported with research.
• There is a broad topic sentence somehow related to the thesis but it needs stronger support.
• The topic sentence is unclear in relation to the thesis and its support is weak.
• There is not a topic sentence nor it is connected to the thesis and it evidences lack of support.
OPP
OSING
PARA
GRA
PH
• The topic sentence acknowledges the opposing viewpoint. It is refuted with research.
• The topic sentences acknowledge the opposite viewpoint but its refutation lacks of research.
• The topic sentence is not about the opposing view (of the thesis). It criticizes the opposing viewpoint. It is not refuted.
• There is not a topic sentence. The paragraph content is not about the opposite viewpoint of the thesis. There is no refutation.
CONCLUSION
SUPP
ORT
ING
AND OPP
OSING
ARGUMEN
T
• Conclusion synthesizes supporting and opposing arguments without repetition.
• Conclusion summarizes supporting and opposing arguments without repetition.
• Conclusion repeats the information from supporting and opposing arguments.
• Conclusion presents just new information.
2 de 2.
THESIS
STAT
EMEN
T
• Conclusion restates one’s thesis and proposes a course of action or insight.
• Conclusion returns to the thesis statement and provides some suggestion for a change.
• Conclusion vaguely refers to the thesis. It proposes a light course of action.
• Conclusion does not refer to the thesis. No opinion about a new course of action.
USE OF LA
NGUAG
E
SENTENCE
STRU
CTURE
D
• Sentences are well-‐ structured.
• Sentence structure is generally correct.
• Sentence structure needs revision.
• Sentences are unclear or confusing.
VOCA
BULA
RY
• Specific words and formal language is used.
• Specific words and formal language is evident yet there is occasional use of “you” and “I”.
• Few vocabulary and some informal language are used, wrong translation or slang.
• The language used is too informal and specific words are not properly included.
PUNTU
ATION
• Punctuation, spelling and capitalization are correct.
• Few mistakes of punctuation, spelling and capitalization.
• Some mistakes of punctuation, spelling and capitalization.
• Mistakes of punctuation, spelling and capitalization are frequent.
GRA
MMAR
• Appropriate grammar choice.
• Few grammar mistakes that do not interfere with understanding.
• Some grammar mistakes that may interfere with understanding.
• Multiple grammar mistakes.
USE OF SPECIALIZED SOURCES
SOURC
ES
• Source material is properly documented.
• Source material is used but is not properly documented.
• Source material is limited or it is not properly documented.
• Lack of sources or no documentation of them.
# OF
SOURC
ES
• Three sources are included into the essay.
• Two sources are included into the essay.
• Only one source is included into the essay.
• No sources are included into the essay.
Anexo D
Checklist para auto evaluación y una listado de estrategias.
STUDENT´S CHECKLIST
INSTRUCTION: Before you submit your assignment (first draft, second draft or final paper) please check that you have followed all the guidelines so that we can identify and mark your assignment. Mark each box with an X symbol. If your answer is no you can click on the strategies proposed on the right to clarify your doubts and improve your essay.
CRITERIA DESCRIPTION YES NO
STRATEGIES PROPOSED TO IMPROVE SPECIFIC SECTIONS OF YOUR
ESSAY
RHETORICA
L STRU
CTURE
(80%
)
INTR
ODUCT
ORY
PAR
AGRA
PH
OPE
NING
SENTENCE
Did my opening sentence describe or explain the issue?
http://1drv.ms/1enNna3
THESIS
STAT
EMEN
T
Does my thesis statement show my position towards the issue chosen?
CLOSING
SENTENCE
Did I close the introductory paragraph with a sentence that states the purpose of my essay?
BODY PA
RAGRA
PH
SUPP
ORT
ING
PARA
GRA
PH
Is the supportive argument connected to the thesis and developed with details?
http://1drv.ms/1enQKho
OPP
OSING
PARA
GRA
PH Does the opposing
argument acknowledg the opposing view and refute it with solid research?
CONC
LUSIO
N
SUPP
ORT
ING
AND
OPP
OSING
VIEW
Does the conclusion synthesize both http://1drv.ms/1enVKm4
arguments without word repetition?
THESIS
STAT
EMEN
T
Does the conclusion readdress one’s thesis and propose a course of action and / or opinion?
USE OF LA
NGUAG
E (10%
)
SENTENCE
STRU
CTURE
D
Are the sentences well-‐structured?
http://1drv.ms/1enXqfm
VOCA
BULA
RY
Is it language fomal/ academic?
PUNTU
ATION
Are punctuation, spelling and capitalization correct?
GRA
MMAR
Is grammar appropriately selected to provide coherence to the whole text?
USE OF SPECIALIZED SOURCES (10%)
SOURC
ES
Is source material properly documented?
http://www.apastyle.org/learn/tutorials/basics-‐
tutorial.aspx
# OF
SOURC
ES
Are there three reading sources included into the essay?
Anexo E Formato de Evaluación Ipsativa.
STUDENTS´ FEEDBACK SHEET
DESCRIPTION OF THE FORMAT: This tool has the purpose of initiating a dialogue between you and me. We can monitor your progress over time checking how have you evolved in the different assignments. Also you can work on the feedback received for your assignment and how this would help you to improve your next version (feed-‐ forward).
STUDENT´S NAME:
STAGE
PLEASE INDICATE WHAT FEEDBACK
YOU WERE GIVEN.
CONSIDER…
BASED ON THE FEEDBACK RECEIVED: HOW ARE YOU GOING TO IMPROVE NEXT
PAPER? You can even use the
strategies proposed or your own. Tips (ppt) &
Strategies (Checklist).
REQUEST FOR PARTICULAR FEEDBACK. If you would like feedback
on any particular aspects of your current assignment please make a
note of them here.
STUDENTS´ REQUEST TUTOR´S RESPONSE FEEDBACK ON
CURRENT PERFORMANCE
1ST DRA
FT
2ND
DRA
FT
FINAL
PA
PER
AT THE EN
D OF TH
E PR
OCE
SS
FINAL REFLECTION. PROVIDE AN ANSWER THE FOLLOWING QUESTIONS:
How can you compare your composition from 1st draft, to 2nd draft and to the final paper? Did you use the feedback provided?
What have you learnt throughout this process and what will you do differently next time you engage in academic writing.
