DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

76
DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR LA COMPETENCIA DE SÍNTESIS COMO ELEMENTO INTEGRAL DE LA LECTURA CRÍTICA EN ESTUDIANTES DE EDUCACIÓN SUPERIOR TESIS DE MAESTRÍA JONNATHAN DARIO DAZA RINCÓN UNIVERSIDAD CATÓLICA DE COLOMBIA FACULTAD DE PSICOLOGÍA MAESTRIA EN PSICOLOGÍA BOGOTÁ Julio de 2020

Transcript of DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Page 1: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR LA

COMPETENCIA DE SÍNTESIS COMO ELEMENTO INTEGRAL DE LA

LECTURA CRÍTICA EN ESTUDIANTES DE EDUCACIÓN SUPERIOR

TESIS DE MAESTRÍA

JONNATHAN DARIO DAZA RINCÓN

UNIVERSIDAD CATÓLICA DE COLOMBIA

FACULTAD DE PSICOLOGÍA

MAESTRIA EN PSICOLOGÍA

BOGOTÁ

Julio de 2020

Page 2: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR LA

COMPETENCIA DE SÍNTESIS COMO ELEMENTO INTEGRAL DE LA

LECTURA CRÍTICA EN ESTUDIANTES DE EDUCACIÓN SUPERIOR

TESIS DE MAESTRÍA

JONNATHAN DARIO DAZA RINCÓN

460371

CARLOS ANTONIO PARDO ADAMES

DIRECTOR

UNIVERSIDAD CATÓLICA DE COLOMBIA

FACULTAD DE PSICOLOGÍA

MAESTRIA EN PSICOLOGÍA

BOGOTÁ

Julio de 2020

Page 3: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Page 4: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Page 5: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

“Las opiniones expresadas en éste trabajo son responsabilidad de sus autores, la

Facultad de Psicología solo ha verificado el cumplimiento de las condiciones

mínimas de rigor científico y de manejo ético”.

Reglamento Interno

Artículo, 65

Page 6: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

AGRADECIMIENTOS A Dios en primer lugar porque sin Su guía y apoyo no habría podido llevar a cabo

mis estudios con dedicación y con el compromiso que correspondió.

Al Doctor Francisco José Gómez Ortiz, Rector de la Universidad Católica de

Colombia, por la oportunidad de cursar mi Maestría en la que considero mi segunda

casa y de la cual me siento inmensamente orgulloso como egresado.

Al programa de Maestría en psicología de la Universidad Católica de Colombia y a

todo su equipo directivo y docente por todos los conocimientos, herramientas y

experiencias que hicieron posible el desarrollo de esta investigación.

Al Doctor Carlos Antonio Pardo Adames quien desde su dirección de mi trabajo de

grado me acompañó activamente durante el inicio desarrollo y conclusión de este

proceso.

A todas las demás personas que con su aporte directa o indirectamente, que

favorecieron la culminación de este proyecto.

Page 7: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

DEDICATORIA A mis padres Rosa Herlinda Rincón Campos y Rubén Darío Daza Suarez, por el

amor, la paciencia, la motivación, acompañamiento y compromiso incondicional en

todas y cada una de las etapas de mi vida.

A mis hermanos Camilo Andrés Daza Rincón y María Alejandra Daza Rincón por su

amor en primer lugar, por su comprensión y por todo el apoyo brindado durante toda

mi vida en mi proceso formativo.

Page 8: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

TABLA DE CONTENIDO

Contenido

Resumen .............................................................................................................. 11

Antecedentes teóricos y empíricos .................................................................... 13

Apropiación del conocimiento ........................................................................ 20

Comunicación ................................................................................................ 22

Lectura ........................................................................................................... 24

Comprensión lectora ...................................................................................... 28

Justificación y Planteamiento del Problema..................................................... 37

Pregunta de investigación .................................................................................. 46

Objetivos .............................................................................................................. 46

Objetivo general ................................................................................................. 46

Objetivos Específicos ........................................................................................ 47

Método.................................................................................................................. 47

Tipo de Investigación y Diseño ...................................................................... 47

Participantes .................................................................................................. 48

Instrumentos .................................................................................................. 49

Variables de análisis .......................................................................................... 49

Lectura crítica ................................................................................................. 49

Síntesis .......................................................................................................... 49

Hipótesis ........................................................................................................ 50

Procedimiento ................................................................................................ 50

Resultados ........................................................................................................... 57

Juicio de expertos .......................................................................................... 57

Análisis técnico del instrumento ..................................................................... 61

Resultados de la hipótesis ............................................................................. 64

Consideraciones Éticas .................................................................................. 66

Discusión ............................................................................................................. 67

Referencias .......................................................................................................... 71

Page 9: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

LISTA DE TABLAS

Tabla 1. Resultados en Lectura Crítica de los años 2015 hasta 2018 del examen

de estado Saber 11 a nivel nacional. 19

Tabla 2. Resultado de las valoraciones de los jueces respecto a los 16 ítems 59

Tabla 3. Indicadores de los ítems 63

Tabla 4. Pesos de regresión y valor P para preguntas de Síntesis 65

Page 10: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

LISTA DE FIGURAS

Figura 1. Estructura de hipótesis respecto a las preguntas de síntesis 50

Figura 2. Modelo usado actualmente en el diseño de pruebas en el Icfes 54

Figura 3. Relación entre lectura crítica y las preguntas de síntesis 64

Page 11: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Resumen

La lectura es una de las herramientas más importantes de la humanidad en su

historia en los ámbitos culturales y sociales, ya que es fundamental para alcanzar

el éxito en el ejercicio profesional y el avance de la sociedad contemporánea. En las

pruebas de estado aplicadas en Colombia, se ha encontrado que la comprensión

de lectura en sí misma no da cuenta total de las habilidades de un estudiante en

relación con la apropiación del conocimiento y es por ello que la lectura crítica se

requiere para dar claridad al conocimiento del entorno y la comprensión del mismo.

En este sentido la capacidad del estudiante y futuro profesional para comprender y

asimilar lo leído contribuiría al aprendizaje. Esta investigación tuvo como finalidad

la elaboración de un instrumento diagnóstico de la capacidad de síntesis como

elemento fundamental complementario de la lectura crítica, cuyos resultados

permitirán diseñar y desarrollar estrategias para mejorar el proceso de lectura en

los estudiantes universitarios. Se utilizó la metodología de Diseño de Evaluaciones

Centrada en la Evidencia para el diseño y elaboración del instrumento. La evidencia

de validez de contenido del instrumento se realizó con un grupo de jueces expertos

utilizando la metodología Angoff modificado y el pilotaje del mismo con una muestra

de 250 estudiantes de los dos primeros semestres de programas de formación

profesional de las categorías 03 y 07 de la (Clasificación Internacional Normalizada

de la Educación) CINE que corresponden a ciencias sociales y a ingeniería cuya

participación es voluntaria. El análisis de datos para la producción de resultados se

hizo con el Modelo de Rasch, a partir del procesamiento de datos con el software

Winsteps. La confiabilidad de la prueba es de 0.81 utilizando los valores logit del

Modelo y aplicándolos a la formulación del Alpha de Cronbach y una separación de

2.05 evidenciado valores aceptables de confiabilidad. Todos los ítems cumplen con

el criterio de ajuste al Modelo. Se verificó la unidimensionalidad de la prueba. En

conclusión los resultados indican buena calidad técnica del instrumento. El análisis

de datos del juicio de expertos se realizó, igualmente, con el Modelo de Rasch a

partir del procesamiento de datos con el software Facets. La confiabilidad del juicio

de los expertos es de 7.26 en separación, consistencia de los expertos superior a

0.57 y confiabilidad de sus valoraciones de 0.83

Page 12: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Palabras clave: Lectura crítica, estudiantes universitarios, diagnóstico, evaluaciones

centradas en la evidencia.

Page 13: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Antecedentes teóricos y empíricos

La lectura en el ámbito académico es un proceso fundamental para el

aprendizaje. Como lo menciona La Sociedad Española de Neurología (SEN, 2013),

la lectura entre otros beneficios promueve el aumento de actividad cerebral durante

su ejecución, y ello repercute positivamente en procesos de aprendizaje, pues

incrementa en cuanto a tiempos de respuesta la capacidad y la habilidad de analizar

que puede realizar una persona sobre la lectura realizada.

La lectura es un reto de la educación en todo el mundo, pues el nivel de

lectura de los habitantes de una sociedad es un indicador de la calidad educativa

de la misma, como lo menciona (Villaseñor, 2006). La enseñanza de la lectura,

aunque inicia desde la básica primaria, su mayor afianzamiento se demuestra en la

educación media, ya que es uno de los elementos evaluados por los exámenes de

educación media y superior con los cuales el estudiante tiene la oportunidad de

demostrar lo aprendido. En estos exámenes es donde cobra importancia como eje

fundamental del aprendizaje de diversas áreas del conocimiento, como las ciencias

naturales, ciencias sociales, el lenguaje, entre otros; pero a su vez, como lo

menciona (Villaseñor, 2006) la lectura queda supeditada a un desarrollo superficial,

en el cual no se evidencia un aprendizaje claro, respecto a los diferentes niveles de

lectura (literal, inferencial y crítica), en la secundaría no se llega más lejos de la

lectura literal, sin si quiera tomar a profundidad los otros dos niveles. Lo cual lleva a

suponer a su vez que, aunque se ha trabajado arduamente por la mejora en esta

competencia, el trabajo constante por mejorar los resultados es vital para mejorar

los indicadores nacionales e internacionales de la misma, como los que se

evidencian en las pruebas (Programme for International Student Assesment) PISA

por sus siglas en inglés y en las Pruebas Saber 11 en la competencia de lectura.

Aunque la lectura evalúa comprensión, articulación de los textos leídos, así

como la posición que da el lector frente al tema que lee, el sistema educativo no ha

tenido en cuenta el nivel en el que el estudiante se encuentra, es decir se espera

que los estudiantes sepan leer en cierto momento del aprendizaje de su etapa

escolar, pero se evalúa un aprendizaje esperado, más no se conoce el estado en el

Page 14: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

que el estudiante está llegando a la evaluación y tampoco hacía que nivel debe

orientarse o dirigirse el esfuerzo docente para que la competencia lectora del

estudiante cumpla con los objetivos enmarcados en un proceso de aprendizaje.

Tampoco en lo que se refiere a la práctica pedagógica de la enseñanza por parte

del docente y esto se debe a como lo menciona (Pérez Zorrilla, 2005) que no hay

una definición clara sobre el concepto de lectura desde el momento en que se está

impartiendo ésta en el aula de clase.

Esta situación del desconocimiento sobre que es la lectura y la utilidad de la

misma como instrumento de acceso al conocimiento y al qué hacer con dicho

instrumento, se ve afectado en proceso de aprendizaje del estudiante.

Entidades como la Organización para la Cooperación y Desarrollo

Económicos (OCDE), promueven los sistemas de evaluación en diferentes países

para conocer la calidad de la educación en las instituciones de los países que

participan de las evaluaciones que se realizan, como es el caso de las pruebas

PISA.

Las pruebas PISA evalúan puntualmente tres competencias: Lectura,

matemáticas y ciencias. De las competencias evaluadas y para la elaboración de

este documento, sólo se tomó la lectura como eje fundamental del aprendizaje,

debido a que la lectura es elemental para la comprensión de toda competencia. Una

persona que no sabe leer se verá limitada en la comunicación que puede tener con

el mundo y por tanto verá una limitante en su acceso al conocimiento.

La OCDE entregó los resultados de su evaluación en 2019 (OECD, 2019) en

la que Colombia tuvo como resultado en Ciencias con una puntuación de 413,

(OCDE) de 489, en Matemáticas 391 puntos contra 489 de la OCDE y finalmente

de la competencia de lectura 412 puntos con un promedio de la OCDE

(Organización para la Cooperación y Desarrollo Económicos) de 487. Respecto a

las calificaciones promedio de la OCDE y las calificaciones alcanzadas en cada una

de las tres áreas tenemos unas diferencias de (76 puntos en ciencias), (98 puntos

en Matemáticas) y (75 puntos de diferencia en Lectura crítica).

Page 15: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Como antecedente los resultados anteriores de las pruebas PISA, en 2016

evidenciaron que no se tuvo una mejoría en ninguna de las tres competencias.

Debido a estos resultados y en particular al de la competencia de lectura, se hace

necesario ir más allá de la lectura superficial y adentrarse en un nivel más profundo

como es la lectura crítica y la capacidad de síntesis.

La síntesis es utilizada desde hace mucho tiempo para ayudar al lector a un

proceso de comprensión que le permita abordar grandes cantidades de información

pero que a su vez sin descuidar ni desconocer lo importante le permita dar un punto

de vista adecuado sobre un tema. La idea de la síntesis es que permita la

articulación de textos, organizar la estructura de los mismos, así como la integración

de ideas de diferentes textos y autores, que deriva en una necesidad imperante de

ampliar el conocimiento como lo evidenciaron al comparar la producción escrita de

dos grupos que tenían como particularidad que uno de ellos sólo utilizó una fuente

de información, mientras que el otro utilizó más fuentes de información (Vázquez,

2017).

En dicha investigación encontraron que el grupo que tenía más fuentes de

información tuvo mayor riqueza lingüística, mayor fluidez en el tema desarrollado, y

fue el que estuvo más alejado del texto original (menos uso de la fuente original)

como consecuencia de tener fuentes diversas que enriquecieron el desarrollo del

texto y la diversificación de los abordajes del mismo desde diferentes perspectivas

(Vázquez, 2017).

Al abordar diferentes perspectivas se da cabida a muy buena oportunidad

que desde esta investigación se desea abordar, y es la relación que hay entre la

capacidad de síntesis de los lectores frente a la capacidad de lectura crítica que

tienen. Pues no todo lector crítico tiene buena capacidad de síntesis, ni toda persona

con buena capacidad de síntesis tiene un buen nivel de lectura crítica.

Los exámenes de estado como el saber 11 y el saber pro si bien abordan la

lectura crítica como uno de sus campos de evaluación, desconocen el valor de la

síntesis, como elemento que complementa e integra el proceso lector y que si se

Page 16: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

tiene evidencia en el estudiante una mayor profundidad de análisis en sus

apreciaciones sobre un texto, pero no solo eso, sino que también se evidencia que

tiene un mayor conocimiento sobre las temáticas sobre las que se le preguntan; y

por esta razón es novedoso el investigar sobre síntesis como competencia del buen

lector crítico.

Todo el material científico que se ha documentado a través de la historia tiene

que ser leído y explicado para llegar a ser comprendido. En el caso de las ciencias,

si no se sabe leer información sobre los orígenes del hombre (por ejemplo), no se

puede dar una explicación de cómo evolucionó, o si hablamos de una enfermedad,

si no conocemos los antecedentes y síntomas de la misma referidos por el paciente,

tampoco es posible tratar el malestar que le aflige. Las matemáticas, aunque se

podría pensar que los números tienen otra lógica de comprensión, parten del mismo

principio, el leer como parte fundamental de la compresión del lenguaje y por tanto

como parte de la solución de un problema.

Como lo menciona (Serrano de Moreno, 2008), la lectura crítica hace

necesario un proceso del lector en el que se sienta en la posición del autor del texto

y desde la cual supone la discusión reflexiva de las ideas del autor, identificar

evidencias, puntos de vista, opiniones e intenciones que se encuentran inmersas en

el texto. Adicionalmente, durante el proceso de formación en educación superior,

fuera de la prueba saber pro que el Estado aplica a los estudiantes finalizando el

ciclo de formación universitaria o tecnológica; no hay en este momento otro examen

que permita dar cuenta del cambio en el aprendizaje de los estudiantes en la

competencia lectora y menos aún que permita evidenciar la capacidad de síntesis

de los estudiantes.

Parcialmente durante las actividades de clase los profesores intentan evaluar

lo que el estudiante logró comprender del texto abordado. Esto no es suficiente pues

la calidad del lector no se puede vislumbrar de forma clara pues la comprensión no

es evaluada puntualmente, yendo más allá de lo literal de la idea que expresaba el

texto leído. Más que eso se evalúa es la capacidad de memorizar conceptos e ideas

Page 17: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

que expresan algo dentro de un contexto específico y no la capacidad crítica de leer

del estudiante y mucho menos de sintetizar contenido de un texto.

La lectura crítica, es pues, la llamada al estrado para ser puesta como una

competencia general que el (Instituto colombiano para el fomento de la educación

superior) ICFES, actualmente evalúa; pero cuyos resultados han sido negativos

como en los más recientemente reportados en enero de 2018, en los cuales se

observó que las puntuaciones de los últimos 4 años en la competencia de lectura

crítica no superan los 50 puntos en los colegios oficiales rurales, no más de 54

puntos en colegios oficiales urbanos y ha aumentado un poco en los colegios

privados llegando hasta los 58 puntos, aunque la media nacional respecto a estos

puntajes está en 54 puntos. Teniendo en cuenta lo que la prueba Saber 11

conceptualiza en su apartado de Lectura crítica como la capacidad de comprender,

evaluar e interpretar textos, (ICFES, 2016) el desempeño de los estudiantes

colombianos debe mejorar para alcanzar un nivel que les permita desarrollar las

actividades propias de un oficio o profesión a la que deseen acceder como lo

evidencian los comparativos en el ranking de la OCDE en las pruebas PISA en la

competencia de lectura respecto a los demás países de la región e incluso con

muchos del resto del mundo (OCDE, 2016).

En el mundo globalizado como el actual, donde los sistemas de evaluación

han cambiado constantemente y son cada vez más precisos y globalizados se han

hecho comparativos entre países de todo el mundo para medir su desarrollo

educativo. Estos cambios en los sistemas evaluativos se ven reflejados en el avance

en los resultados de las evaluaciones que presentan de países que antes no eran

referentes en temas académicos como Singapur y Finlandia (OCDE, 2016).

Se considera una importante necesidad el comparar a Colombia con el resto

del mundo en cuanto a calidad académica pues esto aporta a la mejora del sistema

educativo actual y las fallas que se puedan identificar, y por ello se hace uso de

estos referentes en resultados de exámenes; además porque el mundo del

conocimiento está presente en todo lo que nos rodea y el contar con las

Page 18: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

competencias necesarias para la comprensión adecuada del mundo es lo que

permitirá aumentar el nivel educativo del país y ser un referente en el continente y

por qué no, en el mundo. Para disminuir los índices de pobreza, analfabetismo, y

así mismo generar nuevas oportunidades de empleo, formación en tecnología y

progreso en todos los campos del saber, es necesario que Colombia empiece a

mejorar su rendimiento académico en estos exámenes; pues estos reflejan en

nosotros mismos y ante la comunidad internacional, los esfuerzos que hace un país

por formar a sus habitantes para un futuro mejor o por lo menos refleja las mejoras

del mismo en materia de métodos de enseñanza y aprendizaje.

Es necesario que en Colombia se implementen sistemas diagnósticos, en

ese ámbito de evaluación donde se les permita a las instituciones educativas de

todos los niveles saber si sus estudiantes realmente están aprendiendo y no solo

memorizando. Las pruebas PISA, que realiza la OCDE, buscan establecer en qué

nivel se encuentran los alumnos en la adquisición de conocimientos y habilidades

que les permita un acercamiento y participación en pro de la interacción social con

el mundo y la mejora del mismo(OCDE, 2016).

Más allá de las posibilidades que ofrece la evaluación impartida por la OCDE

a través de la prueba PISA, en Colombia se cuenta con el examen de estado Saber

11. Con esta prueba el Estado colombiano evalúa con qué competencias cuenta el

estudiante en lo que según el examen (Instituto colombiano para el fomento de la

educación superior) ICFES (2016), son los tres elementos que en la lectura

evidencia que el estudiante ha cursado la educación media y que ha cumplido

satisfactoriamente con su proceso formativo: La capacidad de identificar y entender

los contenidos locales y globales de un texto, en segundo lugar el comprender y

articular las partes del texto para darle sentido y por último pero no menos

importante, el reflexionar sobre el texto que ha leído y evaluar su contenido.

La lectura crítica es una de las competencias que el ICFES evalúa en el

examen de estado. Al hacer una revisión de la forma de evaluar esta competencia

en años anteriores, se evidencia que los objetivos de la evaluación no han cambiado

Page 19: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

mucho y a su vez los resultados evidencian que no hay una mejoría notable. A

continuación, se presenta el desempeño de los años 2015 a 2018 en el apartado de

lectura crítica en el examen Saber 11 que permite evidenciar el cambio (significativo

o no) en la mejora del mismo:

Tabla 1.

Resultados en Lectura Crítica de los años 2015 hasta 2018 del examen de

estado Saber 11 a nivel nacional

2015-2 2016-2 2017-2

2018-2

Promedio 51 54 54 54

Nota. Resultados parciales tomados de las guías de orientación de resultados del ICFES

2015, 2016, 2017 y 2018.

Como se observa en los resultados de la Tabla 1, el cambio en las

puntuaciones de la prueba de lectura crítica se conserva aún bajo, teniendo en

cuenta que la escala de calificación es de 1 a 100. En este contexto, es importante

tener en cuenta que la lectura crítica debería ir más allá de las 3 actividades

puntuales que evalúa el ICFES (Instituto colombiano para el fomento de la

educación superior) y establecer otros parámetros a tener en cuenta para un

diagnóstico en cuanto al desempeño en dicha prueba, pero no sólo eso, sino que

permita evidenciar un aprendizaje del estudiante que ha cursado la educación

básica y media e incluso que ha cursado por programas de educación superior.

Entender los contenidos, articulación de los mismos y la reflexión sobre el

tema tratado en la lectura; si bien son tareas o actividades importantes que integran

la lectura crítica no son las únicas que deberían ser evaluadas para vislumbrar un

Page 20: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

aprendizaje significativo en los estudiantes que salen de educación media. En

ninguna de las pruebas mencionadas, (llámese pruebas PISA, Saber 11 y Saber

Pro); se evalúa la síntesis como tarea que puede dar cuenta de la capacidad del

estudiante de articular coherentemente la lectura realizada y a su vez teniendo que

dar un punto de vista propio sobre lo leído recogiendo los elementos principales del

texto para darle coherencia en cuanto a las ideas expresadas en los textos

consultados y que permitan evidenciar que el estudiante recoge en su conocer la

comprensión lectora como prueba de su conocimiento del tema.

Por lo anterior, esta investigación estuvo enfocada en abordar la

comprensión lectora como tarea que hace parte de la lectura crítica y que es

esencial para las nuevas formas de aprender, pues es el hilo conductor que le

permitirá al estudiante apropiarse del conocimiento adquirido y darle el uso que

considere para el abordaje de los contenidos escritos que sean de su interés y así

llevar a cabo un correcto proceso de apropiación del conocimiento.

Apropiación del conocimiento

Según (Marín Agudelo, 2012), la apropiación del conocimiento de una forma

reducida se refiere a ese proceso de divulgación científica que se realiza de los

hallazgos con la finalidad de que los demás integrantes de la sociedad logren

comprenderlos y asimilarlos. Aunque yendo más allá del concepto de apropiación

de conocimiento, hoy día el aprendizaje está mediado por las aproximaciones que

realizamos a lo que nos gusta; pues ello nos permite afianzar lo aprendido y poder

replicarlo y explicarlo de mejor forma.

Page 21: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Así mismo, esa apropiación del conocimiento lleva consigo la

responsabilidad de que el sujeto, como parte de la sociedad, proponga y ponga en

marcha estrategias que le permitan divulgar, socializar y popularizar el conocimiento

que obtiene (Marín Agudelo, 2012). Cabe destacar que es importante desde todo

punto de vista, que el proceso de apropiación sea lo más socializado y participativo

posible. Esto se debe a que en una buena medida de la divulgación del

conocimiento depende la capacidad de replicar la información y que más personas

puedan sacar provecho de lo que aprenden e interiorizan, pues al replicar el

conocimiento se estaría convirtiendo en productores de conocimientos.

Esa apropiación del conocimiento es llevada a cabo como parte del proceso

de lectura que el estudiante realiza. Mediante la lectura y muchas veces con la

puesta en práctica de lo leído se da el proceso de apropiación, pues cuando el

estudiante es capaz de explicar el tema aprendido con sus propias palabras, llegar

a conclusiones reales a partir de sus propios conocimientos en el tema leído y por

consiguiente dar una postura crítica frente al tema leído, es allí donde se evidencia

que el estudiante se apropió de lo aprendido en el ejercicio de lectura realizado

(Marín Agudelo, 2012).

La apropiación del conocimiento se vincula directamente con la lectura crítica

en el más esencial sentido, pues la forma en que el estudiante se apropia del

conocimiento es por medio de la lectura como herramienta de aprendizaje y medio

de adquisición del conocimiento. Y que le permite, cuando la lectura ha sido

correctamente abordada teniendo en cuenta las la extensión de los textos y la

comprensión de los mismos haciendo de forma sintética que la comprensión lleve a

Page 22: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

la apropiación de lo leído y de esta forma se dé un aprendizaje haciendo uso de

todos los elementos principales, locales y globales que se encuentran en el texto.

Llegar a un conocimiento profundo y ver si este ha sido real y adecuadamente

aprendido se podrá evidenciar en la capacidad sintética que el estudiante expresa

lo aprendido y lo utiliza dando su punto de vista sobre ello, o simplemente lo usa

para generar nuevo conocimiento sobre el tema del que ha aprendido. En otras

palabras, la forma en que volúmenes de información son adecuadamente utilizados

analizados e interpretados sin necesidad de haberlos memorizado al pie de la letra

son la evidencia clara de que el proceso comunicativo se llevó a cabo

adecuadamente y que por tanto la transmisión de conocimiento se dio

correctamente.

Desde los orígenes de la raza humana y del conocimiento como elemento

transformador de la sociedad, ha sido un factor que nos ha logrado diferenciar

sustancialmente de otras especies, pues nos ha permitido transmitir lo vivido, lo

aprendido, sea de forma manual en un principio y luego de forma escrita con un

proceso de aprendizaje interpretativo de dicha escritura y que ha llevado a que se

pueda replicar el conocimiento de una sociedad en todos sus habitantes y es el

proceso de la comunicación.

Comunicación

La comunicación es ese puente entre lo que se desea aprender (el

conocimiento) y el sujeto que aprende (el ser humano). Como lo menciona la RAE

(2001), la comunicación es la transmisión de señales, en el caso de los seres

Page 23: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

humanos mediante símbolos y signos a los cuales se les da un significado y un

sentido mediante un código que es común (entendido) para un emisor (quien

transmite la información) y un receptor que es quien la recibe.

Aclarando que sí se estudia la comunicación en general como cualquier

intercambio de información que se dé entre dos elementos que logran entenderse,

por ejemplo, como lo menciona Ordoñez (2017) a partir de un ejemplo de la biología,

la comunicación que hay entre neuronas conocida como sinapsis, donde una

neurona presinaptica (en términos del proceso de comunicación emisor) envía una

señal (información) a otra neurona posináptica (igualmente para la comunicación

sería el receptor de dicha información). Esto logra explicar de una forma científica

como la comunicación está inmersa en el conocimiento general del mundo, y del ser

humano como objeto primario de estudio; además que permite comprender por

medio de un proceso vital como la comunicación neuronal el para qué se realiza un

proceso de intercambio de información que deriva en el significado de la

comunicación.

Como ejemplo sobre el desarrollo de la comunicación por medio de la

escritura en el ser humano, como lo menciona Villao (2002), se dio como parte del

proceso de transformación del lenguaje oral a lenguaje escrito, la posterior aparición

del alfabeto vocálico y que llevó consigo un proceso de interpretación de esos

símbolos que derivó en el deletreo por medio del cual se acompañaba a las vocales

con una consonante que permitió la formación de las primeras sílabas, y al unir

sílabas la aparición de las palabras.

Finalmente, estas se encontraban plasmadas en los escritos que debían ser

identificadas o "descifradas" por las personas en un aprendizaje arduo y luego

Page 24: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

leídas en un proceso más fácil que se daba por transmisión del conocimiento de

forma oral o escrita dependiendo de la cultura. Esto con el tiempo fue pasando y

cambiando a la elaboración de escritos que permitieron la preservación del

conocimiento y la transmisión del mismo por medio de la lectura.

Lectura

La lectura es un concepto difícil de definir si se tiene en cuenta el origen de

la misma y como diversas culturas le pueden haber dado un significado diferente.

Por ello la definición de la lectura es la comprendida desde la antigüedad como la

forma de expresión que mediante la oratoria de un escrito previamente realizado y

que intenta re-presentar mediante el punto de vista del lector, la interpretación del

discurso del autor del texto en cuestión (Parada, 2017).

(UNESCO, 2015), menciona que la lectura si bien es una habilidad con la

que todas las personas deberían contar como parte de un proceso mediante el cual

las pueden conocer e identificar el mundo, no se limita al ámbito académico en el

proceso de formación escolar sino en sus procesos de interacción con la sociedad.

Y aunque se han hecho esfuerzos importantes por disminuir las tasas de

analfabetismo, aún hay una gran brecha con cifras que rondan los 781 millones de

personas en situación de analfabetismo en el mundo y al ser la lectura un

instrumento de acceso al conocimiento que se encuentra inmerso en todas las

culturas en sus propias y diversas formas de lenguaje y que se hace importante

seguir trabajando en todos los países para disminuir estas cifras. Cuyo resultado

será el mejor y más rápido desarrollo de cualquier población, que para el

Page 25: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

aprendizaje de una tarea o el conocer el mundo encontrará esa facilidad a través de

la lectura como herramienta ideal de apropiación del conocimiento.

La lectura para esta investigación se definirá como instrumento de acceso al

conocimiento, en donde esto sólo es posible por medio de un canal claro y adecuado

que permita al sujeto “que quiere conocer” acceder a la información con sus propias

capacidades, y que dichas capacidades deben ser adecuadamente desarrolladas

en su formación académica, desde la etapa primaria e ir avanzando en la formación

de la competencia lectora al llegar a la educación media, ya que al finalizar este

proceso de formación el estudiante logrará plantear las problemáticas que el mismo

posee al momento de ingresar a un programa de educación superior y abordar de

diversas formas el cómo solucionarlas.

La evolución de la lectura es compleja de explicar, por cuanto existen tantos

escritos sobre la historia de la lectura como lectores existen para la misma, y por

ello lo que se debe tener en cuenta es que la lectura hace parte de un constructo

social, que permea en el ser humano y que le permite al mismo la transmisión de

conocimiento entre generaciones y que se manifiesta como un proceso en doble

vía.

Por un lado la transmisión de este contenido escrito de forma individual a

otros sujetos, y por el otro la transmisión del mismo contenido ya no de forma

individual sino grupal, y que de forma individual se realizará un proceso de

enseñanza que permita replicar el modelo de transmisión del conocimiento para

todo aquel que lo requiera (Parada, 2017).

Por otra parte, al analizar el papel de la lectura en la cultura es de gran

importancia y significado, puesto que el buen lector comprende la sociedad y estará

Page 26: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

en capacidad de hacer cambios en la misma por medio del dominio que supone

tener conocimiento. Se distingue clara y de forma frecuente que los lectores más

asiduos y expertos son aquellos con poder. Sí, aquellas personas con algún tipo de

poder en la sociedad, solían ser y aún en ésta época, aunque en forma menos

visible, quienes dominaban la información. El dominio de la información en los

diferentes contextos de la humanidad es lo que permite a la misma desarrollarse y

avanzar en la consecución de recursos y en el buen o mal manejo de los mismos y

que a su vez se evidencia en que son pocos los que tienen poder porque son esos

pocos los que dominan la información (Parada, 2017).

Al contar con la información como medio de avance y progreso de una

sociedad, también es importante lo que se hace con lo que se sabe y como esto

repercutirá en el desarrollo de una sociedad y en este caso en los procesos de

aprendizaje y apropiación de conocimiento. Por lo anterior, surge la lectura crítica

como ese proceso complementario que afianza y clarifica el qué hacer con lo que

se sabe, como lo menciona (Bar, 2012) los estudiantes que realizan un proceso de

razonamiento más elevado, que identifican los elementos y luego evalúan los

mismos dentro del marco de una misma disciplina, son los que podrán hacer un

mejor uso de lo aprendido pues sus habilidades cognitivas se ven mejoradas al

hacer uso de elementos que los lleven más allá de lo superficial del proceso lector

y consigo se llega a un proceso de apropiación de conocimiento más evidente por

medio de la lectura crítica.

Lectura Crítica

Como lo mencionan Díaz, Bar, y Ortiz (2015) el proceso de lectura crítica

conlleva la realización de mayores esfuerzos cognitivos, pero igualmente valiosos

Page 27: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

para el proceso de aprendizaje de cualquier persona y que debería iniciarse desde

niveles de educación media, pues al llegar a la vida universitaria la densidad de los

contenidos allí expuestos pueden provocar un incremento en las tasas de deserción

estudiantil al encontrar una mayor dificultad en aprender; debido a que al contar con

los aprendizajes esperados para el nivel de formación serán profesionales mejor

capacitados y ciudadanos que actuarán adecuadamente y aportarán más al

crecimiento de la sociedad desde los diferentes campos de acción en los cuales se

quieran desempeñar.

No se puede dejar de lado la historia de la lectura, sin mencionar a la

escritura, pues son procesos complementarios e inexistentes el uno sin el otro.

(Parada, 2017) Menciona que el desarrollo de la historia de la lectura, fue parte de

un cambio resultante de la escritura, y la necesidad en el ser humano de poderla

entender pues al ser fuente de conocimiento, a su vez es fuente de cambio cultural.

La lectura crítica según (Avendaño de Barón, 2016) se puede significar de

tres formas diferentes expresada o evaluada en un texto:

La primera forma corresponde al significado inmerso en el contenido del

texto, donde el significado de dicho contenido es el resultado de la unión de las

palabras, frases, conectores, preposiciones, oraciones, pronombres, etc. Y que por

consiguiente es independiente de las condiciones del lector y del tipo de lectura.

La segunda concepción de lectura crítica consiste en que el significado del

contenido del texto no reside en nada de lo anterior, es decir, ni en las palabras, ni

en las frases ni en las oraciones ni preposiciones ni pronombres, etc.; sino que se

encuentra en la mente del lector, que le da significado al texto basado en sus

Page 28: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

saberes previos sobre el tema, formación cultural, modos de sentir y de pensar, así

como sus experiencias de vida (Avendaño de Barón, 2016).

En tercera instancia se tiene una idea más desde lo cultural, teniendo en

cuenta aspectos olvidados del significado; como son los vocablos, los significados

lingüísticos presentes en el texto, saberes previos que aporta el lector que tienen

procedencia u origen social, perspectivas ideológicas etc., y se tiene en cuenta que

tanto el lector, como el autor como el texto no son entes aislados, pues su relación

intrínseca es la lectura (Avendaño de Barón, 2016).

La lectura al ser el proceso mediante el cual se interpreta, entiende, y

aprende de un texto, es a su vez la raíz para otro elemento que enmarca el proceso

de aprendizaje del lector, que es la compresión de lectura. Es el vínculo que permite

al lector y al texto estar en constante comunicación pues el comprender el texto

permite a la persona entender el sentido del mismo, interpretar su contenido y darle

con su propio punto de vista una posición frente al material leído poder opinar y que

a su vez lo llevará a otras etapas en el proceso de aprendizaje que se deriva de la

compresión lectora (Altablero, 2007).

Comprensión lectora

Según (López, G., & Arciniegas, 2004), la comprensión lectora es ese sentido

de interés que lleva al lector durante un camino de aprendizaje mediante el cual la

interacción con el texto le permite a las personas tomar una posición clara frente al

texto leído; por supuesto que esta serie de pasos así como el acto de leer llevan

consigo varios subprocesos o incluso procesos superiores inmersos que permiten

al lector tomar una posición frente al texto con autonomía de opinión, desde lo que

Page 29: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

él mismo conoce del tema o lo que le genera interrogantes sobre lo que desconoce,

y finalmente permite que el lector se adentre más y más en el proceso de

aprendizaje o por lo menos en el de comprensión del tema abordado que resultó de

interés en la lectura.

Algo que se ha evidenciado, en los estudiantes que ingresan a la Universidad

y que ingresan a carreras que por demás tienen un alto esfuerzo en cuanto al

aprendizaje a través de la lectura, en el examen de ingreso que se realiza en las

universidades, es que el nivel de lectura con el que ingresan los estudiantes es

deficiente, esto partiendo de los resultados de las pruebas Saber11 que presentan

como requisito de inscripción a un programa académico, o por lo menos con un nivel

por debajo del esperado para los estudiantes que ingresan a programas como

psicología donde la comprensión lectora es fundamental en el proceso de

aprendizaje, sin desconocer que en las demás áreas de conocimiento la lectura

también es fundamental.

El abordaje que se realiza durante el desarrollo del programa a diferentes

textos, con temáticas psicológicas, filosóficas, biológicas, sociales, ontológicas e

incluso de naturaleza matemática (estadística) y jurídica, se convierten en un

problema para el estudiante que empieza a ver como un obstáculo las lecturas que

le son asignadas en las diferentes clases, pues en muchas ocasiones no tienen las

bases para la comprensión del material. Por ello el desarrollo de estas habilidades

(si no se poseen), es de vital importancia para el aprendizaje real que el estudiante

de cualquier programa debería tener e incluso con el que el futuro bachiller debería

contar para su vida laboral y académica.

Page 30: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

En cuanto al nivel de lectura crítica, se abordarán dos de los aspectos

importantes para evidenciar un aprendizaje; síntesis y comprensión.

En la educación superior colombiana se ha evidenciado mediante los

resultados de las pruebas PISA realizadas por la (OCDE, 2016) aplicadas en el año

2015; que una de las debilidades académicas encontradas en dicho examen en los

estudiantes colombianos de las instituciones educativas es la lectura. Esto lleva

consigo la necesidad de identificar el origen de la falla en esta competencia tan

importante para un mundo tan comunicado y globalizado como el actual.

En el mundo laboral, el ser competente es algo primordial para acceder a

trabajos mejor remunerados, más estables en el tiempo, y por demás los que mejor

calidad de vida le pueden brindar una persona que se forma en la educación

superior, o que ingresa a la misma esperando mejorar su calidad de vida, como se

demuestra en los exámenes de estado Prueba Saber 11 para educación media. Se

evidenció en estas pruebas de los últimos años, que la competencia de lectura,

como elemento presente de forma transversal en el proceso de aprendizaje y por

demás necesario; un desempeño en los estudiantes aspirantes a los programas de

educación superior del país que está por debajo de la media y que al ingresar a la

Universidad este problema se hace más evidente pues como lo dice la (UNESCO,

2015), el no saber leer no le permite conocer el mundo, además de limitar su actuar

en sociedad.

Su ingreso a la universidad, demanda unas competencias básicas en los

estudiantes que se espera que desde la educación media ya posean; pero al

ingresar a los primeros semestres de los programas universitarios se encuentran en

desventaja frente a los que si poseen dichas competencias y ello se ve evidenciado

Page 31: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

tanto en el aprendizaje como en la motivación a continuar estudiando al ver que el

proceso de aprendizaje no es el esperado, no por falta de ganas de aprender sino

porque no vienen con las herramientas formativas desde la educación media que

les permitan aprender con eficiencia.

Lo anterior, se ha convertido en una necesidad emergente y permanente en

las instituciones de educación superior. Los programas universitarios trabajan en

reforzar o generar según sea el caso, en sus aspirantes estas herramientas y

aunque se han tomado medidas con el pasar de los años, no sólo en el país sino en

el mundo entero con mediciones como las que se realizan con las pruebas PISA,

donde las competencias de los estudiantes son puestas a prueba en cuanto a

conocimiento y a aplicación de lo aprendido.

Se ha evidenciado en el caso de nuestro país que aún hay mucho más por

hacer para mejorar en las diferentes competencias que se evalúan y que al final del

ciclo académico de la educación media y durante el tiempo de estudio en educación

superior, el estudiante debe evidenciar no sólo en los resultados académicos que

se reflejan en las notas, sino en elementos más dicientes como el conocimiento

aplicado que podrá evidenciar lo aprendido en su formación.

En el país este importante trabajo se ha realizado desde dos aristas que si

bien son con el mismo fin se trabajan en diferentes ámbitos y momentos de

formación. Por un lado en el nivel de formación media tenemos la prueba Saber 11,

y por parte de la Educación Superior tenemos la prueba Saber Pro, que al igual que

la Saber 11 ha tenido significativos cambios en la forma en que evalúan las

competencias de los estudiantes, generando cambios en los exámenes en cuanto

a contenidos y al tipo de información que esperan evidenciar del estudiante. Es y

Page 32: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

seguirá siendo una tarea de largo aliento para encontrar fortalezas en los resultados

más que puntos por mejorar, por ello la elaboración del instrumento de esta

investigación tiene esa finalidad como herramienta que permita diagnosticar el

estado en el que el estudiante ingresa y evidenciar en él los elementos que puede

mejorar para su formación académica.

La calidad académica de los estudiantes y egresados se ve puesta a prueba

incluso en las pruebas de selección de personal; en donde pruebas psicotécnicas,

pruebas estandarizadas o realizadas por la misma entidad contratante pueden

significar un no rotundo si el desempeño en la prueba no es el adecuado según los

problemas planteados en la entrevista, y que muchas veces por factores como la

ansiedad, el desconocimiento de los temas o un mal proceso de comprensión

lectora los lleva a malos resultados en las pruebas (que en ocasiones contienen

textos cuyo contenido son situaciones reales a las que se puede ver expuesto el

aspirante al cargo). Evidencian una falta de comprensión de la situación expuesta,

si son problemas de comprensión de la prueba (cada ítem preguntado y la forma en

que es presentado), o si son problemas motivacionales o de ansiedad que impiden

que el aspirante esté en las condiciones adecuadas para enfrentarse a la situación

que le es expuesta.

Es por ello que la propuesta de investigación estuvo encaminada en

desarrollar un instrumento que permitiera diagnosticar el problema de la lectura

crítica en estudiantes universitarios como un proceso necesario que a su vez dará

un panorama a los programas universitarios acerca de cuál es la naturaleza de las

dificultades con las que viene el estudiante, analizando si el problema es de

comprensión del contenido local o global de los textos abordados o una falta de

Page 33: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

articulación de estos contenidos o interpretación de los mismos, que son las

competencias que se evalúan en la Prueba Saber Pro (ICFES, 2016) y que son las

que un lector crítico debe tener, o si por el contrario el problema tiene otro origen

que aún no ha sido contemplado.

Por lo anterior por medio de las teorías de Robert Mislevy (Mislevy et al.,

2003), y sus postulados sobre el desarrollo de evaluaciones centradas en la

evidencia se trabajará desde el Marco de Evaluación Conceptual (MEC).

El diseño metodológico bajo el cual se llevó a cabo esta investigación es el

diseño basado en la evidencia bajo el cual se tienen en cuenta dos elementos

principales para el proceso de evaluación: El MEC (Marco de Evaluación

Conceptual) en el que los objetos que se plantean en la evaluación deben haber

sido diseñados con el fin de responder a los propósitos de la evaluación (Mislevy,

Almond, & Lukas, 2003).

Como menciona (Mislevy et al., 2003): El diseño centrado en evidencias

sustenta a nivel general varios tipos de evaluación que van desde pruebas en el

aula, pasando por interacciones entre el tutor y el estudiante que permiten recoger

a partir de modelos estadísticos los resultados de la evaluación encontrando la

función para la cual fueron creados los ítems. Adicionalmente, marca un esquema

de cómo se diseña la evaluación teniendo en cuenta: La evaluación centrada en

conceptos que se preguntan sobre campos de conocimiento específico, habilidades

u otro atributo que debe ser evaluado.

Luego de revisar estos conceptos, a qué objetivos de la enseñanza se

encuentran vinculados y cómo estos están explícitos o implícitos dentro de la

evaluación se da un proceso de orientación de la misma. De esta forma la

Page 34: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

construcción de la evaluación se orienta a la selección de tareas pertinentes de

evaluar así como a un desarrollo racional que permita a partir de ciertos criterios e

instrucciones revelar el puntaje adecuado basado en la evaluación de los conceptos

(Mislevy et al., 2003).

Por otra parte, tenemos los cuatro procesos principales del ciclo de

evaluación nombrados a continuación (Mislevy et al., 2003):

1. La selección de las actividades a evaluar por medio de una tarea, un

conjunto de ítems, o de otras actividades.

2. Cuando el estudiante ha trabajado en el ítem, el proceso siguiente se

plasma en un "producto del trabajo" que se envía para el procesamiento de las

respuestas.

3. Seguido a esto se realiza un proceso sumario que realiza la asignación del

puntaje resultante de las respuestas.

4. Se actualizará el registro del puntaje de modo tal que se hace un

seguimiento cercano sobre las creencias que se tienen sobre el conocimiento del

participante.

El MEC (Marco de Evaluación Conceptual) ofrece respuesta a preguntas

importantes que se señalan como modelos:

Un Modelo de Estudiante (¿Que estamos midiendo?): Como menciona

(Mislevy et al., 2003), presenta la o las variables que se relacionan con el

conocimiento que se desea medir. Un modelo de estudiante sencillo mostrará en

términos generales la capacidad del estudiante en términos del dominio de una

temática y las tareas relacionadas con la misma a las cuales lo esperado y más

probable es que responda correctamente.

Page 35: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Cómo lo medimos: El Modelo de Evidencia.

En el modelo de evidencia se detallan dos partes de las cuales se dan

funciones particulares al argumento de la evaluación:

Las reglas de evidencia: Que por medio de las variables observables

sintetizan el desempeño de un estudiante ante una determinada tarea, ello a partir

de lo que se encuentra anteriormente como producto del trabajo que se realizó para

esa tarea. Como menciona (Mislevy et al., 2003): "Es importante señalar que las

reglas de evidencia se refieren a la identificación y síntesis de la evidencia dentro

de tareas, en términos de variables observables".

Modelo de medición: se refiere al proceso de acumulación y síntesis de las

evidencias en las diferentes tareas que le fueron asignadas al estudiante, en

términos de las variables del modelo de estudiante mencionado anteriormente

(Mislevy et al., 2003).

Dónde lo medimos: el Modelo de Tareas

Describe como estructurar las situaciones necesarias para los tipos de

evidencia necesarias para los modelos de evidencia; "Presentación del material que

se le muestra a la persona que será examinada" (Mislevy et al., 2003).

Cuánto necesitamos medir: El modelo de ensamblaje

Describe cómo deben funcionar conjuntamente los modelos de estudiante,

de evidencia y de tareas para conformar la estructura psicométrica de la evaluación

(Mislevy et al., 2003).

Cómo se ve: El modelo de presentación

Page 36: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Se refiere a los tipos de presentación en los cuales se da la evaluación, sea

de forma tradicional lápiz y papel, o en computador. Valga aclarar que dependiendo

del tipo de presentación requerirá de unas especificaciones que clarifiquen la tarea,

como plantillas o instrucciones que acompañen a la misma (Mislevy et al., 2003).

Armar todo: El modelo de sistema de entrega

Recoge todos los modelos anteriores y toma de los mismos los elementos

importantes que serán tenidos en cuenta para dar diferentes configuraciones según

el propósito de la evaluación. Por ejemplo para el caso de una evaluación

diagnóstica los modelos de tareas serán diferentes y lo suficientemente explícitos

para cada caso pero los modelos de evidencia serán muy similares (Mislevy et al.,

2003).

Arquitectura de cuatro procesos

Proceso de presentación: Se refiere a como se establece la interacción con

la persona que será examinada, para el caso de los participantes de la investigación,

será la interacción estudiante-evaluador. Para esta etapa se tiene en cuenta la

modalidad de evaluación a partir del tipo de material que será usado para evaluar.

Es decir, si es evaluación de lápiz y papel, o si es una explicación oral de la

evaluación y en casos más recientes y consecuentes con la evolución tecnológica,

el enviar la evaluación a los correos para que sea respondida electrónicamente

(Mislevy et al., 2003).

Procesamiento de respuestas: Esta etapa se encarga de la identificación

de los rasgos característicos de las respuestas que son el producto de trabajo y que

Page 37: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

son observadas en una tarea determinada. Estos puntajes pueden seguir 2

caminos: El regresarse al evaluado como parte del proceso de realimentación o

pasar con la asignación del puntaje. El ejemplo claro de esta etapa de evaluación

sería el contrastar la respuesta obtenida del participante contra la rúbrica de

calificación y las claves de respuesta que hayan sido especificadas (Mislevy et al.,

2003).

Asignación sumaria del puntaje: Es el encargado de acumular los

resultados observables de las diferentes tareas y que los mismos respondan a

puntuaciones clasificatorias de acuerdo con la naturaleza del punto evaluado y la

sección a la que corresponde (Mislevy et al., 2003).

Selección de actividades: En este proceso es importante decidir el camino

a seguir: Si detener la evaluación o si debe continuar en otra etapa de la misma. En

este proceso se establece un orden independientemente de la libertad del evaluado

de escoger un orden diferente de resolver los ítems de la prueba (Mislevy et al.,

2003).

Justificación y Planteamiento del Problema

La situación actual de la educación en Colombia evidencia problemas que

son necesarios trabajar desde los diferentes niveles de formación, como se observa

en los resultados de las pruebas Saber 11 y PISA, así como el examen para

Educación Superior conocido como Saber Pro, han evidenciado en los estudiantes

dificultades en las diferentes competencias que evalúan estos exámenes, como en

Page 38: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

la más reciente aplicación de la prueba PISA que se realizó en el año 2018 y tuvo

la publicación de los mismos a finales de 2019; evidenció en los resultados que

Colombia (412 puntos en la competencia de lectura) frente a los puntajes de los

diferentes países participantes está aún lejos de un buen nivel. Colombia se

encuentra rezagado a los últimos lugares del ranking habiendo disminuido incluso

frente a la anterior presentación del examen en 2015(como lo encontrado en los

resultados de las prueba PISA) en el puesto 58 en lectura crítica de 79 países

participantes, en comparación con países como China, Singapur y Macao que

ocupan los primeros lugares e incluso sólo por encima de países de Latinoamérica

como Perú, Panamá y República Dominicana.

Colombia mediante las pruebas Saber 11 realizada por el Ministerio de

Educación Nacional (MEN) ha visto evidenciada la lectura crítica como una

competencia en la que los estudiantes que culminan su proceso de educación media

presentan grandes problemas. Sí es una competencia que tiene gran importancia

pues la misma es transversal a las demás áreas del conocimiento y por tanto es

competencia básica que todo estudiante de educación superior debe poseer, pero

que evidentemente tanto en los exámenes de estado, como en las pruebas

internacionales los resultados no han sido los más positivos ni alentadores para el

contexto colombiano.

La lectura crítica, se entiende como el proceso mediante el cual se realiza

una comprensión significativa de un texto, y a su vez se realiza un proceso de

apropiación del mismo teniendo como resultado la interpretación de lo leído y

llevando la aplicación de dicho aprendizaje al contexto de la realidad en el que se

encuentra inmerso el lector (Guarín Pérez & Hospital Celis, 2014).

Page 39: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Como lo menciona (Méndez Rendón, Espinal Patiño, Arbeláez Vera, Gómez

Gómez, & Serna Aristizábal, 2014), los bajos niveles educativos, o bajos niveles de

la calidad de la educación se deben en una buena medida a la habilidad no presente

que los estudiantes tienen para leer adecuadamente un texto. Esto lleva a un

análisis más profundo del problema y es cuales son aquellos factores que están

perjudicando la calidad de la educación y porque la lectura es uno de ellos.

La lectura se convierte pues en el eje central de esta investigación pues su

puesta en práctica no sólo transforma individuos sino sociedades. Como lo

demuestra la prueba PISA en (2018) y que arrojó datos interesantes acerca de los

países con un grado más alto en cuanto al nivel académico de sus estudiantes, esto

en referencia a nuevos modelos educativos y nuevas metodologías de enseñanza,

como el no dejar tareas para la casa, o el aprendizaje centrado en los intereses de

los estudiantes donde la base del conocimiento es la motivación por el aprender que

tiene el alumno.

Como ya se mencionó anteriormente Colombia se encuentra rezagada frente

a otros países, pero además este informe arrojó otras variables que pueden

considerarse representativas para la explicación de los resultados, como lo es el

tema de la equidad social. Al respecto, factores como el efecto del origen social y la

resiliencia juegan un papel importante en el cómo asume el estudiante su

desempeño en la escuela, pues desde la OCDE se sugiere que sin importar el

origen social o el nivel de formación de los estudiantes se debe promover la buena

educación. Además, los resultados la lectura se han mantenido estables desde 2006

en la OCDE (Organización para la Cooperación y Desarrollo Económicos).

Page 40: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Por ello, como parte del objetivo es detectar las dificultades de lectura crítica

en estudiantes universitarios por medio de una prueba de lectura que se realizó a

partir de las teorías del aprendizaje establecidas por Howard Gardner en su libro

Las 5 mentes del futuro.

En el libro de las mentes del futuro Gardner (2005), hace alusión a la mente

sintética que, según Gardner (2005), se remonta a los orígenes del hombre como

elemento transformador y trascendental del aprendizaje por medio del conocimiento

acumulado. Donde todo el conocimiento adquirido fue de manera serial y se

acumulaba en las culturas y que en principio era transmitido por tradición oral hasta

la llegada de la imprenta. También es de aclarar que, por ejemplo, por medio de la

pintura rupestre se transmitía conocimiento valioso para las comunidades nómadas

que poblaron el mundo.

Aunque la pintura rupestre no era un aprendizaje serial en su modo más

claro, debido a las diversas dinámicas de vida de esas épocas, mucho del

conocimiento se perdía por los problemas que acaecían en el mundo: cambios

climáticos y el que el ser humano antes de la formación de las civilizaciones eran

esencialmente nómadas y por ello parte del conocimiento que se transmitía corría

el riesgo de perderse en ausencia de ese proceso de transmisión oral y por demás

escrito que se empezó a dar con la llegada de la escritura a la cultura de las

diferentes sociedades.

Gardner (2005) menciona lo que afirma el físico ganador del premio Nobel

en 1969, Murray Gell-Mann, en el sentido que las mentes que serían más valiosas

para el mundo son aquellas que supieran sintetizar. Este proceso de síntesis no es

un proceso que todo lector sabe realizar, pues va más allá de la lectura superficial

Page 41: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

que es la que cualquier persona alfabetizada posee normalmente. En procesos

como el manejo militar de información, donde la recopilación, procesamiento de

datos, tácticas y toma de decisiones de forma estratégica se convierten en un plus

innegable que si se desarrolla, resulta un instrumento útil para la práctica del mando

y la correcta toma de decisiones (Gardner, 2005).

En la formación de la educación media como en la Educación Superior, se

evidencian varios factores que son relevantes y representativos en el proceso de

comprensión y aprendizaje.

En la educación media se enseñó a “leer” de forma superficial, pues el

estudiante no se preocupa por comprender lo leído y tener una posición propia de

ello, sino sólo realiza el proceso mecánico esperando que las palabras den

respuesta a las preguntas que tiene. Por esto no saca provecho de otras

herramientas que le podrían ser útiles para su desarrollo personal y su vida

profesional (si dentro de sus aspiraciones está el ingreso a un programa de

educación superior) en donde, el comprender bien lo que se comunica se vuelve

esencial para la consecución de los objetivos de vida que se pueden plantear.

Según la publicación “Al Tablero” del Ministerio de Educación Nacional (MEN,

2007), las diferentes fuentes de información de las cuales la gente se alimenta han

cambiado con el pasar de los años, pues incluso en 2006 por primera vez los medios

digitales de información sobrepasaron a los medios escritos físicos como fuentes de

información y consulta de las personas. Según señal Digital Life (2006, citado por

MEN, 2007) los menores de 18 años le dedican en promedio 14 horas semanales

al consumo de información en medios digitales, 12 horas en promedio a la televisión,

6 horas a la radio y 2 horas a otros medios como periódicos, revistas y cine.

Page 42: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Por lo anterior, el diseño de la herramienta diagnóstica de la competencia de

síntesis brinda aportes al entender cómo se relacionan los elementos del

aprendizaje, particularmente la síntesis y la comprensión lectora y que haga

especial énfasis en la síntesis como elemento que permite al estudiante compilar

procesar y expresar su conocimiento de forma adecuada dependiendo de la

situación en la que lo necesite, sin importar si el volumen de información que está

intentando sintetizar.

Es relevante considerar desde una perspectiva mundial, los cambios y

esfuerzos que se han llevado a cabo por los diferentes países del mundo, en

especial en América Latina por disminuir las cifras de niños que no se encuentran

escolarizados. En el reporte de la (UNESCO, 2000a) sobre la calidad de la

educación se expresa un claro avance en este aspecto que no es una disminución

paulatina de la desescolarización sino que es tan tajante que en 8 años (1990-1998)

se pasó de una cifra aproximada de 11,4 millones de niños no escolarizados en

1990 a 4,8 millones en 1998. Evidentemente con estas cifras se evidencia que en

la década de los 90’s se trabajó arduamente en todo el mundo por disminuir la

brecha de educación en la que se ven involucrados los niños y niñas de todo el

mundo.

A pesar de ello, aún hay un gran trabajo por hacer desde las aulas de clase

y aún más importante desde el pensamiento de los padres y madres de familia, que

al encontrar dificultades en el acceso a una educación de calidad para sus hijos,

optan porque ellos no generen un proyecto de vida que los haga felices pensando

en un aprendizaje significativo, sino que hacen que sus hijos se piensen a sí mismos

como integrantes de la sociedad que vienen a servir a otros y que no necesitan

Page 43: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

aprender algo en concreto, sino sólo trabajar en tareas u oficios que muchas veces

son mal remunerados y en donde el empleador cree tener "poder" sobre ellos por

poseer el conocimiento. En la realidad se debe buscar disminuir esa brecha de

saberes que se enmarcan en el disminuir la falta de escolarización en todo el

mundo.

Como lo mencionan en el Foro Mundial sobre la Educación que se llevó a

cabo en Senegal, la calidad de la educación no debería verse afectada por cuenta

del aumento en el acceso a la educación; de igual forma como no se deben

beneficiar en mayor medida con la educación aquellos que tienen una calidad

económica mejor que otros. (UNESCO, 2000b).

Uno de los objetivos que se plantearon en el foro mundial sobre la educación

se centraba en que los menos favorecidos y los que pertenecieran a minorías

étnicas se les garantizara educación gratuita y de calidad (UNESCO, 2000b), cosa

que, en el país, aunque se han hecho grandes esfuerzos aún estos son insuficientes

para dar cubrimiento a la demanda de niños y niñas del país que se encuentran en

situación de vulnerabilidad y que por diversas situaciones de índole social no tienen

la posibilidad de acceder a la educación básica y mucho menos a una educación de

calidad.

Los avances han sido significativos como se evidencia en el informe de

Educación para todos (2000-2015) (UNESCO, 2015), donde reportan que Colombia

ha implementado una sustancial asistencia a la primera infancia con el programa

“desde cero hasta siempre”, donde a los niños menores de 5 años de las familias

de más bajos recursos han empezado a recibir servicios integrales de atención en

la primera infancia, así como se pasó a un 42% en población infante que son

Page 44: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

cuidados en guarderías. Aunque es un avance muy positivo el informe también

recalca que la subcontratación de los suministros, abre una brecha en la calidad de

las contrataciones y en lo que les ofrecen en materia de calidad de uniformes, por

poner un ejemplo.

A pesar de todos estos esfuerzos realizados por la mayoría de los países

incluido Colombia, es evidente que a pesar de que se considera a la lectura como

una herramienta muy importante en los procesos de aprendizaje (OCDE, 2018;

ICFES, 2016), la tradición muestra que la evaluación de esta capacidad se ha

concentrado en un manejo gramatical de la lengua (al inicio), para luego

concentrarse en lo que se denominó aptitud verbal para pasar a la evaluación de la

comprensión lectora (por ejemplo las pruebas SABER del ICFES durante la última

década del siglo XX) para finalmente concentrase en lo que se ha denominado

lectura crítica (ICFES, 2016) sin incluir, en ningún momento la evaluación de

capacidades muy importantes relacionadas con la lectura y la escritura (por ejemplo

la síntesis), como se plantea en el presente trabajo.

Las evaluaciones más reconocidas en el mundo como el

(Scholastic Assessment Test) conocido como SAT incluyen como parte de la prueba

el tema de la lectura crítica, pero no incluye la evaluación de la capacidad de

síntesis, igual sucede con pruebas como la saber 11 del ICFES (2016).

Claro que surge una pregunta en este sentido. ¿Por qué debería incluirse a

la síntesis como parte de la lectura crítica? Gardner (2006) plantea que relacionarse

con el conocimiento es una cosa, pero comprenderlo y ponerle orden es algo mucho

más complejo y define la competencia de síntesis como la capacidad para asimilar

una gran cantidad de información, valorarla para determinar su pertinencia y

Page 45: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

relevancia (dos de los elementos centrales de la definición de calidad de la

UNESCO), lo que lleva a colocar esa gran cantidad de información en forma

sintética para que una audiencia pueda utilizarla.

Resulta entonces importante, evaluar en diferentes momentos del proceso

de aprendizaje, la comprensión crítica que se tiene de lo leído y la capacidad para

reconocer buenas formas de destacar lo relevante y pertinente (síntesis). En este

sentido, el ICFES (Instituto colombiano para el fomento de la educación superior)

publicó en el 2018 un cuadernillo de preguntas de lectura crítica elaborado para la

prueba de saber 11 (ICFES, 2018), es decir con las características y contenidos

propios para evaluar estudiantes que terminan su formación media (grado 11). Bajo

las condiciones planteadas en este proyecto, resulta adecuado utilizar para la

evaluación de la lectura crítica en estudiantes que recién ingresan a la educación

superior. No obstante, en este cuadernillo de preguntas no se evalúa la competencia

de síntesis, como ya se ha mencionado.

El uso de una evaluación con preguntas desarrolladas por una entidad de

alta trayectoria y reconocida calidad en el tema de la evaluación, permitirá

corroborar el planteamiento que la síntesis sí forma parte integral de la lectura

crítica, al analizar la información obtenida con algunas de las preguntas del

cuadernillo del ICFES (Instituto colombiano para el fomento de la educación

superior) en contraste con el análisis de la información obtenida con las preguntas

de síntesis diseñadas para la presente investigación. Adicionalmente, la prueba de

lectura crítica del ICFES presentada por los participantes se utilizó como una fuente

de validez externa de la prueba de síntesis diseñada en el proyecto.

Page 46: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Al aplicar esta evaluación a estudiantes que se encuentran en los primeros

semestres de educación superior, se podrá realizar un diagnóstico del nivel de

lectura con miras a plantear alternativas de formación que contribuyan a mejorar las

capacidades de lectura orientadas a la adquisición de conocimientos de manera

eficiente y efectiva.

Pregunta de investigación

Considerando que no hay pruebas que existan para medir síntesis, el

propósito central se orienta a crear la prueba completa y además de ello durante la

creación del instrumento se obtienen los indicadores psicométricos necesarios para

ver si la creación de la prueba es correcta, así que la pregunta de investigación que

se plantea es: ¿Cómo evaluar la competencia de síntesis como elemento integral

de la lectura crítica en estudiantes de educación superior?

Objetivos

Objetivo general

Diseñar un instrumento que evalúe la competencia de síntesis como

elemento integral de la lectura crítica en estudiantes de educación superior cuyos

resultados puedan ser utilizados de manera que se realice un diagnóstico de la

capacidad de lectura de quienes se encuentran en este nivel educativo, utilizando

la metodología de evaluaciones centrada en evidencias.

Page 47: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Objetivos Específicos

Realizar un análisis documental para establecer la relación entre la

competencia de síntesis y las demás competencias de lectura crítica planteadas en

las pruebas saber del ICFES.

Validar con jueces la estructura de afirmaciones, evidencias y tareas que se

proponga para el instrumento de la competencia de síntesis.

Confirmar la integralidad de la lectura crítica incluyendo a la competencia de

síntesis, utilizando modelos de ecuaciones estructurales.

Establecer la confiabilidad, ajuste de los ítems al modelo y dimensionalidad

de la prueba; con base en los planteamientos del modelo de Rasch.

Diseñar una escala de desempeños para la producción de resultados a partir

de las puntuaciones obtenidas con el instrumento de tal manera que se pueda

realizar un diagnóstico más completo sobre las fortalezas y dificultades en la lectura

crítica.

Método

Tipo de Investigación y Diseño

De acuerdo con (Montero & León, 2007) la investigación se define como

Empírica cuantitativa instrumental debido a que se trata de un diseño de un

instrumento y su análisis técnico psicométrico el cual se llevó a cabo con la

evaluación de jueces expertos.

Para el análisis técnico del instrumento, la prueba fue diseñada con los

principios de bloques balanceados incompletos: Este principio hace referencia a que

se da una tolerancia a los espacios faltantes (datos) dentro de una prueba, lo que

Page 48: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

quiere decir que no todo el conjunto de elementos es de obligatoria respuesta por

parte del evaluado. Esto a su vez permite eliminar o disminuir la duda razonable que

se puede generar por esta forma de solución o respuesta a la aplicación como lo

explica Montesinos, Luna, Franco, Pastrana & Buenrostro, (2019).

Participantes

Los participantes para la investigación fueron los estudiantes que se

encuentran en los primeros semestres de los programas académicos de Educación

Superior de una universidad privada de la ciudad de Bogotá, de las facultades de

Psicología cuya formación profesional está en las categorías 03 y 07 de CINE

(DANE, 2013) que corresponden a ciencias sociales (donde pertenece el programa

de psicología) y estudiantes de primeros semestre de ingeniería de sistemas

convocados de manera voluntaria con una muestra de 250 estudiantes.

Fueron participantes voluntarios de la investigación y a los cuales

previamente se les explicó el objetivo del estudio así como se les garantizó la

reserva de la información con fines académicos y científicos y cuyos resultados

serán publicados únicamente con fines de resultado diagnóstico para esta

investigación protegiendo la identidad de los participantes pues no se almacena en

la base de datos ni en ninguna parte del informe el nombre del participante ni ningún

dato que permita identificarlo plenamente más allá de datos básicos socio-

demográficos como edad y sexo.

Page 49: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Instrumentos

Para este caso el instrumento fue diseñado a partir de los referentes teóricos

encontrados y los pasos sugeridos por (Mislevy et al., 2003) por medio de la Teoría

de Respuesta al Ítem (TRI), para el diseño de pruebas centrado en evidencia.

Variables de análisis

Lectura crítica

(Díaz et al., 2015) mencionan que el proceso de lectura crítica es una de las

etapas o niveles de la lectura más importantes dado que conlleva más elementos

de análisis que le permiten al lector realizar una lectura basada, no solo en su

conocimiento sino en lo que significa lo aprendido y como puede darle uso a ello en

uno u otro contexto. Es necesario un mayor esfuerzo del lector por conocer el tema

a profundidad, pues esto le permite tener claros los elementos con los cuales emitirá

un juicio sobre lo leído y que le permita inferir los elementos más importantes de la

lectura realizada. Al ser necesarios mayores esfuerzos cognitivos, el aprendizaje

del lector se verá reflejado no solo en su conocimiento general en el tema, sino que

podrá dar apreciaciones más claras, importantes y valiosas sobre lo leído.

Síntesis

La síntesis implica selección de contenidos relevantes provenientes de

diversos textos abordados durante el proceso de lectura, o incluso puede ser de uno

sólo. La ventaja que tiene la síntesis respecto a otras formas de escritura es que

recoge e integra las ideas y argumentos de diversos autores, lo cual permite sacar

lo más importante de ellos en cuanto a expresar la idea principal que se quiere

conocer del texto (Vázquez, 2017).

Page 50: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Hipótesis

Figura1. Estructura de hipótesis respecto a las preguntas de síntesis

Fuente: Elaboración propia

En la figura 1 se encuentra la estructura de hipótesis que se planteó para

este proyecto y que se analizó con ecuaciones estructurales. El planteamiento es

que no hay relación entre las preguntas y la síntesis, considerando que el resultado

de lectura Crítica involucra otros elementos como identificar, reflexionar y

comprender y no el de sintetizar.

Procedimiento

El procedimiento llevado a cabo está fundamentado en la metodología

planteada por (Mislevy et al., 2003) para el diseño de instrumentos centrados en las

evidencias, en el cual cada elemento que constituye la ejecución de la prueba, dará

cuenta de particularidades que permiten responder de forma clara a las intenciones

que se tienen con la investigación.

Page 51: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Para el desarrollo de esta investigación se presentan dos aspectos del

procedimiento: a) Fases de desarrollo y b) explicitación del diseño de las

evaluaciones centradas en evidencias.

a). Fases del desarrollo del proyecto.

Fase1. Diseño centrado en evidencias de la competencia de síntesis.

Para esta fase se trabajó con la fundamentación teórica de medición de

análisis con la Teoría de Respuesta al Ítem (TRI), a partir de la cual se tienen en

cuenta los tres supuestos básicos de esta (Serce, 2010):

Dimensionalidad

Se requiere que la medición de cada ítem responda a una sola habilidad en

su medición (Serce, 2010).

Independencia Local

Se refiere a esa autonomía del texto mediante la cual el estudiante no tiene

que tomar en cuenta otros textos para la solución del ítem que está siendo evaluado,

y por tanto la solución del ítem entregada por el estudiante no debe afectar de

manera alguna la respuesta que puede dar en otras preguntas (Serce, 2010)

Curvas características de ítems (CCI)

Es la función matemática que relaciona la probabilidad de éxito de respuesta

a una pregunta con la habilidad para responderla (Serce, 2010).

El modelo de la (TRI) que fue utilizado es el modelo de Rasch que establece

que la probabilidad de respuesta de los participantes ante un estímulo dado

depende de la diferencia entre la media del rasgo de la persona y la media del

estímulo utilizado (Serce, 2010).

Page 52: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Indicadores estadísticos para el análisis de ítems

El proceso de análisis de los ítems estuvo encaminado a determinar factores

como la inclusión, exclusión o modificación de ítems a partir de la identificación de

posibles problemas que puedan ser detectados en ellos (Serce, 2010).

Para el análisis de los ítems los elementos que se tuvieron en cuenta fueron:

Dificultad

Definición: Indican la posición en la curva de dificultad del ítem respecto a la

habilidad que está siendo evaluada, entre más a la derecha y arriba se encuentre

mayor dificultad tendrá el ítem que está siendo evaluado (Serce, 2010).

Justificación de uso: Como uno de los parámetros principales de los modelos

de la teoría de respuesta al ítem, es tenido en cuenta de forma importante para la

organización de bancos de ítems, así como la compatibilidad de escalas (Serce,

2010).

Interpretación: Los valores se establecen en cuanto a que si son valores

positivos y altos indican una dificultad alta y si son negativos y bajos indican una

baja dificultad en el ítem.

Criterio de aceptación: Se realiza mediante el análisis de respuesta de la

prueba, si los valores de dificultad corresponden con los valores de habilidad

de la población que es evaluada.

La prueba estuvo compuesta por 16 preguntas seleccionadas a partir de los

criterios utilizados por el ICFES (Instituto colombiano para el fomento de la

educación superior) (fue utilizada parte de la prueba del ICFES en cuanto a los

resultados de la prueba de Lectura crítica de los participantes) y se crearon nuevos

ítems que permitieron evaluar la competencia de síntesis en los participantes de la

Page 53: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

investigación y cuyos textos de evaluación fueron verificados a través de Lexile para

corroborar el nivel sintáctico y gramatical de los textos que utilizados.

b. Explicitación del diseño de las evaluaciones centradas en evidencias.

El diseño centrado en evidencias DCE según (Toro Baquero & Amado, 2018),

tiene como objetivos que se muestren con suficiencia la estructura argumental de

una prueba bajo el orden de las demostraciones resultantes de la misma; y de este

modo se comprueba que la evidencia esté en concordancia con los propósitos que

la prueba pretende cumplir.

En síntesis, respecto al DCE (Diseño Centrado en Evidencias) se puede

indicar que es una serie de etapas o prácticas que definen los procesos de diseño,

desarrollo y uso de los instrumentos que están relacionados lógicamente. Este tipo

de procedimientos del DCE permite dar validez a las inferencias que se pueden

hacer a partir de los resultados de las pruebas; así como determinar cómo proveer

la evidencia para sustentar los resultados de la prueba, teniendo en cuenta por

supuesto, las limitaciones y dificultades del instrumento.

Figura 2. Modelo usado actualmente en el diseño de pruebas en el Icfes

Page 54: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Fuente: Tomado de la Guía Introductoria al Diseño Centrado en Evidencias 2018

Como se puede observar en la figura 2 se establecen 4 estratos o niveles de

lo que se compone el método de DCE (Diseño Centrado en Evidencias), como a

continuación se especifica:

Para el DCE (Diseño Centrado en Evidencias), lo primero que se debe tener

en cuenta es el Dominio de la prueba:

Dominio

En pocas palabras el propósito de la pruebas, qué esperamos que evalúe la

prueba a partir de los conocimientos, habilidades y Destrezas, en adelante CHD que

evidencia el evaluado al final de la presentación de la prueba (Toro Baquero &

Amado, 2018).

Afirmaciones

Se define que es posible decir sobre las CHD de los evaluados, es decir: las

afirmaciones son el modo de comunicar las conclusiones a las que se puede llegar

a partir de la puntuación de la prueba (Toro Baquero & Amado, 2018).

Page 55: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Evidencias

Se definen las evidencias necesarias para dar sustento a las afirmaciones

anteriormente desarrolladas. (Toro Baquero & Amado, 2018).

Se deben tener en cuenta dos elementos importantes al plantear las

evidencias que se esperan encontrar:

En primera instancia que no todos los aspectos de una conducta son

observables, y por tanto no podrían ser sustento de la afirmación.

Segundo, un mismo producto, o conducta observable puede responder o

servir de sustento a más de una afirmación (Toro Baquero & Amado, 2018).

Tareas

En este elemento se describen las situaciones definidas (que serán

problemáticas) para el evaluado, y que como resultado harán uso de las evidencias

definidas anteriormente por la prueba, y que creará un ambiente propicio para dar

solución a un problema que dará cuenta de la habilidad del evaluado (Toro Baquero

& Amado, 2018).

Fase 2. Elaboración y diseño de los ítems: Para diseñar un ítem se toma

primero la tarea que se planteó, la estructura del ítem debe ser de selección múltiple

con única respuesta eso implica que tenga tres componentes:

Afirmaciones: Que son la expresión general de lo que se quiere y espera

evaluar del texto que está contenido en el ítem como se afirma en (ICFES, 2016).

Evidencias: Son aquellas conductas observables que se puede deducir del

evaluado y que son resultantes de su interacción con las afirmaciones. (ICFES,

2016).

Page 56: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Tareas: Corresponde a las acciones que debe hacer el evaluado para

responder a una pregunta que fue derivada de ese proceso de afirmaciones y

evidencias (ICFES, 2016).

Fase 3. Evaluación y valoración de los jueces expertos: Cuando se hayan

definido con claridad los ítems se procederá con la evaluación del instrumento por

parte de jueces expertos que valorarán la pertinencia y relevancia de cada uno de

los ítems para el cumplimiento del objetivo del instrumento.

Fase 4. Proceso de Ajustes: Se realzarán los ajustes y cambios surgidos de

las recomendaciones de los jueces para dar solidez al instrumento de aplicación.

Fase 5. Se contactará a las direcciones de los programas seleccionados para

la muestra poblacional y así conseguir el permiso respectivo para la aplicación del

instrumento en los estudiantes que ingresarán en el periodo académico 2019-1.

Fase 6. Se realizará la aplicación del piloto de la prueba a los estudiantes

que voluntariamente deseen participar. En caso de no contar con la cantidad

esperada de participantes se procederá con la solicitud de autorización para aplicar

a otras facultades de la misma universidad.

Fase 7. Obtención y análisis de los datos: Una vez terminado el pilotaje del

instrumento se procederá con el análisis de los resultados de la prueba por medio

de un software estadístico que permitirá calificar el desempeño de los participantes

según los parámetros del instrumento.

Fase 8. Análisis de los resultados: De los datos obtenidos del procesamiento

de la información del paquete estadístico se realizará un análisis descriptivo de los

resultados con el fin de tener una interpretación adecuada de los hallazgos del

software estadístico.

Page 57: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

1. Diseño del instrumento

Para el diseño del instrumento se realizó en primer lugar una selección de

artículos de revistas indexadas, y páginas web con información de carácter científico

y social que al ser evaluadas por el sistema Lexile de clasificación gramatical y

sintáctica de los textos estuviesen en un rango superior a los 1200 Lexile para

considerar que son textos de nivel de educación media y superior.

Luego de la selección de los textos se realizó un diseño de las afirmaciones

evidencias y tareas que compondrían cada uno de los ítems de la prueba.

Para la elaboración de la prueba se diseñaron 4 cuestionarios a partir de la

formulación de 16 preguntas de selección múltiple que permitirían evidenciar la

capacidad para identificar la síntesis de los textos según las opciones ofrecidas en

cada pregunta según los ítems diseñados.

Posteriormente, se realizó una clasificación de los ítems, para agruparlos de

forma que se generaron cuatro cuestionarios por medio de la metodología Balanced

Incomplete Block Design , que permite realizar una distribución de las cargas

factoriales de los ítems de la prueba de manera uniforme, (por perfiles) sin tener

que recurrir a la cantidad total de los ítems a aplicar como lo menciona (Huertas-

García, Consolación, Mas-machuca, & Forgas-Coll, 2016).

Resultados

Juicio de expertos

De acuerdo con Linacre (2019), los expertos actúan de manera

independiente para producir valoraciones que se combinan de acuerdo con el

Page 58: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Modelo de Rasch (en este caso) para producir medidas. Los expertos deben ser

cuidadosamente seleccionados de tal manera que valoren, desde su experticia, los

elementos presentados para su juicio y no deben comportarse como máquinas que

generan calificaciones iguales (Linacre, 2019). Es en este sentido que se requiere

un mínimo de dos expertos que aporten elementos de análisis para el diseño de los

ítems (en este caso). Tener un número grande de casos hace redundantes las

valoraciones. Para el juicio de expertos se realizó el envío del total de los ítems de

la prueba a dos jueces expertos, que realizaron una calificación individual de cada

uno de los ítems, respecto a su pertinencia y relevancia.

Los resultados indican una alta coherencia en las valoraciones de los dos

jueces (0.57 para el juez 1 y 0.97 para el juez 2) obtenida con base en la

discriminación de sus valoraciones (correlación punto biserial). El juez 2 resultó

mucho más estricto en sus valoraciones (3.24 logits para el juez 1 y 4.96 logits para

el juez 2) a partir de sus resultados en la escala logit del Modelo de Rasch. La

confiabilidad de las valoraciones de los jueces expresada en el índice de separación

es de 7.26 (se esperan valores iguales o superiores a 1.5 (Linacre, 2019)). La

confiabilidad del ejercicio de los jueces expertos para los 16 ítems, expresada como

el Alpha de Cronbach, es de 0.83. Todos los ítems obtuvieron valoraciones altas,

superiores a 3 logits, lo que da idea de su pertinencia y relevancia.

Los dos jueces expertos dieron una calificación general satisfactoria para

cada uno de los ítems, pero es de tener en cuenta que el segundo juez para las

preguntas relacionadas con la categoría de uso de refranes para sintetizar un texto,

Page 59: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

emitió una calificación baja a algunos ítems relacionados con esta categoría

evaluada.

Los resultados de las valoraciones de los jueces para los 16 ítems se

encuentran en la siguiente tabla:

Tabla 2. Resultado de las valoraciones de los jueces respecto a los 16 ítems

Ítem Total Score

Total Count

Obsvd Average

Fair (M) Average

1 18 4 4,50 4,83 2 17 4 4,25 4,06 3 12 4 3,00 2,87 4 20 4 5,00 5,00 5 18 4 4,50 4,83 6 20 4 5,00 5,00 7 16 4 4,00 4,01 8 20 4 5,00 5,00 9 20 4 5,00 5,00

10 20 4 5,00 5,00 11 16 4 4,00 4,01 12 20 4 5,00 5,00 13 20 4 5,00 5,00 14 20 4 5,00 5,00 15 14 4 3,50 3,97 16 20 4 5,00 5,00

Fuente: Elaboración propia

Especialmente el Fair Average indica que las preguntas fueron consideradas

pertinentes y relevantes en el juicio de jueces expertos, ya que todas tienen valores

positivos (recordemos que estos son valores logit cuya escala tiene como rango

Page 60: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

valores desde infinito negativo hasta infinito positivo; los valores negativos

indicarían poca relevancia o pertinencia).

Dicha calificación se relaciona en el apartado de anexos.

La observación del juez para dichos ítems fue: “Tener en cuenta que el uso

de metáforas implica un tópico (aquello de lo que se habla) y un vehículo (aquello

con lo que se compara). Por supuesto, para que la metáfora cumpla con su cometido

el punto compartido ha de ser muy claro. Al leer los refranes no me fue claro el

vínculo entre el tópico (la situación de los textos) y el vehículo (lo planteado en los

refranes)”.

Una vez diseñados los cuatro cuestionarios, se hizo contacto con las

directivas responsables de la institución para dar cumplimiento con el protocolo

respectivo y tener acceso a la población que participó en la investigación.

Las directivas tomaron en cuenta la pertinencia de la investigación y las

implicaciones de la misma dentro de los tiempos requeridos que serían ocupados

para la aplicación del instrumento. Adicionalmente hicieron algunas sugerencias

respecto a los formatos a utilizar (que fueron tenidas en cuenta para el

procedimiento en cuestión).

Una vez se tuvo la aprobación de las directivas del programa de psicología

como del programa de ingeniería de sistemas; se contactó a los docentes que dieron

su espacio de clase para realizar la aplicación de la prueba.

Durante un periodo de 2 semanas (según los tiempos disponibles por parte

de los docentes), se realizó la aplicación del instrumento a más de 250 estudiantes,

teniendo como factor a revisar el mal diligenciamiento de la prueba, o la ausencia

Page 61: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

de respuesta en los requerimientos mínimos que sirvieron para obtener la

información necesaria para la investigación.

Análisis técnico del instrumento

Posterior al diseño del instrumento, se realizaron las acciones a continuación

mencionadas para el análisis técnico del instrumento:

1) la validación de contenido a través del juicio de expertos realizada con el

método Angoff Modificado (Ricker, 2006), la cual se hizo con la finalidad de analizar

cada uno de los ítems desde su relevancia pertinencia y suficiencia y como esta

puede llevar a una posible corrección posterior de las preguntas.

2) Se realizó un piloto de aplicación con los estudiantes de pregrado de

psicología e ingeniería de sistemas de una universidad privada de la ciudad de

Bogotá en el periodo (2019-3) y con la finalidad de realizar durante ese semestre el

análisis de los resultados obtenidos.

3) Procesamiento de resultados

Para el procesamiento de resultados se usó el modelo de Rasch, que fue

postulado por el matemático danés Georg Rasch en 1960. Mediante este modelo

se facilita el uso para el análisis de contenido de los ítems y de los resultados de los

mismos gracias a que permite hacer predicciones con un buen índice de

probabilidad sobre los ítems que son evaluados con este modelo. Una gran ventaja

que tiene el modelo de Rasch sobre otros modelos estadísticos es que no es

obligatoria la normalidad de los datos para poder correr este estadístico (Tristán,

2013).

Page 62: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Algo adicional que tiene el modelo de Rasch es que el análisis de los datos

no depende de la dificultad de los ítems que se revisan ni es relevante las

características propias de la muestra que se está evaluando (Tristán, 2013).

Se utilizó el software Winsteps (Linacre, 2019) para procesar los datos con

el Modelo de Rasch. Se utilizarán diferentes indicadores para determinar la calidad

técnica de ítems y test entre los cuales se destacan los valores de ajuste, tanto

próximos como lejanos, la dificultad del ítem, el valor de discriminación, el error

estándar de medición y dificultad. Para la prueba se calcularon diferentes valores

de confiabilidad como el alpha de Cronbach, la separación y la función de

información.

El análisis factorial confirmatorio, fue realizado con ecuaciones estructurales

y el software AMOS. Se verificaron y analizaron los pesos de regresión y el tamaño

del efecto. Adicionalmente, se estimaron los valores de correlación entre las

diferentes competencias y los indicadores del modelo general propuesto en el que

se incluye la síntesis como parte del modelo de lectura crítica.

Por medio del modelo probabilístico de Rasch, se evaluó el uso de cada uno

de los ítems que componen el instrumento, pues el resultado de la evaluación

permitió deducir de una forma clara la pertinencia y suficiencia de los ítems del

instrumento y si el mismo es apropiado para medir la capacidad de síntesis y

comprensión en la lectura crítica en los estudiantes universitarios (Attorresi, Lozzia,

Abal, Galibert, & Aguerri, 2009).

En primer lugar, es importante entender que el coeficiente de confiabilidad

Alpha de Cronbach no puede procesarse para información incompleta, que es el

Page 63: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

caso de la prueba aplicada (Linacre, 2019). La prueba fue diseñada con los

principios de bloques balanceados incompletos. No obstante, con los valores logit

se puede producir un valor de confiabilidad de los ítems. En este caso se obtuvo

una confiabilidad de 0.81 y una separación de 2.05 para los ítems, lo que permite

afirmar que la prueba cumple con este principio. El valor del error estándar de

medición para los ítems es de 0.24 y el de la estimación de los evaluados es de

0.96, considerados aceptables dadas las condiciones de evaluación.

El valor, en valores propios, de la varianza del primer contraste es de 1.6215,

lo que indica que la prueba es unidimensional (los 16 ítems), cumpliendo con el

criterio de dimensionalidad del Modelo de Rasch.

Se obtuvieron los datos de ajuste de los ítems al modelo y los valores de

dificultad y discriminación a través de la correlación biserial. En la tabla 3 se

encuentran estos resultados.

Tabla 3. Indicadores de los ítems

Ítems Dificultad Ajuste Próximo Ajuste lejano Corr Biserial

1 0.32 0.90 0.84 0.46

2 0.01 0.97 0.94 0.42

3 -0.10 1.07 1.12 0.32

4 -0.22 0.86 0.83 0.54

5 0.60 1.02 1.08 0.32

6 -0.45 1.01 1.01 0.40

7 -0.20 1.08 1.10 0.31

8 1.25 0.89 0.68 0.43

9 -0.96 1.03 1.00 0.39

10 -0.55 1.01 1.01 0.41

11 -0.08 1.04 1.03 0.37

12 0.42 0.99 0.89 0.39

13 -0.22 1.00 1.00 0.42

14 0.21 0.99 0.98 0.41

Page 64: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

15 -0.83 1.03 1.00 0.39

16 0.79 0.94 0.96 0.41

Fuente: Elaboración propia

Como se observa, todos los ítems se encuentran dentro de los rangos

aceptables de acuerdo con el Modelo de Rasch (Pardo, 2010). En conclusión, se

puede afirmar que la prueba tiene una calidad técnica alta.

Resultados de la hipótesis

Para comprobar la hipótesis de la relación del dominio síntesis con la lectura

crítica, se trabajó con el valor de habilidad de cada estudiante obtenido con la

prueba de síntesis y el resultado que obtuvo en las pruebas SABER 11 en el dominio

de lectura. En total cruzó información de 209 personas. Para los demás no fue

posible encontrar los datos de la prueba SABER 11.

Figura 3. Relación entre lectura crítica y las preguntas de síntesis

Page 65: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Fuente: Elaboración propia

En la siguiente tabla se encuentran los pesos de regresión y el valor de p

para las 6 preguntas utilizadas en la prueba de síntesis.

Tabla 4. Pesos de regresión y valor P para preguntas de Síntesis

Estimad

o P

LC <---

P1 .036 .600

LC <---

P2 .147 .032

LC <---

P3 .062 .364

LC <---

P4 .082 .229

LC <---

P5 -.027 .696

LC <---

P6 .020 .771

Fuente: Elaboración propia

Como se observa, sólo las respuestas a la pregunta 2 se relacionan

significativamente con el resultado en la prueba de Lectura Crítica del ICFES esto

se deduce del p obtenido de la pregunta 2 que muestra un nivel de significancia

mayor que el de resto de las preguntas evaluadas.

En cuanto a la relación negativa de (-0.27) que se obtuvo de la pregunta 5,

se deduce que esta pregunta es la que menos calidad técnica dentro de las

preguntas evaluadas. A pesar de ello todas las preguntas están dentro del margen

de aceptación.

Los resultados indican que no hay relación entre las dos variables. El tamaño

de la covariación es de 0.08 en datos estandarizados, que tiene como interpretación

que no es significativa.

Page 66: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Consideraciones Éticas

Como principio fundamental de esta investigación se tendrá en cuenta la Ley

1090 del 2006 y el código ético del (Colegio Colombiano de Psicólogos) COLPSIC,

que entre su normatividad vigente como institución que vela por el cumplimiento

ético del deber ser del profesional en psicología y que contiene dentro de su

normatividad la confidencialidad, el anonimato de los participantes de

investigaciones, así como el indiscutible y siempre necesario consentimiento

informado para los participantes de investigaciones y asentimiento informado en

caso de los menores de edad. Así como el uso de las estrategias que garanticen el

no perjuicio de ni daño de los participantes a niveles físicos o psicológicos

resultantes de su participación en la investigación. Para ello se utilizó el

consentimiento informado y se le dio el debido uso a la información obtenida de los

participantes de acuerdo con la ley de tratamiento de datos personales (Habeas

Data) (Congreso de la Republica de Colombia, 2012).

Según el Título II - Disposiciones generales, artículo 2º apartado 5 de la Ley

1090 de 2006, que hace referencia a la Confidencialidad como: Los psicólogos

tienen una obligación básica respecto a la confidencialidad de la información

obtenida de las personas en el desarrollo de su trabajo como psicólogos. Revelarán

tal información a los demás solo con el consentimiento de la persona o del

representante legal de la persona, excepto en aquellas circunstancias particulares

en que no hacerlo llevaría a un evidente daño a la persona u a otros. Los psicólogos

Page 67: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

informarán a sus usuarios de las limitaciones legales de la confidencialidad

(Ministerio de la Protección Social, 2006).

Discusión

Aunque se tuvo en cuenta la síntesis como una competencia que integra una

parte importante de la inteligencia, como lo plantea (Gardner, 2005) con su

referencia a la mente sintética, se evidenció en los resultados de la prueba que para

este caso no se cumple dicho planteamiento, y ello se sustenta en variables como

el tiempo disponible de aplicación, el cansancio, la sensación de sentirse evaluado,

que influyeron en la aplicación y que según la forma en que la investigación fue

planeada y aplicada jugaron posiblemente como factores en contra de los resultados

que se esperaban.

La calidad técnica del instrumento se logró mediante la evaluación de jueves

expertos, uno en el ámbito de lo psicométrico y el otro en el ámbito de la escritura,

gracias a esa evaluación se evidenció que es una herramienta sólida, que cumple

con los requerimientos para ser aplicada y que dichos ítems que la componen

contienen la validez necesaria para ser utilizados con la finalidad para la que fueron

diseñados.

El proceso de validación por demás fue el correcto y adecuado, de acuerdo

con los resultados obtenidos del juicio de expertos con los que se concluye que los

ítems utilizados son relevantes y pertinentes pues ítem a ítem fue revisado y

calificado por dos jueces expertos que tenían como premisa a tener en cuenta la

pertinencia y relevancia de todos y cada uno de los ítems.

Page 68: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

El proceso de elaboración de la prueba además fue seguida, orientada y

realizada en los términos y condiciones que se enmarcan para el diseño de pruebas

centradas en la evidencia de (Mislevy et al., 2003). La elaboración además se hizo

según el modelo que sigue el ICFES, que plantea la elaboración de afirmaciones,

evidencias y tareas como componentes que deben componer la evaluación de la

lectura crítica, y al considerar la síntesis como competencia integral de la misma se

dio por supuesto que la prueba cumplió con los requerimientos necesarios para la

aplicación.

Adicionalmente durante el proceso de ensamblaje de los cuatro tipos de

cuestionarios, las 16 preguntas de la prueba fueron distribuidas en cuestionarios de

4 preguntas en las que se tuvo en cuenta el peso factorial de los elementos que

contendría cada uno, por lo cual la validez del instrumento fue suficientemente

probada.

Por supuesto, saliendo de los estudios planteados por (Gardner, 2005), se

entiende que la síntesis tiene gran relevancia dentro de los procesos de aprendizaje.

Esto debido a que durante el proceso de ejecución de cualquier tarea el ser humano

hace un proceso de síntesis de la ejecución a realizar (aunque no se realice de

manera consciente).

Y dicha ejecución está sujeta a una serie de pasos que por demás el ser

humano analiza y aplica de forma sistemática, planteando así que esta secuencia

ordenada y consecutiva puede ayudar a la solución de un problema o la ejecución

de una tarea cotidiana.

Es importante para la conclusión de esta investigación tener en cuenta las

variables que intervinieron en la aplicación, así como las que pudieron ser un factor

Page 69: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

de gran importancia para los resultados obtenidos, pues estas variables extrañas

pudieron haber afectado negativamente la ejecución de la prueba y la atención que

los estudiantes le darían a ello.

El resultado con ecuaciones estructurales confirmaría el supuesto que es un

elemento importante que debería tenerse en cuenta en evaluaciones que incluyan

el tema de la Lectura, especialmente aquellas que se apoyan conceptualmente en

la gran variedad de posibilidades y técnicas de lectura de la actualidad Rueda,

2019.

Debido a este elemento se aconsejaría a futuro aplicar el instrumento al

mismo tiempo o en un tiempo cercano al que se presenta el examen SABER 11,

para poder comprobar momentos iguales de condiciones que se espera se

relacionen con los resultados.

Un elemento en que se ha pensado es que, puede ser que la síntesis es una

habilidad que se gana con más complejidad, y que solo en la formación universitaria

se podría evidenciar, esto debido a la rigurosidad científica que el estudio

universitario tiene y que a su vez promueve en el estudiante el desarrollo de nuevas

habilidades y así ir desarrollando la capacidad de síntesis que requiere ese nivel de

formación académica.

Otros factores a tener en cuenta en relación con los resultados obtenidos y

que pudo influenciar en los mismos es el momento de aplicación según el periodo

de tiempo dentro de la etapa de estudio. Esto debido a que la aplicación se hizo en

tiempo posterior a la finalización de exámenes de la institución, esto con la finalidad

de que el instrumento no fuese un factor de distracción para los participantes en la

preparación para sus exámenes.

Page 70: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

El elemento temporal, pudo influir en la disposición a contestar la prueba por

parte de los participantes, pues aunque se les explicó que era de carácter

enteramente voluntario y todos participaron con buena disposición, es probable que

el agotamiento mental por el haber tenido de forma reciente exámenes de otro tipo

haya influenciado en el estado de ánimo para contestar con plenitud la prueba.

Dentro de los resultados del análisis de los datos también se evidenció que

la prueba es unidimensional, y esto permitió concluir que los dibujos que se

encuentran en la prueba aplicada como parte de las preguntas formuladas hacen

parte de la misma dimensión de síntesis.

Page 71: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Referencias

Altablero, (2007). Lectura y escritura con sentido y significado. Recuperado de:

https://www.mineducacion.gov.co/1621/article-122251.html

Attorresi, H. F., Lozzia, G. S., Abal, F. J., Galibert, M. S., & Aguerri, M. E. (2009).

Teoría de respuesta al ítem. Revista Argentina de Clínica Psicológica,

XVIII(2). Recuperado de: https://www.redalyc.org/html/2819/281921792007/

Avendaño de Barón, G. S. (2016). La lectura crítica en Educación Básica

Secundaria y Media: la voz de los docentes. Cuadernos de Lingüística

Hispánica, (28), 207. https://doi.org/10.19053/0121053x.4916

Bar, A. R. (2012). Argumentar y explicar en el contexto de la formación

universitaria en biología. Revista Argentina de Educación Superior, 4(4), 92–

113. Recuperado de: http://www.revistaraes.net/revistas/raes4_art5.pdf

Congreso de la Republica de Colombia. (2012). Ley Estatutaria 1581 De 2012. Por

la cual se dictan disposiciones generales para la protección de datos

personales. Diario Oficial, CXLIX(48587), 66.

https://doi.org/10.1017/CBO9781107415324.004

DANE. (2013). Clasificación internacional normalizada de la educación - campos

de educación y formación adaptada para Colombia CINE-F 2013 A.C.

Recuperado de: https://www.dane.gov.co/index.php/sistema-estadistico-

nacional-sen/normas-y-estandares/nomenclaturas-y-

clasificaciones/clasificaciones/clasificacion-internacional-normalizada-de-la-

educacion-cine

Díaz, J. P., Bar, A. R., & Ortiz, M. C. (2015). La lectura crítica y su relación con la

Page 72: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

formación disciplinar de estudiantes universitarios. Revista de La Educacion

Superior, 44(176), 139–158. https://doi.org/10.1016/j.resu.2015.12.006

Gardner, H. (2005). Las cinco mentes del Futuro. Paidos.

Guarín Pérez, D., & Hospital Celis, J. (2014). La lectura crítica en la educación

superior: una propuesta para el profesorado universitario desde la experiencia

de dos estudiantes de pregrado, 313–321. Recuperado de:

https://dialnet.unirioja.es/descarga/articulo/5251818.pdf

Huertas-García, R., Consolación, S. C., Mas-machuca, M., & Forgas-Coll, S.

(2016). capacidad cognitiva y el rendimiento . bloques incompletos

balanceados 1, (2009). https://doi.org/10.15446/innovar.v26n59.54325.CITACI

ICFES. (2016). Guía de orientación módulo de lectura crítica Saber Pro 2016-2.

ICFES, (3), 43–114. Recuperado de

https://www.uv.mx/personal/lenunez/files/2013/06/LR01_LecturaCritica.pdf%5

Cnhttp://www.uv.mx/personal/lenunez/files/2013/06/LR01_LecturaCritica.pdf

López, G., & Arciniegas, E. (2004). Metacognición, lectura y construcción de

conocimiento. El papel de los sujetos en el aprendizaje significativo.

Recuperado de

http://www.univalle.edu.co/~eslengua/nuevo/public/index.php?seccion=GRUP

OS&grupo=11

Marín Agudelo, S. A. (2012). Apropiación social del conocimiento : Revista

Interamericana de Bibliotecología, 35(1), 55–62. Recuperado de:

http://www.scielo.org.co/pdf/rib/v35n1/v35n1a5.pdf

Méndez Rendón, J., Espinal Patiño, C., Arbeláez Vera, C., Gómez Gómez, J., &

Serna Aristizábal, C. (2014). La lectura crítica en la educación superior: un

Page 73: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

estado de la cuestión. Revista Virtual Universidad Católica Del Norte.

Recuperado de:

https://revistavirtual.ucn.edu.co/index.php/RevistaUCN/article/download/461/9

83

Ministerio de la Protección Social. (2006). Ley 1090 de 2006 - Código

Deontológico y Bioético de la profesión de Psicología, 2006(Septiembre 06),

1–16. Recuperado de:

http://www.sociedadescientificas.com/userfiles/file/LEYES/1090 06.pdf

Mislevy, R. J., Almond, R. G., & Lukas, J. F. (2003). a Brief Introduction To

Evidence-Centered Design. ETS Research Report Series, 2003(1), i-29.

https://doi.org/10.1002/j.2333-8504.2003.tb01908.x

Montero, I., & León, O. (2007). Clasificación y descripción de las metodologías

deinvestigación en Psicología, 2, 503–508. Retrieved from

https://www.redalyc.org/html/337/33720308/

Montesinos López, Osval Antonio, Luna Vázquez, Francisco Javier, Franco Pérez,

Emeterio, Pastrana Palma, Alberto, & Buenrostro Mariscal, Raymundo.

(2019). Diseños de bloques incompletos como una alternativa para la

evaluación de proyectos en organizaciones gubernamentales y no

gubernamentales. Nova scientia, 11(22), 433-477.

https://dx.doi.org/10.21640/ns.v11i22.1867

Linacre, J. M. (2019) Facets computer program for many-facet Rasch

measurement, version 3.83.0. Beaverton, Oregon: Winsteps.com. Recuperado

de: https://www.winsteps.com/a/Facets-Manual.pdf

OCDE. (2016). El programa PISA de la OCDE Qué es y para que sirve. Retrieved

Page 74: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

from http://www.oecd.org/pisa/39730818.pdf

OECD. (2019). Colombia - Country Note - PISA 2018 Results. Colombia - Country

Note - PISA 2018 Results, 1–12. Recuperado de:

https://www.oecd.org/pisa/publications/PISA2018_CN_COL_ESP.pdf

Ordoñez, B. (2017). Sistema genérico de clasificación extendida con aprendizaje

hebbiano (GXCS-H) para apoyo a la generación de comportamientos

autónomos. Universidad Autónoma Del Estado de México. Recuperado de:

https://revistavirtual.ucn.edu.co/index.php/RevistaUCN/article/download/461/9

83

Parada, A. E. (2017). Historia de la Lectura Debate en torno a su definición.

Información, Cultura y Sociedad, 8327(diciembre), 145–152.

Pérez Zorrilla, M. J. (2005). Evaluación de la comprensión lectora: Dificultades y

limitaciones. Revista de Educación, 121–138. Recuperado de:

http://www.ince.mec.es/revistaeducacion/re2005/re2005_10.pdf

Ricker, K. L. (2006). Setting cut-scores: A critical review of the Angoff and modified

Angoff methods. Alberta Journal of Educational Research, 52(1), 53–64.

Recuperado de:

http://www.jmss.org/index.php/ajer/article/download/55111/42163

Rueda Espinoza, A. (2019). Técnicas de lectura crítica en el rendimiento

académico de los estudiantes de noveno año de Educación básica de la

Unidad Educativa “San Francisco de Quito”, en el año lectivo 2019-2020.

Trabajo de titulación previo a la obtención del Título de Licenciado en

Ciencias de la Educación. Mención Ciencias del Lenguaje y Literatura.

Carrera de Pedagogía de la Lengua y Literatura. Quito: UCE. 80 p.

Page 75: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

Recuperado de: http://www.dspace.uce.edu.ec/bitstream/25000/20037/1/T-

UCE-0010-FIL-646.pdf

Serce, D. E. L., & Block, S. (2010). Compendio de los manuales del serce 1.

Serrano de Moreno, S. (2008). La alfabetización crítica: Conceptualización de las

competencias y estrategias de lectura crítica. Letras (Vol. 50). Universidad

Pedagógica experimental Libertador. Retrieved from

http://www.scielo.org.ve/scielo.php?script=sci_arttext&pid=S0459-

12832008000100004&lng=es&tlng=es

Toro Baquero, L. J., & Amado, M. A. (2018). Guía introductoria al diseño centrado

en evidencias, 1–17. Recuperado de:

https://www.icfes.gov.co/documents/20143/516332/Guia+introductoria+al+dis

e%C3%B1o+centrado+en+evidencias+2018.pdf

Tristán, A. (2013). Analisis de rasch para todos. Retrieved from

https://www.researchgate.net/profile/Wendel_Dos_Santos3/post/How_to_com

pare_frequency_of_yes_responses_on_a_multi-

item_survey/attachment/59d6590c79197b80779aeb4e/AS%3A540895440064

512%401505970930169/download/LibroRaschXTodos.pdf

UNESCO. (2000a). Foro Mundial sobre la Educación. Revista Iberoamérica de

Educación, (22), 183–192. Recuperado de:

https://rieoei.org/historico/documentos/rie22a09.htm

UNESCO. (2000b). Foro Mundial sobre la Educación. Revista Iberoamérica de

Educación, (22), 183–192 Recuperado de:

https://unesdoc.unesco.org/ark:/48223/pf0000121117_spa.

UNESCO. (2015). Informe de seguimiento de la EPT en el mundo 2015. La

Page 76: DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA VALORAR …

Instrumento para valorar la competencia de síntesis

educación para todos, 2000-2015: logros y desafíos, 60. Retrieved from

http://unesdoc.unesco.org/images/0023/002325/232565s.pdf

Vázquez, A. (2017). Tareas de síntesis discursiva y aprendizaje en la universidad.

Revista Mexicana de Investigación Educativa, 22(74), 863–887. Recuperado

de: http://www.redalyc.org/pdf/2591/259120386007.pdf

Villao, A. (2002). La enseñanza de la lectura y la escritura: Análisis socio-histórico.

Anales de Documentación, 345–359. Recuperado de:

https://revistas.um.es/analesdoc/article/view/1891

Villaseñor, L. (2006). Lectura y educación: los hábitos lectores y su repercusión

académica en Educación Secundaria Obligatoria. Ocnos: Revista de Estudios

Sobre Lectura, (2), 103–121. Recuperado de:

http://www.redalyc.org/pdf/2591/259120386007.pdf