Resolución de diagramas de flujo y pseudocódigo por parte ...

20
Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146 | 129 Estudios de investigación Resolución de diagramas de flujo y pseudocódigo por parte de estudiantes de Ciencias de la Computación de la Universidad de Costa Rica Luis Andrés Villalobos Fernández Estudiante de maestría en Ciencias Cognoscitivas de la Universidad de Costa Rica [email protected] Álvaro de la Ossa Osegueda Profesor de la Escuela de Ciencias de la Computación e Informática de la Universidad de Costa Rica [email protected] Odir Antonio Rodríguez-Villagra Director del Programa de Posgrado en Ciencias Cognoscitivas de la Universidad de Costa Rica e investigador del Instituto de Investigaciones Psicológicas y del Centro de Investigación en Neurociencias de la Universidad de Costa Rica [email protected] Adrián Esteban Vergara Heidke Profesor de la Escuela de Filología, Lingüística y Literatura de la Universidad de Costa Rica [email protected] Extracto En este trabajo se ha llevado a cabo un estudio de seguimiento ocular de 20 estudiantes de Ciencias de la Computación de la Universidad de Costa Rica, la mitad de ellos de primer curso y la otra mitad de cuarto. Se les pidió que resolvieran 10 ejercicios de diagramas de flujo y 10 de pseudocódigo. En los alumnos expertos, aproximadamente la mitad de las fijaciones se centran en las áreas de interés más relevantes para la resolución del problema, mientras que, en los novatos, aproximadamente un tercio de las fijaciones se concentran en esas áreas. Al calcular la densidad de fijaciones en las áreas de interés, este patrón es mucho más evidente. En cuanto al rendimiento, se observaron diferencias significativas entre expertos y novatos, mostrando los primeros mejor rendimiento. En lo relativo a la duración de la resolución de los ejercicios, solo se encontraron diferencias significativas entre expertos y novatos al resolver pseudocódigos. En función de los resultados obtenidos se llevan a cabo recomendaciones para los profesores de los cursos de programación y para futuras investigaciones. Palabras clave: ciencias cognitivas; diagramas; seguimiento ocular; metaanálisis; programación; pseudocódigo. Fecha de entrada: 03-03-2020 / Fecha de revisión: 04-05-2020 / Fecha de aceptación: 06-05-2020 Cómo citar: Villalobos Fernández, L. A., Ossa Osegueda, Á. de la, Rodríguez-Villagra, O. A. y Vergara Heidke, A. E. (2020). Resolución de diagramas de flujo y pseudocódigo por parte de estudiantes de Ciencias de la Computación de la Universidad de Costa Rica. Tecnología, Ciencia y Educación, 17, 129-146.

Transcript of Resolución de diagramas de flujo y pseudocódigo por parte ...

Page 1: Resolución de diagramas de flujo y pseudocódigo por parte ...

Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146 | 129

Estudios de investigación

Resolución de diagramas de flujo y pseudocódigo por parte de estudiantes de Ciencias de la

Computación de la Universidad de Costa Rica

Luis Andrés Villalobos Fernández Estudiante de maestría en Ciencias Cognoscitivas de la Universidad de Costa Rica

[email protected]

Álvaro de la Ossa OseguedaProfesor de la Escuela de Ciencias de la Computación e Informática de la Universidad de Costa Rica

[email protected]

Odir Antonio Rodríguez-VillagraDirector del Programa de Posgrado en Ciencias Cognoscitivas de la Universidad de

Costa Rica e investigador del Instituto de Investigaciones Psicológicas y delCentro de Investigación en Neurociencias de la Universidad de Costa Rica

[email protected]

Adrián Esteban Vergara HeidkeProfesor de la Escuela de Filología, Lingüística y Literatura de la Universidad de Costa Rica

[email protected]

Extracto

En este trabajo se ha llevado a cabo un estudio de seguimiento ocular de 20 estudiantes de Ciencias de la Computación de la Universidad de Costa Rica, la mitad de ellos de primer curso y la otra mitad de cuarto. Se les pidió que resolvieran 10 ejercicios de diagramas de flujo y 10 de pseudocódigo. En los alumnos expertos, aproximadamente la mitad de las fijaciones se centran en las áreas de interés más relevantes para la resolución del problema, mientras que, en los novatos, aproximadamente un tercio de las fijaciones se concentran en esas áreas. Al calcular la densidad de fijaciones en las áreas de interés, este patrón es mucho más evidente. En cuanto al rendimiento, se observaron diferencias significativas entre expertos y novatos, mostrando los primeros mejor rendimiento. En lo relativo a la duración de la resolución de los ejercicios, solo se encontraron diferencias significativas entre expertos y novatos al resolver pseudocódigos. En función de los resultados obtenidos se llevan a cabo recomendaciones para los profesores de los cursos de programación y para futuras investigaciones.

Palabras clave: ciencias cognitivas; diagramas; seguimiento ocular; metaanálisis; programación; pseudocódigo.

Fecha de entrada: 03-03-2020 / Fecha de revisión: 04-05-2020 / Fecha de aceptación: 06-05-2020

Cómo citar: Villalobos Fernández, L. A., Ossa Osegueda, Á. de la, Rodríguez-Villagra, O. A. y Vergara Heidke, A. E. (2020). Resolución de diagramas de flujo y pseudocódigo por parte de estudiantes de Ciencias de la Computación de la Universidad de Costa Rica. Tecnología, Ciencia y Educación, 17, 129-146.

Page 2: Resolución de diagramas de flujo y pseudocódigo por parte ...

130 | Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146

Resolution of flow diagrams and pseudocode by students of Computer Science at the University

of Costa Rica

Luis Andrés Villalobos Fernández

Álvaro de la Ossa Osegueda

Odir Antonio Rodríguez-Villagra

Adrián Esteban Vergara Heidke

Abstract

An eye tracking study was carried out on 20 students of Computer Science at the University of Costa Rica, half of the first year and the other half of the fourth year. They were asked to solve 10 flowchart and 10 pseudocode exercises. In the experts approximately half of the fixations focus on the most relevant areas of interest for the resolution of the problem, while in the rookies approximately one third of the fixations are concentrated in those areas. When calculating the density of fixations in the areas of interest this pattern is much more evident. Regarding performance, significant differences were observed between experts and novices, showing the first best performance. Regarding the duration of the resolution of the exercises, only significant differences were found between experts and novices when solving pseudoco-des. Depending on the results obtained, recommendations are made for the teachers of the programming courses and for future research.

Keywords: cognitive science; diagrams; eye-tracking; meta-analysis; programming; pseudocode.

Citation: Villalobos Fernández, L. A., Ossa Osegueda, Á. de la, Rodríguez-Villagra, O. A. and Vergara Heidke, A. E. (2020). Resolution of flow diagrams and pseudocode by students of Computer Science at the University of Costa Rica. Tecnología, Ciencia y Educación, 17, 129-146.

Page 3: Resolución de diagramas de flujo y pseudocódigo por parte ...

Estudios de investigación

Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146 | 131

Resolución de diagramas de flujo y pseudocódigo por parte de estudiantes de Ciencias de la Computación de la Universidad de Costa Rica

Sumario

1. Introducción

2. Antecedentes

3. Metodología

3.1. Participantes

3.2. Hardware y software

3.3. Estímulos y procedimiento

3.4. Diseño

3.5. Análisis estadístico

4. Resultados

5. Discusión

6. Conclusiones y recomendaciones

Referencias bibliográficas

Nota: nuestro agradecimiento al máster en Investigación Psicológica por la Universidad de Costa Rica Armel Brizuela Rodríguez por su contribución en el proceso de enseñanza del equipo de seguimiento ocular y del análisis estadístico en R, además de por la supervisión brindada en el proceso de recopilación de datos.

Page 4: Resolución de diagramas de flujo y pseudocódigo por parte ...

132 | Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146

L. A. Villalobos, Á. de la Ossa, O. A. Rodríguez-Villagra y A. E. Vergara

1. Introducción

Este trabajo tiene como objetivo explorar las diferencias que existen entre estudiantes de Ciencias de la Computación novatos1 (primer curso) y expertos (cuarto curso) a la hora de re-solver diagramas de flujo y pseudocódigo.

Los diagramas de flujo y pseudocódigos son los principales modelos de representación de al-goritmos y, por tanto, resultan vitales para el pro-ceso de enseñanza de los estudiantes de Ciencias de la Computación, sobre todo en los cursos de programación (Lin et al., 2015). Por ello, es de interés para los docentes de Ciencias de la Com-putación determinar cuál de los dos procesos es más eficiente para la enseñanza de algoritmos.

Debido a que los datos del movimiento ocular pueden proporcionar información sobre la atención visual de los programadores, permitiendo a los investigadores explorar sus pro-cesos cognitivos, diversos estudios han aplicado el seguimiento ocular como método para investigar la comprensión del proceso de programación informática (Aschwanden y Crosby, 2006; Bednarik, 2012; Bednarick, Busjahn y Schulte, 2014).

Los investigadores antes mencionados sugirieron que ese patrón diferencial podría ser consecuencia del desarrollo de estrategias cognitivas más eficientes para resolver los proble-mas de programación (Lin et al., 2015). Se ha propuesto que este tipo de estudios permiten tener una mejor comprensión de los procesos de enseñanza y aprendizaje (Andrzejewska et al., 2015). Este es un estudio exploratorio, enfocado en comparar las diferencias entre novatos y expertos. Se ha aplicado para la investigación de una multitud de procesos de enseñanza, tal como se aprecia en el metaanálisis llevado a cabo por Gegenfurther, Lehti-nen y Saljo (2011), en el cual se evaluaron 70 estudios en los que se comparó el patrón de visualización de novatos y expertos de varias profesiones y deportes.

Los trabajos de Andrzejewska et al. (2015) y Lin et al. (2015) son estudios de compara-ción novatos-expertos que están centrados en la representación de algoritmos, pero que

1 La Real Academia Española (RAE) define el término «novato» como «nuevo o principiante en cualquier facultad o materia».

Los diagramas de flujo y Los diagramas de flujo y pseudocódigos son los principales pseudocódigos son los principales modelos de representación de modelos de representación de algoritmos y, por tanto, resultan algoritmos y, por tanto, resultan vitales para el proceso de enseñanza vitales para el proceso de enseñanza de los estudiantes de Ciencias de de los estudiantes de Ciencias de la Computación, sobre todo en los la Computación, sobre todo en los cursos de programación cursos de programación

Page 5: Resolución de diagramas de flujo y pseudocódigo por parte ...

Estudios de investigación

Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146 | 133

Resolución de diagramas de flujo y pseudocódigo por parte de estudiantes de Ciencias de la Computación de la Universidad de Costa Rica

presentan varias limitaciones. En primer lugar, en ambos estudios no se realizó una compa-ración entre diagramas de flujo y pseudocódigo, ya que cada investigación trató solamente con una modalidad de representación de algoritmos: diagramas de flujo, en Andrzejewska et al. (2015), y pseudocódigo, en Lin et al. (2015). En segundo lugar, en estos trabajos se incluyeron, únicamente, un par de ejercicios, lo cual afecta a la validez y a la generalización de los resultados debido a que pocos ítems implican una menor variabilidad y, por tanto, son una amenaza a la validez externa del estudio. En tercer lugar, estas investigaciones no tuvieron en cuenta otros factores cognitivos que podrían haber influenciado en los resul-tados obtenidos por las personas participantes. Por ejemplo, no se tomaron en cuenta las diferencias en las capacidades cognitivas de las personas participantes.

De acuerdo con varios estudios (Rueda, 2013; Tsapatsoulis, 2014), esperamos encon-trar diferencias en cuanto al rendimiento de ambas poblaciones según la cantidad de res-puestas correctas y el tiempo de resolución de los ejercicios.

Como covariables se emplearon la inteligencia fluida, medida por medio del test de factor G de Cattell; la prueba de dígitos en orden inverso y en orden directo, para evaluar la memo-ria de trabajo; y la prueba de dígitos y símbolos, para evaluar la velocidad de procesamiento.

Por medio de la obtención de estos datos se obtuvieron grupos de novatos y expertos con puntuaciones homogéneas en estas variables, de forma que el nivel de experticia sea la variable que explique las diferencias obtenidas (Cattell y Cattell, 2015).

Se empleó un equipo de seguimiento ocular para registrar el patrón del movimiento de los ojos de los participantes en el momento de resolver los ejercicios. Por este medio se encontraron patrones diferenciados entre ambos grupos (Dink y Ferguson, 2015).

Se espera que futuras investigaciones puedan emplear estos datos para que profesionales en pedagogía, conocedores de la materia, puedan elaborar nuevos programas para los cur-sos de programación que faciliten a los estudiantes la comprensión de estos procedimientos.

2. Antecedentes

Los dos principales sistemas de representación de algoritmos son los diagramas de flujo (Tsapatsoulis, 2014) y pseudocódigos (Rueda, 2013). Los ejercicios para el experimento fue-ron extraídos del libro de Pinales y Velázquez (2014).

El único antecedente que se ha encontrado sobre el estudio del proceso de comprensión de diagramas de flujo mediante el registro de los movimientos oculares es una investiga-ción llevada a cabo por Andrzejewska et al. (2015). En este trabajo, la tecnología de segui-miento ocular se utilizó para seguir el proceso de resolver problemas algorítmicos. Estos eran presentados en dos variantes comparables: un pseudocódigo y un diagrama de flujo.

Page 6: Resolución de diagramas de flujo y pseudocódigo por parte ...

134 | Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146

L. A. Villalobos, Á. de la Ossa, O. A. Rodríguez-Villagra y A. E. Vergara

Los datos relacionados con el registro de los movimientos oculares indicaron un conjunto de medidas cualitativas y cuantitativas que permitieron detectar e interpretar las diferen-cias en las estrategias de resolución de tareas entre los participantes que encontraron la respuesta correcta y los que no. Los resultados confirman una hipótesis de que el uso de la notación formal característica de un lenguaje de programación para presentar algorit-mos es a menudo una dificultad práctica en el proceso de resolver incluso tareas simples. Este estudio abre una nueva dirección de investigación: muestra que la tecnología de ras-treo ocular puede utilizarse para optimizar el proceso de aprendizaje de la programación.

Un estudio llevado a cabo en Taiwán exploró los procesos cognitivos de los estudian-tes durante la depuración de un programa informático mediante el registro del movimiento ocular. El movimiento de los ojos de los estudiantes durante la depuración fue registrado por medio del eye-tracking para investigar si existían diferencias entre los estudiantes con alto y bajo rendimiento académico. A 38 estudiantes de Ciencias de la Computación de pregrado se les pidió que depuraran dos programas de C (Lin et al., 2015).

El seguimiento de la mirada de los estudiantes mientras observaban los códigos del pro-grama fue analizado para revelar secuencias o áreas significativas. Estas secuencias signi-ficativas de la ruta de la mirada se compararon luego entre los estudiantes con diferentes rendimientos en la tarea asignada. Los resultados concluyeron que, al depurar, los estu-diantes de alto rendimiento mostraban un recorrido más lógico, mientras que los de bajo rendimiento tendían a seguir una secuencia línea por línea y no podían derivar rápidamente la lógica de nivel superior del programa.

Los estudiantes de bajo rendimiento también tenían dificultades para encontrar los errores cometidos. Además, a menudo, necesitaban rastrear las declaraciones anteriores para recor-dar información y pasaban más tiempo haciendo cálculos mentales (Lin et al., 2015).

3. Metodología

3.1. Participantes

Para este trabajo se reclutó a 20 estudiantes de la carrera de Ciencias de la Computa-ción de la Universidad de Costa Rica. Todas las personas participantes firmaron un con-sentimiento informado, el cual fue aprobado por el comité ético-científico de la Universidad de Costa Rica. De ellos, 10 fueron caracterizados como «no-vatos», debido a que estaban cursando el primer semestre de la carrera, por lo cual apenas habían aprendido a programar. Se excluyó de la investi-gación a estudiantes que ya llevaran algún tipo de

Para este trabajo se reclutó a Para este trabajo se reclutó a 20 estudiantes de la carrera de 20 estudiantes de la carrera de Ciencias de la Computación de Ciencias de la Computación de la Universidad de Costa Ricala Universidad de Costa Rica

Page 7: Resolución de diagramas de flujo y pseudocódigo por parte ...

Estudios de investigación

Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146 | 135

Resolución de diagramas de flujo y pseudocódigo por parte de estudiantes de Ciencias de la Computación de la Universidad de Costa Rica

aprendizaje formal en programación antes de ingresar en la universidad. El resto de partici-pantes, 10 expertos, estaban cursando el segundo semestre del cuarto año de carrera, razón por la cual ya habían aprobado todas las asignaturas de programación. En los dos grupos tuvo que descartarse a un participante masculino por producirse errores en la obtención de los datos debido a que ambos movieron la cabeza durante la prueba, por lo que, finalmente, el total de participantes fue de 18 personas: 9 novatos y 9 expertos.

La muestra es mayoritariamente masculina. En el grupo de novatos participaron 7 hom-bres y 2 mujeres, mientras que, en el de expertos, 8 hombres y 1 mujer. Todas las personas participantes eran mayores de edad. Los novatos tenían una edad promedio de 18,5 años, mientras que los expertos, de 22,3 años.

3.2. Hardware y software

Los participantes en el estudio se sentaron con-fortablemente en una silla regulable (para poder ajustarla a la estatura de cada persona) con sus cabezas estabilizadas por un soporte (para elimi-nar las distracciones periféricas). Los participantes fueron evaluados individualmente y los movimien-tos oculares se registraron mediante un dispositi-vo de rastreo ocular EyeLink 1000 Plus, con una frecuencia de muestreo de 1.000 Hz y un segui-miento binocular. Los ejercicios se mostraron en un monitor BenQ XL2430T de 24 pulgadas (53 cm de ancho x 30 cm de alto), cuya resolución es de 1.920 x 1.080 píxeles y cuya frecuencia de actualización es de 60 Hz. Este es controlado por una computadora Mac Mini, con un procesador Intel Core i5 de 2.6 GHz. Los partici-pantes se sentaron a 55 cm de la pantalla de la computadora. La calibración realizada fue de 9 puntos, registrándose solo la actividad del ojo derecho. Las personas que presenta-ban problemas de la vista utilizaron sus gafas o lentes durante la prueba. Para responder, los participantes emplearon un teclado en el que debían pulsar las teclas 1, 2, 3 o 4, según la opción que eligieran en cada pregunta. El programa automáticamente desplegaba una pantalla de calibración en la que la persona debía dirigir su mirada hacia el centro de la pan-talla. Una vez cumplida la calibración, automáticamente se desplegaba el siguiente ítem.

3.3. Estímulos y procedimiento

El software en el que se programó el experimento es el Experiment Builder, que permite controlar todos los parámetros. Para este estudio, en concreto, se trabajó con 20 estímulos,

Los participantes en el estudio Los participantes en el estudio fueron evaluados individualmente fueron evaluados individualmente y los movimientos oculares se y los movimientos oculares se registraron mediante un registraron mediante un dispositivo de rastreo ocular dispositivo de rastreo ocular EyeLink 1000 Plus, con una EyeLink 1000 Plus, con una frecuencia de muestreo de frecuencia de muestreo de 1.000 Hz y un seguimiento 1.000 Hz y un seguimiento binocularbinocular

Page 8: Resolución de diagramas de flujo y pseudocódigo por parte ...

136 | Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146

L. A. Villalobos, Á. de la Ossa, O. A. Rodríguez-Villagra y A. E. Vergara

10 de los cuales son de diagramas de flujo y 10 de pseudocódigo. A su vez, en estos grupos de ítems, la mitad son de identificar errores y la otra mitad de identificar la función del algoritmo.

El tipo y tamaño de letra empleado es la times new roman 26. Todos los ítems seguían la misma estructura: en la esquina superior izquierda se ubicaban las instrucciones y las opciones de respuesta, en la esquina inferior izquierda se situaba la caja en la que se expli-caban las siglas de las variables del problema y, en el lado derecho, el problema expresado como pseudocódigo o diagrama de flujo. Independientemente del ejercicio, estos seguían la misma estructura: el comando de inicio, una serie de comandos de acción, la decisión y la impresión y el fin (véase figura 1).

Figura 1. Áreas de interés y fijaciones

Variables

Instrucciones:

Se requiere un algoritmo para obtener la suma de diez cantidades. Puede que haya presente un error, detéctelo.

1) SU = SU + VA2) C = C – 13) C > 104) No hay errores

Opciones

Instrucciones

Nombre de la variable Descripción Tipo C Contador Entero VA Valor por sumar Real SU Suma de los valores Real

3858.96

Mse

c

0

Ítem 1 novatos. Diagrama de flujo

Ítem 11 novatos. Pseudocódigo

1. Inicio

2. Hacer SU = 0

3. Hacer C = 1

4. Mientras C < = 10

Leer VA

Hacer SU = SU + VA

Hacer C = C – 1

Fin mientras

5. Escribir SU

6. Fin

Inicio

Inicialización

Proceso

Decisión

Acción final

Fin

Instrucciones:

Se requiere un algoritmo para obtener la suma de diez cantidades. Puede que haya presente un error, detéctelo.

1) SU = SU + VA2) C = C – 13) C > 104) No hay errores

Opciones

Instrucciones

Variables

Nombre de la variable Descripción Tipo C Contador Entero VA Valor por sumar Real SU Suma de los valores Real

Inicio

Inicialización

Proceso

Decisión

Acción final

Fin

Inicio

SU = 0

C = 1

C = C – 1

SU = SU + VA

C > 10

VA

SU

Fin

6311.21

Mse

c

0

Ciclo

Page 9: Resolución de diagramas de flujo y pseudocódigo por parte ...

Estudios de investigación

Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146 | 137

Resolución de diagramas de flujo y pseudocódigo por parte de estudiantes de Ciencias de la Computación de la Universidad de Costa Rica

Nota: en esta figura se muestra uno de los ejercicios que se les presentó a los participantes (formato de diagrama de flujo y pseudo-código). El patrón de visualización de los novatos y expertos muestra diferencias en cuanto a las áreas en las que se produjeron una mayor cantidad de fijaciones.

Fuente: elaboración propia.

Variables

Instrucciones:

Se requiere un algoritmo para obtener la suma de diez cantidades. Puede que haya presente un error, detéctelo.

1) SU = SU + VA2) C = C – 13) C > 104) No hay errores

Opciones

Instrucciones

Nombre de la variable Descripción Tipo C Contador Entero VA Valor por sumar Real SU Suma de los valores Real

Ítem 1 expertos. Diagrama de flujo

Ítem 11 expertos. Pseudocódigo

Variables

Inicio

Inicialización

Proceso

Decisión

Acción final

Fin

Se requiere un algoritmo para obtener la suma de diez cantidades. Puede que haya presente un error, detéctelo.1) SU = SU + VA2) C = C – 13) C > 104) No hay errores

Opciones

Instrucciones

Nombre de la variable Descripción Tipo C Contador Entero VA Valor por sumar Real SU Suma de los valores Real

Inicio

SU = 0

C = 1

C = C –1

SU = SU + VA

C > 10

VA

SU

Fin

1. Inicio

2. Hacer SU = 0

3. Hacer C = 1

4. Mientras C < = 10

Leer VA

Hacer SU = SU + VA

Hacer C = C – 1

Fin mientras

5. Escribir SU

6. Fin

Ciclo

Instrucciones:

3.4. Diseño

Como covariables se emplearon la inteligencia fluida, medida por medio del test de factor G de Cattell; la velocidad de procesamiento, medida por medio de la prueba de dígitos y

Inicio

Inicialización

Proceso

Decisión

Acción final

Fin

4734.34

Mse

c

0

2193

Mse

c0

Page 10: Resolución de diagramas de flujo y pseudocódigo por parte ...

138 | Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146

L. A. Villalobos, Á. de la Ossa, O. A. Rodríguez-Villagra y A. E. Vergara

símbolos; y la memoria de trabajo, mediante la prueba de dígitos en orden inverso y en orden directo (véase cuadro 1).

Cuadro 1. Puntuaciones de las pruebas aplicadas como covariables

Media T DF p-value

Directa Cattell

Expertos 24,90 0,22 15,26 0,823

Novatos 24,70

Centil Cattell

Expertos 82,80 0,52 14,11 0,606

Novatos 80,60

CI Cattell

Expertos 108 0,22 15,26 0,823

Novatos 107

Dígitos y símbolos

Expertos 60,10 0,26 15,94 0,797

Novatos 59,20

Dígitos directos

Expertos 9,56 2,13 13,50 0,051

Novatos 9,11

Dígitos inversos

Expertos 8,67 2 15,75 0,063

Novatos 8,22

Nota: muestra las puntuaciones obtenidas en las pruebas aplicadas como covariables para determinar si las diferencias observadas entre ambos grupos se debieron a su nivel de experiencia en la materia o a un mayor nivel de inteligencia fluida, memoria de trabajo y velocidad o procesamiento. En todas las puntuaciones, el p-value es superior a 0,05. T (puntuación t) y DF (grados de libertad).

Fuente: elaboración propia.

Page 11: Resolución de diagramas de flujo y pseudocódigo por parte ...

Estudios de investigación

Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146 | 139

Resolución de diagramas de flujo y pseudocódigo por parte de estudiantes de Ciencias de la Computación de la Universidad de Costa Rica

Se aplicaron pruebas t para comparar las pun-tuaciones de novatos y expertos en las pruebas aplicadas. Dado que en todos los casos el p-value fue superior a 0,05, no se encontraron diferencias significativas entre ambos grupos, por lo que se puede afirmar que sus capacidades cognitivas son similares.

Las áreas de interés fueron definidas en función del criterio experto de profesores de la Escuela de Ciencias de la Computación de la Universidad de Costa Rica. Estas fueron definidas en base a los procesos que se llevan a cabo al ejecutar un algo-ritmo. El inicio marca el principio del proceso, la ini-cialización agrupa las primeras acciones, el proceso indica la entrada y las acciones posteriores. Aparte está la decisión, el ciclo, la acción final y el fin.

El criterio experto predecía que las áreas más importantes para la resolución del proble-ma son el proceso, la decisión y la inicialización, mientras que las opciones, las variables y las instrucciones lo son para informarse de las características del problema.

En la figura 1 se pueden apreciar las distintas áreas de interés, así como el patrón de visualización promediado en dos ejercicios: el diagrama de flujo, por un lado, y el pseudo-código, por otro; novatos, en la primera parte de la figura, y expertos, en la segunda parte.

3.5. Análisis estadístico

Los datos se extrajeron del programa Data Viewer (SR Research, 2017). Dicho programa genera una base de datos en la cual, para cada una de las áreas de interés de cada ejercicio, con cada una de las personas participantes, se genera una fila de datos, obteniéndose 3.286 observaciones (18 participantes, 20 ejercicios y 9-10 áreas de interés por ejercicio; el área de interés «ciclo» no se encuentra presente en los pseudocódigos). Para cada una de esas observaciones se dispone de las fijaciones totales en dicha área, la duración en milisegun-dos de las fijaciones en dicha área, la respuesta dada por el usuario en cada ejercicio y la apertura máxima de la pupila. Las puntuaciones de dichas variables se promediaron para realizar los análisis. El análisis estadístico de los datos se llevó a cabo en el programa R Stu-dio (Wickham y Grolemund, 2017). Se seleccionó este programa estadístico debido a que permite la instalación de varios paquetes complementarios que facilitan el proceso de aná-lisis. En concreto se utilizaron, ggplot2 (Wickham et al., 2020), dbplyr (Wickham, Francois, enry y Muller, 2020), naniar (Tierney, Cook, McBain, Fay, 2020) y Rmarkdown (Allaire et al., 2020). Se llevaron a cabo gráficos de barras con error estándar y pruebas t.

Las áreas de interés fueron Las áreas de interés fueron definidas en función del definidas en función del criterio experto de profesores criterio experto de profesores de la Escuela de Ciencias de la de la Escuela de Ciencias de la Computación de la Universidad Computación de la Universidad de Costa Ricade Costa Rica

No se encontraron diferencias No se encontraron diferencias significativas entre novatos y significativas entre novatos y expertos, por lo que se puede expertos, por lo que se puede afirmar que sus capacidades afirmar que sus capacidades cognitivas son similarescognitivas son similares

Page 12: Resolución de diagramas de flujo y pseudocódigo por parte ...

140 | Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146

L. A. Villalobos, Á. de la Ossa, O. A. Rodríguez-Villagra y A. E. Vergara

4. Resultados

En la figura 2 se muestra que, en los diagramas de flujo, los expertos presentan un mayor número de fijaciones en las áreas de decisión, inicialización y proceso, tomando en cuenta el error estándar, mientras que los novatos presentan un mayor número de fijaciones en las áreas de ciclo, opciones y variables, tomando en cuenta el error estándar.

Figura 2. Gráficos de barras con error estándar. Diagramas de flujo expertos-novatos

Nota: se muestran diferencias entre expertos y novatos en el número de fijaciones en las diversas áreas de interés de los diagramas de flujo.

Fuente: elaboración propia.

Fija

cion

es

40

30

20

10

0

Ciclo Decisión Fin Final Inicialización Inicio Instrucciones Opciones Proceso Variables

Áreas de interés

Población

Expertos

Novatos

Como se puede apreciar en la figura 3, en los pseudocódigos, los expertos presentan un mayor número de fijaciones en el área de decisión, tomando en cuenta el error estándar, mientras que los novatos muestran más fijaciones en las áreas de instrucciones, opciones y variables. El incremento en el número de fijaciones puede ser un indicativo de mayor tiempo de procesamiento.

Page 13: Resolución de diagramas de flujo y pseudocódigo por parte ...

Estudios de investigación

Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146 | 141

Resolución de diagramas de flujo y pseudocódigo por parte de estudiantes de Ciencias de la Computación de la Universidad de Costa Rica

Figura 3. Gráficos de barras con error estándar. Pseudocódigos expertos-novatos

Nota: se muestran diferencias entre expertos y novatos en el número de fijaciones en las diversas áreas de interés de los pseudocó- digos.

Fuente: elaboración propia.

Población

Expertos

Novatos

Fija

cion

es

40

30

20

10

0

Decisión Fin Final Inicialización Inicio Instrucciones Opciones Proceso Variables

Áreas de interés

Las pruebas t-student mostraron diferencias significativas entre novatos y expertos en cuanto al rendimiento en los diagramas de flujo, p < 0,001 (véase cuadro 2). Con respecto al rendimiento en los pseudocódigos, las pruebas t-student mostraron diferencias signifi-cativas entre novatos y expertos, p < 0,001 (véase cuadro 3).

Cuadro 2. Prueba t-student. Diferencias en rendimiento entre expertos y novatos en diagramas de flujo

Población N Media T DF p-value

Expertos 9 0,87 10,83 1.507,5 2,2e-16

Novatos 9 0,66

Nota: N (tamaño de la muestra), T (puntuación t) y DF (grados de libertad).

Fuente: elaboración propia.

Población

Expertos

Novatos

Page 14: Resolución de diagramas de flujo y pseudocódigo por parte ...

142 | Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146

L. A. Villalobos, Á. de la Ossa, O. A. Rodríguez-Villagra y A. E. Vergara

Cuadro 3. Prueba t-student. Diferencias en rendimiento entre expertos y novatos en pseudocódigos

Población N Media T DF p-value

Expertos 9 0,79 4,10 1.578,3 4,33e-05

Novatos 9 0,70

Nota: N (tamaño de la muestra), T (puntuación t) y DF (grados de libertad).

Fuente: elaboración propia.

Las pruebas t-student llevadas a cabo para determinar si hay diferencias significativas entre novatos y expertos en cuanto al tiempo que duraron resolviendo los problemas mos-traron que, en el caso de los diagramas de flujo, no se encontraron diferencias significati-vas, p > 0,001 (véase cuadro 4).

Con relación a los pseudocódigos, las pruebas t-student mostraron diferencias signifi-cativas entre novatos y expertos en cuanto al tiempo que duraron resolviendo los pseudo-códigos, p < 0,001 (véase cuadro 5).

Cuadro 4. Prueba t-student. Diferencias en la duración en milisegundos entre expertos y novatos en diagramas de flujo

Población N Media T DF p-value

Expertos 9 47.880,46 1,49 1.629,3 0,13

Novatos 9 45.626,37

Nota: N (tamaño de la muestra), T (puntuación t) y DF (grados de libertad).

Fuente: elaboración propia.

Cuadro 5. Prueba t-student. Diferencias en la duración en milisegundos entre expertos y novatos en pseudocódigos

Población N Media T DF p-value

Expertos 9 36.544,13 – 5,43 1.509,1 6,485e-08

Novatos 9 43.144,68

Nota: N (tamaño de la muestra), T (puntuación t) y DF (grados de libertad).

Fuente: elaboración propia.

Page 15: Resolución de diagramas de flujo y pseudocódigo por parte ...

Estudios de investigación

Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146 | 143

Resolución de diagramas de flujo y pseudocódigo por parte de estudiantes de Ciencias de la Computación de la Universidad de Costa Rica

5. Discusión

Al tomarse en cuenta como variables de control la inteligencia fluida y la memoria de trabajo de las personas participantes, se descarta que las diferencias observadas se deban a una disparidad en las capacidades cognitivas de los participantes. Esto es de relevancia para futuras investigaciones con seguimiento ocular, ya que, debido a lo especializado que es el equipo y al tiempo de aplicación (alrededor de 1 hora por participante, incluyendo la firma de consentimiento informado y otras pruebas que hay que aplicar), las muestras en este tipo de estudios suelen ser pequeñas, en torno a los 15-30 participantes (Gegenfurther et al., 2011), por lo que contar con métodos adicionales para asegurar la confiabilidad de los datos es importante.

Al disponerse de una batería de ítems más extensa que en investigaciones anteriores, se asegura una mayor confiabilidad externa de los datos, ya que se simula con mayor fiabilidad el tipo de experiencia a la que se verán sometidos los estudiantes en el entorno académico.

Al relevarse que hay un patrón diferenciado de visualización entre novatos y expertos, mostrándose que los segundos tienen un mayor rendimiento, se debe procurar que los no-vatos adopten en su formación estrategias similares para poder resolver los problemas de representación de algoritmos.

En concreto, se identificó que los novatos llevan a cabo una mayor cantidad de fijaciones en áreas de interés de tipo informativo, mientras que los expertos se centran en las áreas que contienen la información relevante para la resolución del problema.

6. Conclusiones y recomendaciones

En los expertos, aproximadamente, la mitad de las fijaciones se centran en las áreas de interés más relevantes para la resolución del problema, mientras que, en los novatos, apro-ximadamente, un tercio de las fijaciones se concentran en esas áreas. En cuanto al rendi-miento, se observaron diferencias significativas entre expertos y novatos, mostrando los primeros mejor rendimiento. En cuanto a la duración de la resolución de los ejercicios, solo se encontraron diferencias significativas entre expertos y novatos al resolver pseudocódigos.

Al tomarse en cuenta como variables de control la inteligencia fluida y la memoria de trabajo de las personas participantes, se descarta que las diferencias observadas se deban a diferencias en las capacidades cognitivas de los participantes.

El que se lleve a cabo un control de las habilidades cognitivas es de relevancia para fu-turas investigaciones con seguimiento ocular, ya que contar con métodos adicionales para asegurar la confiabilidad de los datos es importante.

Page 16: Resolución de diagramas de flujo y pseudocódigo por parte ...

144 | Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146

L. A. Villalobos, Á. de la Ossa, O. A. Rodríguez-Villagra y A. E. Vergara

Al disponerse de una batería de ítems más extensa que en investigaciones anteriores, se asegura una mayor confiabilidad externa de los datos, ya que se simula con mayor fiabilidad el tipo de experiencia a la que se verán sometidos los estudiantes en el entorno académico.

Los datos parecen indicar que el uso de diagramas de flujo únicamente es adecuado para ejercicios de baja dificultad, por lo que su utilización debería limitarse únicamente a las primeras clases de computación.

Los expertos presentaron mayores tiempos de ejecución y menor rendimiento al em-plear diagramas de flujo, lo que puede ser indicativo de que se ha perdido experiencia en el uso de dicho sistema de representación.

El mayor tiempo de ejecución y el menor rendimiento en los ejercicios de búsqueda de errores podría ser indicativo de que este tipo de problemas podría demandar una mayor carga de memoria de trabajo; sin embargo, dicha hipótesis no se puso a prueba en esta investigación.

Recomendaciones para docentes de programación:

• En novatos, presentar ejemplos en que las áreas más importantes estén repre-sentadas de otro color, pudiéndose utilizar este sistema tanto en los pseudocó-digos como en los diagramas de flujo.

• En novatos, variar el sistema de representación de los diagramas de flujo en fun-ción de si forman parte de la etapa del proceso de inicialización o de la etapa del proceso central, ya que se utiliza la misma simbología para representar ambas etapas.

• A nivel intermedio, procurar adoptar lo más rápido posible el uso de pseudocó-digos, dada su mayor similitud a los lenguajes de programación.

• A nivel intermedio, procurar llevar a cabo ejercicios de detección de errores, dado que son más exigentes.

Recomendaciones para investigadores de ciencias de la computación:

• Revisar estudios previos similares hechos con lenguajes de programación espe-cíficos para determinar en ese lenguaje cuáles son las áreas de interés relevantes para resolver problemas.

• Explorar la posibilidad de llevar a cabo estudios de seguimiento ocular con el objetivo de contribuir a estudios de control de calidad de software.

• Dichos estudios se suelen basar, en gran parte, en la percepción del usuario acer-ca del desempeño del sistema.

Page 17: Resolución de diagramas de flujo y pseudocódigo por parte ...

Estudios de investigación

Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146 | 145

Resolución de diagramas de flujo y pseudocódigo por parte de estudiantes de Ciencias de la Computación de la Universidad de Costa Rica

Recomendaciones para investigadores en ciencias cognoscitivas:

• Profundizar en las diferencias en la carga en la memoria de trabajo en las tareas de identificación de errores y de reconocimiento de la función que implementa un método.

• Profundizar en las estrategias cognitivas empleadas por los estudiantes al resol-ver problemas de algoritmos computacionales; por ejemplo, desde el modelo de adquisición-codificación-recuperación-apoyo.

Referencias bibliográficas

Allaire, J., Xie, Y., Mc Pherson, J., Luraschi, J., Ushley, K., Atkins, A. y Wickham, H. (2020). Dynamic Documents for R. Recuperado de <https://cran.r-project.org/web/packages/rmarkdown/rmarkdown.pdf> (consultado el 16 de enero de 2020).

Andrzejewska, M., Stolinska, A., Blasiak, W., Peczkowski, P., Rosiek, R., Rozek, B., Sajka, M. y Wcislo, D. (2015). Eye-tracking veri-fication of the strategy used to analyse algorithms expressed in a flowchart and pseudocode. Interactive Learning Environ-mets, 24(8), 1.981-1.995.

Aschwanden, C. y Crosby, M. (2006). Code scanning patterns in program comprehen- sion. 39th Annual Hawaii International Con-ference on Systems.

Bednarik, R. (2012). Expertise dependent visual attention strategies develop over time during debugging with multiple code repre-sentations. International Journal of Human-Computer Studies, 70, 143-155.

Bednarik, R., Busjahn, T. y Schulte, C. (2014). Eye movements in programing education: analyzing the expert's gaze. Proceedings of the First International Workshop.

Cattell, R. y Cattell, A. (2015). Manual prueba factor G de Catell. Madrid: Tea Ediciones.

Dink, J. W. y Ferguson, B. (2015). EyetrackingR: An R Library for Eye-Tracking Data Analysis. Recuperado de <http://www.eyetrackingr.com> (consultado el 15 de enero de 2020).

Gegenfurther, A., Lehtinen, E. y Saljo, R. (2011). Expertise differences in the com-prehension of visualizations: a meta-analy-sis of eye-tracking research in profesional domains. Educational Psychology Review, 23, 523-552.

Lin, Y., Wu, C., Hou, T., Lin, Y., Yang, F. y Chang, C. (2015). Tracking students cogni-tive processes during program debugging: an eye movement approach. IEEE Tran-sactions on Education, 59(3), 175-186.

Page 18: Resolución de diagramas de flujo y pseudocódigo por parte ...

146 | Tecnología, Ciencia y Educación, 17 (septiembre-diciembre 2020), pp. 129-146

L. A. Villalobos, Á. de la Ossa, O. A. Rodríguez-Villagra y A. E. Vergara

Pinales, F. y Velázquez, C. (2014). Algoritmos resueltos con diagramas de flujo y pseudo-código. Aguascalientes, México: Universi-dad Autónoma de Aguascalientes.

Rueda, S. (2013). El desarrollo de la compren-sión lectora en las carreras de informática. XVIII Congreso Argentino de Ciencias de la Computación. Departamento de Ciencias e Ingeniería de la Computación, Universi-dad Nacional del Sur.

SR Research. (2017). EyeLink Data Viewer User's Manual. Ontario, Canadá: SR Research.

Tierney, N., Cook, D., McBain, M. y Fay, C. (2020). Data Structures, Summaries and Visuali-sations for Missing Data. Recuperado de <https://cran.r-project.org/web/packages/ naniar/naniar.pdf> (consultado el 17 de enero del 2020).

Tsapatsoulis, N. (2014). Learning Technologies & Open and Distance Learning. Nicosia, Chipre: University of Cyprus.

Wickham, H. y Grolemund, G. (2017). R for Data Science. EE. UU.: O'Reilly.

Wickham, H., Francois, R., Henry, L. y Muller, K. (2020). A Grammar of Data Manipulation. Recuperado de <https://cran.r-project.org/ web/packages/dplyr/dplyr.pdf> (consulta- do el 18 de enero de 2020).

Wickham, H., Chang, W., Henry, L., Pedersen, T., Takahashi, K., Wilke, C. y Woo, K. (2020). Create Elegant Data Visualizations Using the Gramar of Graphics. Recuperado de <https://cran.r-project.org/web/packages/ ggplot2/ggplot2.pdf> (consultado el 19 de enero de 2020).

Este máster oficial [60 créditos ECTS] tiene una duración normal de 12 meses.

Dirigido a: Titulados universitarios de las distintas ramas del conocimiento que deseen especializarse en el correcto desempeño de las funciones de un experto en tecnología educativa. No exige experiencia previa en el ámbito educativo. Especialmente dirigido a titulados en Magisterio, Pedagogía y Educación Social.

Aquellas personas interesadas que no provengan de las titulaciones anteriormente citadas deberán realizar unos complementos formativos.

Objetivos: Capacitar a profesores, investigadores y educadores en el conocimiento y empleo de las nue-vas tecnologías de la comunicación y la información, así como de los modelos formativos e-learning y b-learning, en beneficio de las acciones formativas en los nuevos contextos educativos. También profundiza en el conocimiento de las posibilidades que ofrecen las tecnologías actuales y emergentes para encontrar nuevas formas de obtención y manejo de información en ámbitos educativos.

Inicio en octubre y febrero de cada año www.udima.es | 918 561 699

Máster en Tecnología Educativa

Page 19: Resolución de diagramas de flujo y pseudocódigo por parte ...

Este máster oficial en Formación del Profesorado de Educación Secundaria Obligatoria, Bachille-rato, Formación Profesional y Enseñanza de Idiomas [60 créditos ECTS] tiene una duración nor-mal de 12 meses.

Dirigido a: La universalización de la enseñanza secundaria y el incremento de la atención a la diversidad de alumnos en todos los niveles de enseñanza han hecho más patente la necesidad de mayor formación didáctica. El educador ya no solo ha de ser un experto en su materia, sino que debe tener la suficiente ca-pacidad didáctica para adaptar la misma a grupos de alumnos muy heterogéneos en intereses, capacidades y actitudes.

Objetivos: Adquirir todas las habilidades y competencias necesarias para poder desarrollar una carrera profesional en el ámbito de la enseñanza en los niveles de Educación Secundaria Obligatoria y Bachi-llerato, Formación Profesional y Enseñanzas de Idiomas de acuerdo a la normativa vigente, ya sea para dar clase en centros públicos, privados o concertados. Ofrecer formación integral y especializada a los participantes.

Inicio en octubre y febrero de cada año www.udima.es | 918 561 699

Máster en Formación del Profesorado de Educación Secundaria

Publicaciones de interésÁrea de Tecnología, Ciencia y Educación

Psicología de la educación para docentes de infantil y primariaCoordinadoras: Laura Granizo González, María Luna Chao, Isabel Martínez Álvarez

Llegar a ser un buen educador implica un proceso de formación continua en el cual se hace necesario conocer en profundidad las contribuciones de distintas disciplinas, entre ellas la psicología. Pensada para la formación de los estudiantes de magisterio, con un estilo riguroso, pero cercano, y usando multitud de ejemplos extraídos fundamentalmente de aulas de infantil y primaria, esta obra pretende ser una primera aproximación a algunas de las aportaciones más relevantes que hace la psicología de la educación para analizar la práctica educativa e intervenir sobre los principales retos que plantea.

Este manual contiene diez capítulos divididos en dos partes. La primera sirve como marco de refe-rencia conceptual para comprender los factores que contribuyen a explicar la calidad de los procesos de enseñanza y aprendizaje que se llevan a cabo en las escuelas. En la segunda parte, se reflexiona sobre el modelo de escuela inclusiva y sobre las formas de atender a la diversidad del alumnado.

Más información en tienda.cef.udima.es | 914 444 920

Page 20: Resolución de diagramas de flujo y pseudocódigo por parte ...

Metodología personalizada con resultados de aprendizaje garantizadosLa formación de lenguas extranjeras se lleva a cabo dentro de la normativa vigente de la enseñanza de idiomas en España y en la Comunidad Europea. Los cursos presentan un diseño adaptado al Marco Común Europeo de Referencia para las Len-guas y a la metodología propia de la UDIMA: un sistema de enseñanza cercano, flexible, actual, dinámico y personalizado.

Cursos generales

Cursos universitarios de español

Títulos propios no oficiales que tratan de acercar al alumno a las habilidades lingüísticas necesarias para el dominio del español como lengua extranjera.

Curso de chino (nivel iniciación)

Este curso permite que los estudiantes adquieran las capacidades necesarias para defenderse en situaciones sencillas de la vida cotidiana y para desenvolverse socialmente en el idioma chino. Además, prepara al alumno para el examen oficial de primer nivel HSK1/A1.

Cursos de preparación de exámenes

Certificate in Advanced English (CAE)

La finalidad del Certificate in Advanced English (CAE) es proporcionar a estudiantes y profesores de idiomas, en una varie-dad de situaciones, el acceso a una amplia gama de exámenes internacionales de gran calidad, test y diplomas para pro-fesores que les ayuden a lograr sus metas personales y que repercutan favorablemente en su experiencia de aprendizaje y desarrollo profesional. El Certificate in Advanced English (CAE) se corresponde con el nivel C1 del Marco de Referencia Europeo.

Curso de preparación TKT CLIL Module (TKT)

Este curso, indicado para profesores que están preparando el examen TKT CLIL, les apor-tará las herramientas y el conocimiento necesarios para superar el examen oficial y para mejorar el proceso de enseñanza-aprendizaje en el aula CLIL. El curso se dará en inglés, ayudando al alumno a reforzar el vocabulario, la gramática y las funciones que han sido aprendidos previamente con explicaciones y correcciones puntuales. Los contenidos se centrarán en los temas necesarios para dar una clase CLIL (principios teóricos, planifica-ción en el aula, técnicas y evaluación).

Preliminary English Test (PET)

El Preliminary English Test (PET) es un examen de inglés de nivel intermedio. La preparación de este examen ayudará a mejorar las destrezas lingüísticas y el uso del inglés para comunicarse con hablantes nativos de manera cotidiana. El Preliminary English Test (PET) se correponde con el nivel B1 del Marco de Re-ferencia Europeo.

First Certificate in English (FCE)

La finalidad del First Certificate in English (FCE) es proporcionar a los es-tudiantes de idiomas la preparación suficiente que les permita lograr sus metas personales, repercutiendo favorablemente en su experiencia de aprendizaje y desarrollo profesional. El First Certificate in English (FCE) se corresponde con el nivel B2 del Marco de Referencia Europeo.

Instituto de Idiomas