Simpósio Auto-Organizado: eRúbrica federada para la evaluación de...

http://gteavirtual.org/rubric

Simpósio Auto-Organizado: eRúbrica federada para la evaluación de los aprendizajesVII Congreso Iberoamericano de Docencia UniversitariaUniversidad de Oporto -Portugal- 24-27 Junio 2012

[Plan Nacional I+D+i 2008-11 EDU-2010-15432]

(I) Servicio Federado de eRúbrica para la evaluación de los aprendizajes universitarios

(II) Centro para el diseño de eRúbricas

https://www.sined.mx/rubrica.htmlSistema Nacional de Educación a

Distancia -SINED-

[Proyecto Colaboración UMA (España) SINED México] 2012-13

http://erubrica.org

http://erubrica.org

https://www.sined.mx/rubrica.html

https://www.sined.mx/rubrica.html


Indice

1. Desarrollo conjunto de herramientas federadas para la evaluación por competencias. Dr. Manuel Cebrián UMA (España), Dra. Lourdes Galeana SINED (México), Dr. Juan José Monedero UMA (España) y Dr. Julio Ruiz Palmero UMA (España)

2. Análisis comparativo de metodologías de evaluación formativa: diarios personales mediante blogs y autoevaluación mediante rúbricas. Dra.Esther Martínez UVI (España), Dr. Fernando Tellado UVI (España) y Dr. Antonio Bartolomé UB (España) 3. Contraste entre instrumentos de evaluación tradicionales y rúbricas: estudio de un caso en una asignatura de introducción a la programación en Java. Dr. Santiago Tapia y Dr. Angel García UPM (España)

4. Evaluación entre pares y autoevaluación basadas en rúbricas. Dra. María Jesús Gallego UGR (España) y Dra .Manuela Raposo UVI (España)

5. Las rúbricas en la evaluación de las competencias transversales. Dra.Karmele Bujan Vidales (EHU) (España) y Dra.Itziar Recalde (EHU) (España)

6. Usabilidad y satisfacción de la erúbrica mediante cuestionarios online con Limesurvey. Dr. José Serrano UMA (España) y D. Daniel Cebrián UMA (España)


[Proyecto Colaboración UMA (España) SINED México 2012-13]

1. Desarrollo conjunto de herramientas federadas para la evaluación por competencias

Dr. Manuel Cebrián UMA (España), Dra. Lourdes Galeana SINED (México), Dr. Juan José Monedero UMA (España) y Dr. Julio Ruiz Palmero UMA (España)

2. Entornos federados para la colaboración iberoamericana (AECID) 2008-2010

2. Proyecto AECID 2008-10

3. Proyecto Sined 2011-12

3 . Proyec to desar ro l l o de Entornos Federados en EAD. Sined (México) 2011-2012

1. Modelo supervisión con eportafolios y erubricas (Practicum Infantil y Primaria) desde 1997

17 Nodos periféricos

1. Modelo de supervisión desde 1997-....

4. Servicio de eRúbrica para los aprendizajes universitarios

[ P l a n N a c i o n a l I + D + i 2 0 0 8 - 1 1 EDU-2010-15432]

5. Centro de diseño de eRúbrica 2012-13



RESULTADOS-CONTENIDOS+ Prácticas en el uso de TIC:

OAs, etutorías, Evaluación formativa+ TIC y multiculturalidad

+ Consolidación de la comunidad

Proyecto Entornos federados para la colaboración iberoamericana (AECID) 2008-2010

http://resib.uma.es

http://resib.uma.es

http://resib.uma.es



METODOLOGÍA:Un entorno sencillo para la experimentación

* Foodle para la toma de decisiones en red y coordinar la agenda de temas

* Los Foros para debatir y compartir archivos

* Una Wiki para elaborar los contenidos

* LimeSurvey para evaluar la usabilidad del entorno

AGENDA (UABC) MX FOODLE (UCPL) ARG FORO (UCOL) MX ENCUESTA (UMA) ESP

WIKI (UCES) ARG

http://resib.uma.es

http://resib.uma.es

http://resib.uma.es



1. Experimentación de metodologías de evaluación entre pares y autoevaluación con eRúbricas.

2. Evaluación de las prácticas metodológicas con el uso de las eRúbricas

3. Experimentación de tecnologías de federación en el trabajo académico en red(autenticación y federación)

http://erubrica.org/rubric


4. Servicio de eRúbrica para los aprendizajes universitarios


http://erubrica.org

http://erubrica.org



Competencias

Indicadores y evidencias

Criterios

2.- Gtea eRubric federada: un nuevo concepto pedagógico

Definicion. es una herramienta para la evaluación por competencias siguiendo una escala y criterios de valoración

- Autoevaluación,

- Evaluación de pares,

- Evaluación de profesores por estudiantes

- Evaluación de grupos...

eRúbrica federada

El docente elige la eRúbrica desde una lista posibles de herramientas de su institución u otras en internet.

Colaboración proyectos inter-institucionales

Log in/out

IDP Universidad de Málaga“Procolo indentidad”

SIR RedIRIS Identity system

Acceso eRúbrica

Selección proveedor identidadhttp://gteavirtual.org/rubric





EL OBJETIVO 3 se ha logrado plenamente

EL OBJETIVO 1 y 2 aún no tenemos todos los datos para el análisis

-Mediante federación Gtea para instituciones no afiliadas a RedIRIS y centros particulares

-Mediante federación de RedIRIS por el SIR donde están conectado:- 51 centro afiliados - 434 instituciones (universidades, centros de investigación...)

Estadística (Feb - 5 Abr ) por universidades y usuariosEstadística (Feb - 5 Abr ) por países y usuarios



Nodo Central17 Nodos Periféricos

D. Grabriel Cruz, Director Técnico del Sined



http://www.sined.mx/rubrica.html

http://www.sined.mx/




1. Herramienta eRúbrica Sined

2. Base de datos Ejemplos Rúbricas

3. Microseminarios

4. Base documental referencias







2. Base de datos Ejemplos Rúbricas

3. Microseminarios (Septiembre 2012)

4. Base documental referencias



2. Autorregulación

3. Evaluación pares

4. Motivación y autoevaluación

5. Evaluación de grupos

6. Evaluación supervisión

7. Evaluación vídeos

8. Evaluación materiales 3Detc






Log in/out

Acceso eRúbrica



http://erubrica.org



http://erubrica.org

http://erubrica.org

2. Análisis comparativo de metodologías de evaluación formativa: diarios personales mediante blogs y autoevaluación mediante rúbricas.

Dra.Esther Martínez UVI (España), Dr. Fernando Tellado UVI (España) y Dr. Antonio Bartolomé UB (España)

!"#$%&'(&!)*$+')&

",-./01-232&2/&4305/67,3&8"49&

$:;<67=&!"#$%&'($#)%)*#&

>3;/0-3=&+,$-./.#&0&12"",.2324&

",-./01-232&2/&?-@7&8"?+9&

$:;<67=&!"#$%&567#6/3&

>3;/0-3=&82(9#:&;(.6%3%)*#:&<=3,.#$#:&&#&3#&

>$2.#.,?6&567#6/3&@88;;A&

+,1;0<A/,;71&2/&.367035-B,&C&/.36<35-B,&

D7AE7,/,;/&2/&0/F/G-B,&7&

3<;700/@<635-B,&847/H3/0;1&/;&36IJ&

KLLL9I&&

(GE/0-/,5-3&2/&3E0/,2-M3N/&OP6&C&

13P1Q35;70-3&8430;767ARJ&KLLST&

U30A/0&/;&36IJ&KLLST&V03,R&C&

W-6X/AJ&KLLY9I&

!71-Z-6-232&2/&0/@<630&C&70-/,;30&1<&

3E0/,2-M3N/&8D/Z0-[,J&KL\L9I&

]/003A-/,;3&.[6-23&E303&E075/17^

/,1/_3,M3^3E0/,2-M3N/&8>30`,/M&C&

*3E717J&KL\L9I&

U35-6-;3270&2/&0/;0736-A/,;35-B,&&

8D/Z0-[,J&*3E717&C&)55-,7J&KLLaT&

*3E717&C&b305/23J&KLLS9I&



!"#!$%!&'%()!&)*+,)-(.!$%(,)

(/01234/)567181926:5481/)

(0;931/)56<63:=1/!

>=4/:864!?=4<))

%956@65;:=))!

.A6318!%9748B1)!

#C/318!

?=4<))

<8;0:=! !D04/626C9))

48:=!

(;341@:=;:26C9)

1@:=;:26C9)51)0:81/)

*65E2F2:)G)';8862;=;B)&;1@:/).1294=4<H:/)(0=62:5:/))

!5;2:26C9))%97:9F=)



!"#$%&'()#*)+&",-()#*

$.*/0.12*34*4.

504.

162*4.164*327*84123292:;<7*

(47=><5>?.*@<5><*0.*/9<.14<8>4.12*708<A=2*

'074.5><*34*>.146=4.5>2.47*560B<3<7*

C284.1<6>27*4D14.727*

C2.14.>32*34*9<7*4.16<3<7*

#4*528/<614.*647091<327*645>E.*5284.1<327*

#4*84F26<.*9<7*5<9>G5<5>2.47*

C2823>3<3H*IJ5>9*34*07<6*K*7>6=4*/<6<*4=<90<6*

!45284.3<L94*70*072*K*:4.46<9>B<5>?.***

(>3J5A5<*K**C066>50908*

3><6>27*/4672.<947*843><.14*+%)M#!

<0124=<90<5>?.*843><.14*!N+!-C'#!

,,&&*



!"#$%&'()&*+%,!-.&'(

!"#$%&'(%$)*+$,'*$-*.*/"#$*++"+*#$*.$.'*#-+"$-+%0%1"$&$%$)*+$23/"$%.4256%+$(572'8-%(*#9$

:*#6".(*$%$8%$5(*%$(*$;'<%$(*$.'*#-+"$=%2*+>$#%05*.("$,'?$#*$,'5*+*$&$*#6*+%$*.$*#-*$6+"&*2-"9$

@*+/5-*$2"."2*+$#"0+*$,'?$."#$)%.$%$*)%8'%+>$6"+$8"$-%.-">$-+%0%1%#$*.$*#%$8<.*%9$

A*#$*.$-"("$/"/*.-"$,'?$#*$=%$=*2="$&$,'?$B%8-%>$(C.("-*$5.(525"#$(*$8"$,'*$B%8-%9$

!"#$=%2*$+*D*E5".%+$#"0+*$8"#$2".-*.5("#$(*$.'*#-+"$-+%0%1"$&$)%8"+%+$8"#$(5B*+*.-*#$%#6*2-"#$

,'*$8"$B"+/%.9!

'/(0/12345(647(8469:848925/7(



!"#"$%$&$'()*+%,($-(./&0(1(/%02-(3&0&(-2&,.&04(((

56789:;(!:<=9>5?@:;(

!"#$%&"'"#()#*(")#+),-&(.")-/0#+)-"&",%)-"0#+))/1%2/&#3#2+4"&")-"5#!"#$%&"'"#678#3#."#

9(,-%&:%#1/81"&#%#(78+;%&8/5#

</),+2"&/#",-"#+),-&(.")-/#+2=)"/#$%&%#8/#>("#,"#$&"-")2"#'/)#"8#.+,./0#>("#)/,#/&+")-"#3#

,+&1%#$%&%#"1%8(%&)/,0#$(",#."#$%&"'"#'=./2/#-%)-/#$%&%#8%#$&/4",/&%#>("#+.$%&-"#8%#.%-"&+%#

'/./#$%&%#"8#%8(.)%2/#$%&%#%(-/"1%8(%&)/,#"#+)'8(,/#"1%8(%&#%#8/,#2".?,5#

@,#()#&"'(&,/#.(3#*(")/#3#&"'/.+")2/#,"9(+&#(,?)2/8/0#3%#>("#",#.('A/#.?,#,")'+88/#>("#/-&/,#

.B-/2/,5#

@8#+),-&(.")-/#(78+;%2/#$%&%#"1%8(%&#%#.+,#'/.$%C"&/,#4("#4?'+8#3#,")'+88/#2"#(78+;%&5!



!"#$%"&'()*"+,-+-,$+.+/"&"0(*12(#13&+++



!"#"$%&#'()"#$

*+,-+./$01-/.2,31/$

41*+,251$63.7/!

,85.19,38,:+;2$

41*+,251$-<6-+:,/!

=$(2/5-84125./$+*;21./$>$

:.40314125,-+./?$

"!$!./+6+3+*,*$*1$-1783,-$

0-.:1/.$12/1@,2A,=

,0-12*+A,B1$

"!$C.40,-D-$415.*.3.7E,/$>$

-1:8-/./$+251-=4,51-+,/$1$

+25-,=4,51-+,/?$

!&)F(&)%&$F&$#&GHIJ&#K$$

"!$L.-,-+.$9+-58,3$

"!$C8--+:8384$,$3,$:,-5,$

3. Contraste entre instrumentos de evaluación tradicionales y rúbricas: estudio de uncaso en una asignatura de introducción a la programación en JavaDr. Santiago Tapia y Dr. Angel García UPM (España)

Objetivos

1. Análisis de nuevas metodologías docentes y de estrategias de evaluación en la impartición de asignaturas orientadas al aprendizaje de un lenguaje de programación

2. Análisis del uso de rúbricas

a) Por el profesorado para la evaluación de trabajosb) Por el alumnado para valorar la actividad y la competencia de trabajo en equipo

Las asignaturas de Programación en Java

Cuatrimestrales de libre elección de 3 cr. ECTS en la titulación de Ing. Industrial (Plan 2000)

Características:

- Entre 20 y 30 alumnos por curso- Objetivo: adquisición de conocimientos de elementos básicos de programación conJava y de la metodología de la POO.- No se califica mediante un examen final tradicional (hay una prueba final como referencia comparativa en la investigación).- El resultado del aprendizaje es una competencia- El ejercicio profesional se suele hacer en equipo- El proceso de evaluación puede ser más objetivo

Modalidades de impartición

Presencial (dos horas por semana en laboratorio)A distancia (plataforma AulaWeb, email)



9013 – Programación en Java

1. Clases presenciales con orientación práctica en laboratorio con ordenadores: realización de ejercicios con supervisión del profesor

2. Contenidos en AulaWeb (PDF) y en la plataforma OCW-UPM

3. Condición para obtener el aprobado: asistencia al 80% de las clases

4. Actividades complementarias (con repercusión en la nota final): trabajos individuales y/o en grupo

9122 – Programación en Java

1. A distancia

2. Comunicación a través de email y AulaWeb

3. Contenidos en AulaWeb (PDF y SCORM) y en la plataforma OCW-UPM

4. Condición para obtener el aprobado: entrega del trabajo final en grupo

5. Actividades complementarias (con repercusión en la nota final): realización de ejercicios de autoevaluación periódicos, tareas individuales y trabajos en grupo

Comparativas de modalidades

1. Por parte de los profesores:

- Para la evaluación de los trabajos individuales y en grupo- Extensa: indicadores, niveles y pesos de elaboración propia orientados a trabajos

de desarrollo de software (corrección en la implementación, buen uso de elementos de programación, calidad de diseño, complejidad, alcance, tecnologías empleadas…)

- Implementación tradicional (en papel) y en formato electrónico (hoja Excel)

2. Por parte del alumnado:

-Para valorar las actividades y la competencia de trabajo en equipo. También para recoger otras valoraciones (en la asignatura a distancia)

- Reducida: 9 indicadores adoptados por parte del grupo de investigadores del Proyecto.

- Implementación tradicional (en papel) y en formato electrónico (AulaWeb)


Utilización de la eRúbrica


Rúbricas para la evaluación de trabajosAsignatura presencial: 3 x 12 trabajos en grupoAsignatura a distancia: 1 x 8 trabajos en grupo

Rúbricas para la valoración de los trabajos en equipoAsignatura presencial: 1 x 12 trabajos en grupoAsignatura a distancia: 3 x 12 trabajos en grupo

Implementación y resultados


Conclusiones y futuro desarrollo

- La rúbrica es un elemento imprescindible para la evaluación objetiva de trabajos de desarrollo de software por parte del profesor.

-En desarrollo de software una rúbrica sirve como un primer paso para el empleo de buenas prácticas de desarrollo y/o sistemas de calidad

- Se muestra también como de gran utilidad a la hora de obtener valoraciones de los alumnos sobre las metodologías empleadas

- El uso de las rúbricas en formato electrónico facilita la recogida y el posterior procesamiento automático de las respuestas (mejor si el procedimiento se lleva a cabo mediante una aplicación web ad hoc).

- Futuro: uso de la herramienta eRúbrica (Gtea)

4. Evaluación entre pares y autoevaluación basadas en rúbricas

Dra. María Jesús Gallego UGR (España) y Dra.Manuela Raposo UVI (España)

Aprendizaje significativo de los estudiantes

Aprendizaje autónomo

RÚBRICAS

HERRAMIENTA PARA EVALUARAFIANZAR APRENDIZAJE



Aprendizaje: Proceso continuado para alcanzar un adecuado nivel competencial mínimo

Uso de la rúbrica: Permite al estudiante

a) Fomentar la reflexiónb) Fortalecer el aprendizaje y desarrollo de competencias propias de la asignaturac) Disponer, de antemano, de los criterios que se considerarán en la evaluación de las competencias de

la asignaturad) Fomentar la socialización entre igualese) Aprender a evaluarf) Proporcionar un marco de autoevaluación y revisión por pares

OPINIONES DE LOS ESTUDIANTES sobre utilidad de las rúbricas en una evaluación formativa en procesos de aprendizaje:

Opinión individual autoevaluaciónDel compañero/a evaluación entre pares

Aplicación CUESTIONARIO DE SATISFACCIÓNTitulación: Grado de Ed Infantil y Ed PrimariaMateria: TIC en EducaciónUniversidades: UVI y Ugr



Nuevas Tecnologías Aplicadas a la Educación Infantil Grado de Educación Infantil Campus de Ourense y Pontevedra en la Universidad de VigoPrimer cuatrimestrePrimer curso6 créditos ECTS teóricos y prácticos3,5 horas semanales1,5 teoría en gran grupo -80 a 85 alumnos2 prácticas en grupos medianos de 20 a 25 estudiantes

Recursos didácticos y tecnológicos aplicados a la Educación Primaria Grado de Educación PrimariaCampus de Granada en la Universidad de GranadaPrimer cuatrimestreSegundo curso6 créditos ECTS teóricos y prácticos30% actividad presencial 55% asesoramiento a equipos de trabajo y puestas en común 15% tutorías a estudiantes y grupos

2 horas semanales presenciales - para dos grupos de 30-35 estudiantes



Diseño investigación Grupo experimental - Grupo control Exp N= 26 de Pontevedra y 31 Ourense Exp N= 32 de Granada

Rúbricas de contenido (4)Rúbrica de exposición de proyectosRúbrica de trabajo en grupo - COMÚN

Cuestionario “Matriz de valoración Trabajo en Equipo (TEE)”

Resultados

No diferencias significativasConstatación de oportunidad y validez de la rúbricacomo instrumento para:AutoevaluaciónEvaluación de pares

INDICADORES - CUESTIONARIOUSO DE RÚBRICASEMPLEO PARA AUTOEVALUACIÓNRÚBRICAS PARA EVALUACIÓN DE PARES

6. Usabilidad y satisfacción de la erúbrica mediante cuestionarios online con Limesurvey

Dr. José Serrano UMA (España) y D. Daniel Cebrián UMA (España)

Nueva Metodología

pedagógica

Efectividad Eficiencia Satisfacción

Nueva

Herramienta

Satisfacción

Usabilidad Instrumento

•! Los métodos que permiten evaluar si un sitio es usable y el logro de metas específicas con efectividad, eficiencia y satisfacción del usuario en un contexto determinado de uso. (ISO 9241-10)

Usabilidad

•! Permite evaluar la adecuación de una herramienta/instrumento para un determinado objetivo y perfil de usuario

Utilidad

•! Es la unión de los anteriores, de modo que permita hacer lo que yo necesito (utilidad) y de que tenga una curva de aprendizaje y de uso fácil para lograr lo que quiero (usabilidad)

Satisfacción

2. Conceptos



•!Más conocidos por simpleza de preguntas y precisión

•!Mide usabilidad

•! Escala 1 al 5

Cuestionario SUS

Validez Fiabilidad

Instrumento



Cuestionario SUS

Coeficiente Alfa de Cronbach 0,778838919

Cuestionario Usabilidad


Cuestionario Satisfacción


Coeficiente de correlación = 0,81



MUCHAS GRACIAS POR SU ATENCIÓN


http://erubrica.org

http://erubrica.org

http://erubrica.org

Simpósio Auto-Organizado: eRúbrica federada para la evaluación de...

Documents

Transcript of Simpósio Auto-Organizado: eRúbrica federada para la evaluación de...