Revista Iberoamericana de Evaluacin Educativa, 7(2), 223-237. *Contacto: jose.gonzalez@uv.es ISSN: 1989-0397 www.rinace.net/riee/ Recibido:1 Evaluacin:Aceptado: 19 de enero de 2013 15 de febrero de 201303 de marzo de 2014 Anlisisdeuncuestionarioparaevaluarmateriales elaboradosporpersonaldocenteenunespacio colaborativo para la innovacin educativa Analysisofaquestionnairetoassessmaterialsproducedby teachers in a collaborative space for educational innovation Jos Gonzlez-Such1*, Margarita Bakieva1 y Rosario Garca-Bellido2 1Universitat de Valncia, 2Universidad CEU Cardenal Herrera Enestetrabajosehanelaboradonuevosmaterialesdeinnovacineducativa (http://www.uv.es/innovamide).Elobjetivodelproyectoeselestablecimientode unespaciocolaborativo,enelquelosprofesorespuedanimplementarmateriales, esquemasyotroselementosdeapoyovisualalprocesodeaprendizajequehayan sido previamente evaluados y verificados. Para ello, se ha elaborado un cuestionario deevaluacindelosmateriales,alquesehaaplicadounanlisisdejuecespara asegurarlavalidezdecontenidoydeconstructo.Posteriormente,seaplica alumnosdevariastitulaciones.Losresultadosmuestranunelevadonivelde satisfaccin y utilidad con los materiales elaborados. Son una parte importante de la metodologa docente y al ser evaluados por el alumnado presentan un indicador de la satisfaccin de los estudiantes con el proceso y los resultados de la docencia. Palabrasclave:Evaluacin,Medicineducativa,Cuestionariosdeevaluacin, Evaluacin docente, Espacio colaborativo, Evaluacin de materiales educativos. Newmaterialsofeducationalinnovation(http://www.uv.es/innovamide)have been developed in this work. The objective of the project is theestablishment of a collaborative space, where teachers wishing to participate can implement materials, diagrams, etc. that have been previously evaluated and verified. To do so, has been developed a questionnaire for evaluation of materials, to which has been applied an analysisofjudgestoensurethecontentandconstructvalidity.Subsequently,it wasappliedtostudentsofvariousdegrees.Theresultsshowahighlevelof satisfactionandusefulnessoftheprocessedmaterials.Materialsproducedby teachers are an important part of the teaching methodology and to be evaluated by thestudentsareanindicatorofsatisfactionwithteachingstudentsandtheir results. Key words: Evaluation of teaching process, Educational Measurement, Assessment questionnaires,Facultyevaluation,Collaborativespace,Educativematerial evaluation. J. Gonzlez-Such, M. Bakieva y R. Garca-Bellido 224 1. Introduccin1 Paraevaluarlacalidaddocentedisponemosdedistintosprocedimientosyfuentes, aunqueansiguesiendounproblemaelegirelmsapropiado(GonzlezSuch,1998; 2003;Jornet,GonzlezSuchyBakieva,2012).Sehanpropuestodistintasfuentese instrumentosparasuevaluacin,aunquelasencuestasaestudiantessonelprincipal instrumentoutilizadoparatalfin.Unadelasfuentesdeinformacinsobrelalabordel profesor en el aula es sin duda el material de apoyo didctico. Los materiales o productos generadosporeldocenteconstituyenuntipodeevidenciadelahabilidaddocentedel profesor.Entrelosmaterialesquepodemosevaluarseencuentranlosdeapoyo, cuadernosdeejercicios,yotromaterialmultimediadeapoyoalasclases.Estos materialesestnsujetosalosmismosprocedimientosderevisinquecualquierotra publicacin.Larevisindelosmaterialesutilizadosenclasenoesunaprcticamuy corriente, pero cuando se realiza lo hacen los compaeros. Losmaterialestienengranimportanciadentrodelaevaluacinformativa(Carroll, 1981).Debemosrecordarlacontribucindelosprofesoresalprepararcuadernosde trabajos y materiales que en muchos casos no llegan a publicarse ms que a nivel interno para uso de los estudiantes. Braskamp et al. (1984) sealaban como posibles mdulos de revisin la organizacin, el contenido y la evaluacin del curso. Entrelasventajasqueseatribuyenalaevaluacindelosmateriales,seencuentrala facilidad de recogida de informacin y la identificacin del trabajo diario del profesor, as como la renovacin anual de materiales. Entre sus desventajas, como forma de evaluar al profesor,estqueenmuchasocasioneselprofesornoelaboramaterialespropiosde apoyoaladocencia,loqueconstituyeundficitparasuevaluacin,puesnoexisten evidenciasdesucompetenciaalrespecto.Noobstante,enlamayoradesistemasde evaluacin actuales se valora la elaboracin de materiales como un apartado dentro de la calidaddocente.Porotraparte,constituyenunaformademejoradelosmedios auxiliares docentes a tener en cuenta en la evaluacin de la docencia. La inclusin en el marco del Espacio Europeo de Educacin Superior implica un cambio enlosmodelosdeformacin,pivotandodesdeunmtodotradicional,basado fundamentalmente en el profesor a un modelo centrado en el aprendizaje del estudiante. Losentornosdeaprendizajeconstructivistamejoradosconelusodelaintegracin tecnolgica han abierto nuevos espacios para la docencia y el aprendizaje en la educacin superior.Elnfasisdeaprendizajesecentraencmoaprendeelestudiante.Dentrode este contexto, la aparicin de proyectos de innovacin educativa ha supuesto una forma deintegracinderecursosydenuevasformasdeengranaraspectosqueenmuchas ocasioneslosprofesorestenanasualcanceennuevosentornosquefacilitanel aprendizajedelosestudiantes.As,lamayorutilizacinderecursostecnolgicosde apoyoalaprendizaje,suimplementacineninternet,olautilizacindedispositivos mviles, han facilitado que el aprendizaje pueda llegar a cualquier situacin en la que se encuentra el alumno. 1 Este trabajo se ha realizado en el marco del proyecto Modelos de Anlisis de Variables de Contexto para la evaluacindesistemaseducativos(MAVACO,financiadoporelMinisteriodeEducacindeEspaaRef. EDU2009_13485,ylaConselleradeEducaci,CulturayEsportdelaGeneralitatValencianaAcciones complementarias, 2012-). Revista Iberoamericana de Evaluacin Educativa 225 Laintegracinderecursosaudiovisualesalawebdentrodeloquesehadenominado web2.0hageneradounnuevocampodeinvestigacinevaluativa.Sehansealado distintosusosdeestosrecursos:transmisordeinformacin,evaluadordeaprendizaje, etc. (Bartolom et al., 2007; Cabero, 1989, 2007). Porotraparte,enprogramasdeteleformacintambinsedebentenerencuentalos materiales (Jornet, et al., 2006), tal y como podemos observar en las siguientes etapas de este tipo de enseanza: Anlisisdelasreas(materias,contenidos,ocupaciones)quepodranser susceptibles de programacin mediante teleformacin. Anlisisdelascondiciones(derivadasdecaractersticaspersonales,socialesy contextuales) en que se pueden integrar programas de teleformacin aportando un mayor grado de beneficio. Diseodetipologasdeprogramasqueincluyandiferentessolucionesde administracin. Evaluacindelacalidadydelimpactodelosprogramasimpartidosmediante teleformacin. Duranteelcurso2012-2013algrupoInnovamidelehasidoconcedidounproyecto denominadoInnovamideL4U,Elaboracinyevaluacindematerialesdeaprendizaje,enel quesehaintegradounareddeinnovacinconlaparticipacindeprofesoresdelas UniversidadesdeValencia,UniversidadComplutense,UniversidaddelPasVascoyla Universidad de Cdiz. El propsito del proyecto es la elaboracin de materiales docentes basados en la utilizacin de programas freeware para el anlisis estadstico (ver tabla 1). Elproblemaconelquenosencontramosenmuchasocasiones,esquelaexplicacinse basaenprogramasinstaladosenlasaulas.EnelcasodelaUVeselSPSS,aunquelos alumnosnopuedentenerinstaladoelprogramaensuscasas,loquedificultala comprensinyelpoderrealizarlosejerciciosencualquierparte.Deahlaimportancia deimplementarmaterialesbasadosenprogramasdefcilaccesoporpartedel estudiante.Enlatabla1seofreceunresumendealgunasdesuscaractersticas principales. Rubio (2003), (ver tabla 2) indica que frente a instrumentos estructurados aparecen una seriedepropuestasmsflexiblesqueconducenalaidentificacindecriteriosparaque seaelusuariooelevaluadorelquedeterminelaponderacinylareflexinsobrela pertinenciadesupresenciaoausencia,oiniciativasdirigidasalaadaptacindelas normasISOparaelsoftwareymaterialesweb.Cabero(2001)sealatrestiposde evaluacinrespectoalosmediostecnolgicosengeneral:laevaluacindelmedioens (caractersticasdelmedio),laevaluacincomparativaconotromedioylaevaluacin didcticocurricular(elcomportamientodelmedioenelcontextodeenseanza-aprendizaje);ytresagentesevaluadores:losproductores,losexpertos(encontenidos, diseo instructivo), y los usuarios. J. Gonzlez-Such, M. Bakieva y R. Garca-Bellido 226 Tabla 1. Caractersticas y comparacin de programas freeware OPEN STATR APACHE OPENOFFICE CALC Desarrollador William Miller. http://www.statprograms4u.com/ Robert Gentleman y Ross Ihaka. Actualmente: R Development Core Team: http://www.r-project.org The Apache Software Foundation: http://www.openoffice.org Propsito Mltiple, diseado para manipular datos, clculos estadsticos. Resultado de implementacin GNU del lenguaje S. Diseado para anlisis de datos y diseo de grficos. Una hoja de clculo para realizar funciones presentes en Excel, incluyendo el sistema para definir series para representar grficos. Caractersticas Interfaz es similar a SPSS, amigable y fcil de utilizar. Interfaz bsica, tipo consola, necesario aprendizaje del lenguaje de programacin. Proporciona muchas herramientas estadsticas: modelos lineales y no lineales, tests estadsticos, anlisis de series temporales, algoritmos de clasificacin y agrupamiento, etc. Orientacin a objetos. Interfaz similar a una hoja de clculo Anlisis que pueden realizar Estadsticos descriptivos, bivariados, multivariantes. Es un entorno en el que se han implementado muchas tcnicas estadsticas tanto clsicas como modernas. Un anlisis estadstico se realiza en una serie de pasos, con unos resultados intermedios que se van almacenando en objetos, para ser observados o analizados posteriormente, produciendo unas salidas mnimas. A travs de macros de programacin se pueden introducir formulas y funciones manualmente, para poder realizar anlisis estadsticos. Puede realizar anlisis estadsticos a travs de aplicacin FOSS, llamada Gnumeric. Exporta hojas de clculo. Diseo de grficos. Ventajas No es necesaria la conexin a Internet para trabajar en el programa. No es necesario aprender cdigos para trabajar con el programa. Alternativa a los programas comerciales. Utilizable en la mayora de las plataformas. No es necesaria la conexin a Internet para trabajar en el programa. Programa ms utilizado en la investigacin estadstica, matemticas financieras y biomedicina. Posibilidad de cargar diferentes bibliotecas o paquetes con finalidades especficas de clculo o grfico. Gran capacidad grfica de alta calidad. Puede utilizarse como herramienta de clculo numrico, igual de eficaz que GNU Octave o MATLAB. Utilizable en la mayora de las plataformas. No es necesaria la conexin a Internet para trabajar en el programa. Utilizable en la mayora de las plataformas. Compatible con formato de Microsoft y Open Document Format (OASIS). Intuitivo y similar a otros programas de anlisis estadstico, con el interfaz fcil de aprender. Fuente: Elaboracin propia. Revista Iberoamericana de Evaluacin Educativa 227 Tabla2.Perspectivasmetodolgicasdelaevaluacindematerialeseducativosen soporte tecnolgicoFUNCIONES DE LA EVALUACIN OBJETIVOS DE LA EVALUACIN Y AGENTES EVALUADORES CRITERIOS PARA LA EVALUACIN INSTRUMENTOS DE OBTENCIN DE INFORMACIN De necesidades Aportar informacin sobre las mejoras que puede introducir el nuevo material Productores Estudio de otros materiales con objetivos similares Anlisis cualitativo Del input Determinar las capacidades para la realizacin del material Productores Software y hardware (de desarrollo y del usuario) Programacin Anlisis cualitativo Del procesoCorregir y perfeccionar el material durante su desarrollo Productores, usuarios potenciales Control de los contenidos Control funcional Protocolo de evaluacin Del producto Juzgar la calidad del material en s una vez acabado y/o tomar decisiones para su utilizacin Expertos externos, seleccionadores, productores mbito disciplinario mbito didctico mbito tecnolgico Protocolo de evaluacin, entrevistas, grupos de discusin De los resultados Determinar los usos y el funcionamiento del material en un contexto de enseanza -aprendizaje Comparar el material con otros en cuanto a efectividad Usuarios reales, investigadores, seleccionadores Opinin de los usuarios Utilidad Relacin coste -beneficios Cuestionarios, escalas de actitud, pruebas de aptitud Fuente: Rubio (2003). 2. Mtodo y Objetivos Elprincipalobjetivodelosproyectoseselestablecimientodeunespaciocolaborativo, enelquelosprofesoresquequieranparticiparpuedanimplementarmateriales previamente evaluados y verificados.Se concreta en 3 objetivos especficos: 1.Disearunsistemadeaprendizajecolaborativoenelquesetengaencuentala participacindeprofesoresyalumnosdedistintasuniversidades,sobrelabase de unidades independientes de aprendizaje. 2.Disear un sistema de evaluacin de estas unidades de aprendizaje colaborativo que tenga en cuenta la evaluacin de las competencias vinculadas. 3.ImplementarlosmaterialesobtenidosenelrepositoriodelaUniversitatde Valncia. J. Gonzlez-Such, M. Bakieva y R. Garca-Bellido 228 EstosmaterialessehanestructuradocomoObjetosdeAprendizajequepuedenser utilizados por alumnos en distintas materias y que facilitan al alumnado la posibilidad de utilizarlos en distintos entornos (casa, facultad, etc.) a su ritmo. De esta forma, se facilita alosprofesoreslatareadeelaborarmaterialesquepuedenhabersevistoyaenotras materias o anteriormente en el mismo curso. Esto es especialmente indicado en materias enlasqueelcomponenteestadsticoestpresente.Deestaforma,losprofesores participantes han elaborado materiales que pueden servir como base de las explicaciones de otra materia, o como materiales de origen en sus propias materias. Evidentemente, los materiales se han estructurado en la web como un proceso lineal de formacin sobre aspectos estadsticos. Al ser unidades prcticamente independientes con su direccin electrnica correspondiente, cada profesor puede indicar esta direccin para elaprendizajeoapoyodeundeterminadotema.Alavez,elalumnopuedevolvera utilizarlotodaslasvecesqueconsiderenecesarioparasuaprendizaje,deformaquese libera al profesor de la necesidad de repetirlo durante el curso o en cursos en los que se supone que ya deben conocer los contenidos. En este trabajo presentamos la evaluacin por parte de los alumnos de estos materiales y de los problemas con que nos hemos encontrado a lo largo de nuestra experiencia. Para la evaluacin de los materiales se elabor un cuestionario y se aplic un proceso de validacinporjuecesenelqueseevaluaronlaPertinencia,Relevancia,Utilidady Claridaddelaspreguntas.ElprocesohasidodescritoenGonzlezSuch,Bakievay Garca-Bellido(2012).Unavezdepuradoelinstrumento,seaplicaestudiantesdelas titulaciones de Pedagoga y Psicopedagoga. 3. Resultados 3.1. Anlisis de fiabilidad Paraanalizarelniveldefiabilidaddelapruebasehautilizadoelcoeficientealfade Cronbach por apartados (tabla 3).Tabla 3. Resultados del anlisis de fiabilidad del cuestionario APARTADON DE TEMSALFA Facilidad utilizacin10.811 Contenidos9.873 Interactividad y adaptabilidad5.819 Aspectos tcnicos y estticos3.845 Valoracin global y recomendacin2.615 Total29.908 Fuente: Elaboracin propia. Comosepuedecomprobar,losnivelessonaceptables,exceptoparalostemsde valoracinglobalyeltemsobresirecomendaralosmaterialesaotrosestudiantes,ya que al tratarse de tems de carcter global se han agrupado para su estudio. 3.2. Anlisis estadstico de las respuestas La facilidad de utilizacin sealada por los estudiantes es bastante alta (Grfico 1), en las opinionespredominanlasopcionesFcilyMuyfcil,paratodoslosmaterialesdel proyecto InnovaMIDE. Revista Iberoamericana de Evaluacin Educativa 229 Grfico 1. Facilidad de utilizacin de los materiales Fuente: Elaboracin propia. Lautilidaddelosmaterialeson-linetambinesbastantealta,enlaopinindelos estudiantesdelaUniversitatdeValncia,aslasopinionesMuytilytilrecogenla mayora de las opiniones (Tabla 4). Un dato curioso es que la opinin Nada til no sube deun3%(Lecturas)enlaencuestayenalgncasoinclusoestencero(PginasWeb materia). Tabla 4. Valoracin de la utilidad NO LA HE UTILIZADO MUY TILTIL POCO TIL NADA TIL Plantilla Excel26,416,83411,22,5 Ejercicio14,228,441,16,60,5 Pginas Web Materia17,329,437,66,60 Pginas Web SPSS9,639,133,57,11,5 Formulario25,915,73512,72 Vdeos27,927,927,96,11 Documentos pdf14,238,6325,60,5 Gua docente15,723,93514,71,5 Transparencias14,748,722,34,60,5 Prctica 1223,9314,60,5 Prctica 23,623,431,530,5 Prctica 35,625,426,44,10,5 Lecturas8,114,229,96,63 Encuestas6,614,224,415,21,5 Otras (Mesa redonda)6,614,224,415,21,5 Fuente: Elaboracin propia. Elniveldesatisfaccinconlosmaterialesengeneralesalto,lamayorparte(un93,1% delosrespondientes)opinaqueestnSatisfechosoCompletamenteSatisfechosconlos materiales. Un 89,4% de los respondientes opinan que recomendaran estos materiales a otros compaeros suyos (las opiniones Totalmente, Mucho y Algo). No la he utilizado Muy fcilFcilDifcilMuy difcil Plantilla Excel27,48,643,711,2Ejercicios15,76,141,627,4,5 Pginas Web Materia17,316,846,211,2Pginas Web SPSS9,110,236,028,47,6 Formulario27,410,744,29,1Vdeos29,920,836,04,6Documentos pdf15,224,945,26,1Gua docente16,238,636,5 Transparencias15,221,337,615,22,0 ,05,010,015,020,025,030,035,040,045,050,0 J. Gonzlez-Such, M. Bakieva y R. Garca-Bellido 230 Tabla 5. Nivel de satisfaccin general con los materiales FRECUENCIAPORCENTAJE Vlidos Completamente satisfecho2914.7 Satisfecho13267.0 Insatisfecho94.6 Completamente insatisfecho31.5 Total17387.8 PerdidosSistema2412.2 Total197100.0 Fuente: Elaboracin propia. Tabla 6. Recomendaras los materiales a tus compaeros/as? FRECUENCIAPORCENTAJE Vlidos Totalmente4321.8 Mucho9447.7 Algo3517.8 Nada1.5 Total17387.8 PerdidosSistema2412.2 Total197100.0 Fuente: Elaboracin propia. Paraestablecersiexisterelacinentrelasvaloracionesylanotafinalenlamateria,se haaplicadounanlisisclsterconsiderandolasvariablessatisfaccin,recomendacin, notaylasvaloracionesdecontenidosydeinteractividaddelosmateriales.Comose puedeobservar,enelgrfico2,elgrupoconmenornotahavaloradolosmaterialesde manera ms baja en la mayora de tems considerados. Grfico 2. Anlisis Clster Fuente: Elaboracin propia. Deigualforma,enelgrfico3podemosobservarcmo,aunquenohayunatendencia definida,spodemosidentificarciertatendenciaaquecalificacionesbajastiendena valorar de manera menor en cuanto a la satisfaccin general. 0 1 2 3 4 5 6 7 8 9 123 Revista Iberoamericana de Evaluacin Educativa 231 Grfico 4. Diagramas de caja de respuestas de satisfaccin general en funcin de la nota obtenida Fuente: Elaboracin propia. 3.3. Anlisis de las preguntas abiertas Loscomentariosdelosestudiantesapartirdelostemsabiertosnoshanpermitido identificaraspectosquenohabansidorecogidosenelcuestionarioelaborado.En general,losestudianteshanvaloradoespecialmentelosvdeos,juntoconlautilizacin delosmateriales,sobretodoqueseespecificanlospasosarealizar,laposibilidadde repetirlos las veces que necesitan, su claridad y la capacidad para el autoaprendizaje que tienen los materiales. Por otra parte, valoran tambin la comodidad para el aprendizaje, laposibilidadderepetir,laposibilidaddeverloencasaylavariedaddelosmateriales aportados.Tambinsevalorapositivamentelaorganizacindelosmateriales. Finalmente,hayunaspectoqueconsideranquecontinasiendonecesaria:lastutoras personales con el profesor (ver grficos 5 y 6). 4. Discusin y conclusiones A partir de la experiencia, encontramos las siguientes cuestiones a tener en cuenta: Valoracin muy positiva de la implementacin de los materiales. Necesidad de mejorar algunos aspectos: Ampliar ejemplos y contenidos. Utilizar unlenguajemssencillo.Aadirejerciciosresueltos.Integracindelos materiales en Mdulos de Aprendizaje. Necesidad de integrar evaluacin en los Objetos de Aprendizaje. Mayor implicacin por parte de los profesores.Buena respuesta por parte de los estudiantes. Continuar con la experiencia. J. Gonzlez-Such, M. Bakieva y R. Garca-Bellido 232 Qu aspectos te han ayudado ms de los materiales?VdeosUtilizacinPasos a realizarRepeticinComodidadRepeticinVerl o en casaClaridadOrganizacinAutoaprendizajeVariedadOrganizacin de los material esTutoras profesor Grfico 5. Sntesis de respuestas. Qu aspectos te han ayudado ms de los materiales? Fuente: Elaboracin propia. Qu es lo que menos te ha gustado de los materiales?Me ha gustado todoRapidez de los vdeosDificultad de algunos ejerciciosDemasiada informacinCalidad de los vdeosPresentacin/calidadMs actividadesTutora ProfesorAcceso al programa SPSSBuena organizacinMejorar enlacesActi vidades Grfico 6. Sntesis de respuestas. Qu es lo que menos te ha gustado de los materiales? Fuente: Elaboracin propia. Revista Iberoamericana de Evaluacin Educativa 233 Estaexperiencianoshaservidoademsparaevaluaralprofesoradoencuantoasu actualizacin en la implementacin de los materiales, en su elaboracin, evaluacin y en generalparaidentificarelpotencialdecolaboracingrupal,ademsdeservircomo marcoparalaintegracindeloscontenidos,temas,materialescurricularesdelas titulacionesenlasquesehanimplementadolosmateriales,favoreciendounamayor coordinacin departamental. Laexperienciadurantelostrescursoshasidoengeneralmuysatisfactoria.Seha elaborado un cuestionario para la evaluacin de los materiales que permite analizar curso acursosupertinencia.Lapropuestaconsideralaevaluacincontinuadelosmateriales paraasegurarlacalidaddeloscontenidos.Lainformacinobtenidaenlaexperiencia ser de utilidad para mejorar los materiales y su posibilidad de reutilizacin.Comoindicadorindirectoqueexpresaelvaloraadidoqueaportaelproyectoseha analizadolautilizacindelosmaterialesmedianteGoogleAnalyticsysehanobtenido los datos mostrados en el grfico 7. Grfico 7. Anlisis de visitas. Google Analytic Fuente: Elaboracin propia. En el perodo comprendido entre septiembre de 2012 y enero de 2013 se han producido 4914 visitas, que se distribuyen como se muestra en el grfico 7. EstoindicaquelosmaterialesnoslohansidoutilizadosenEspaa,sinotambinen otros pases, sobre todo Mxico, Ecuador, Venezuela, Per, Colombia o Chile, lo que es un indicador del inters que puede suscitar este tipo de materiales (ver grficos 7 y 8). J. Gonzlez-Such, M. Bakieva y R. Garca-Bellido 234 Grfico 8. Anlisis de visitas. Google Analytic Fuente: Elaboracin propia. Bibliografa ApacheOpenOffice(2013).ApacheOpenOfficeCalc.Recuperadode http://www.openoffice.org/es/producto/calc.html Bartolom, A., Gran, M., Mercader, A., Puol, J.T., Rubinstein, V. y Willem, C. (2007). La web audiovisual. Tecnologa y Comunicacin Educativas, 21(45), 20-41.Braskamp,L.A.,Brandenbury,D.C.yOry,J.C.1984.Evaluatingteachingeffectiveness:Apractical guide. Beverly Hills, CA: Sage Publications.Cabero, J. (1989). Tecnologa educativa. Utilizacin didctica del video. Barcelona: PPU. Cabero,J.(2001).Laevaluacineinvestigacinsobrelosmediosdeenseanza.EnJ. Cabero, TecnologaEducativa.Diseoyutilizacindemediosdeenseanza(pp.447-490). Barcelona: Paids. Cabero,J.(2007).LasnecesidadesdelasTICenelmbitoeducativo:oportunidades,riesgosy necesidades. Tecnologa y Comunicacin Educativas, 21(45), 4-19.Carroll,J.G.(1981).Facultyself-evaluation.EnJ.Millman(Eds.),Handbookofteacherevaluation (pp. 180-202). Londres: Sage pub. Gonzlez Such, J. (1998). Evaluacin de la Docencia Universitaria. Valencia: CSV. GonzlezSuch,J. (2003).Modelos,procedimientoseinstrumentosdeevaluacindelaactividad docente. Educacin Mdica, 6(3), 20-21. Gonzlez Such, J., Bakieva, M. y Garca-Bellido, R. (2012). Evaluacin de la innovacin: Estudio de un caso. Revista Iberoamericana de Evaluacin Educativa, 5(1e), 266-281. JornetMeli,J.M.,GonzlezSuch,J.,PeralesMontolo,M.J.ySurezRodrguez,J.M.(2011). Diseodeevaluacindecompetencias:consideracionesacercadelosestndaresenel dominio de las competencias. Bordn, 63(1), 125-145. Jornet,J.M.(2007).Laevaluacindelosaprendizajesuniversitarios.PonenciainvitadaenlasIII JornadasdeintercambiodegruposdeformacindelprofesoradodelaUniversidaddeCdiz. Cdiz: UCA-Publicaciones. Jornet,J.M.,GonzlezSuch,J.yBakieva,M.(2012).Losresultadosdeaprendizajecomo indicadorparalaevaluacindelacalidaddeladocenciauniversitaria.Reflexiones metodolgicas. Revista Iberoamericana de Evaluacin Educativa, 5(2), 100-115. Revista Iberoamericana de Evaluacin Educativa 235 Jornet,J.M.,Surez,J.M.,PrezCarbonell,A.,GonzlezSuch,J.,Perales,M.J.,Aliaga,F., Ramos, G., Snchez Delgado, P., Chiva, I. y Daz, M.I. (2006). Problemas implicados en la EvaluacindeProgramasdeTeleformacin.EnJ.M.Surez(Ed.),Formacinparael empleoyTeleformacin:AvancesyCambiosenlaEducacin(pp.139-156).Valencia:Dto MIDE. Knapczyk,D.R.yHew,K.F.(2007).AnAnalysisandEvaluationofOnlineInstructional Activities. Teacher Education andSpecialEducation. The Journal of the Teacher Education Division of the Council for Exceptional Children. Miller,W.(2013).FreeStatisticsProgramsandMaterialsbyBillMiller.Recuperado de http://www.statprograms4u.com/ Redmond, P. y Lock, J.V. (2006). A flexible framework for online collaborative learning. Internet and Higher Education, 9, 267-276. Rubio,M.J.(2003).Enfoquesymodelosdeevaluacindele-learning.RevistaELectrnicade InvestigacinyEValuacinEducativa,9(2).Recuperadode http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm.SezCastillo,A.(2010).Mtodos Estadsticos con R yR Commander.Recuperadode http://cran.r-project.org/doc/contrib/Saez-Castillo-RRCmdrv21.pdf J. Gonzlez-Such, M. Bakieva y R. Garca-Bellido 236 Anexo. Cuestionario utilizado PREGUNTAOPCIONESESCALA VALORACIN 9. Por qu motivo/s has visitado los materiales? Para seguir las clases de Teora Para realizar las prcticas Para realizar alguna tarea concreta de la materia Para estudiar Para preparar los exmenes Para hacerme un dossier de la materia Frecuencia 10. Nivel de utilizacin Plantilla EjerciciosPginas Web MateriaPginas Web SPSS Formulario No lo he utilizado De 1 a 4 veces De 5 a 8 veces De 9 a 12 veces Ms de 12 veces 11. Facilidad de utilizacin Vdeos Documentos pdfGua Docente Transparencias Muy difcil Difcil Fcil Muy fcil No la he utilizado 12. Valoracin de la utilidad Nada til: no me ha servido para nada Poco til: me ha ayudado en algo til: Me ha servido bastante Muy til: Me ha sido de gran ayuda No la he utilizado 13. Basndose en tu experiencia en la utilizacin de los materiales, por favor, punta los siguientes aspectos: Contenidos Variedad de contenidos Calidad de contenidos Actualizacin de los contenidos Secuenciacin y estructuracin de la informacin Adecuacin al programa de la materia Integracin teora/prctica Facilidad de comprensin y aprendizaje Permite el autoaprendizaje Coherencia de los contenidos con los estudiados en otras materias de Mtodos Mala Regular Buena Muy Buena No los he utilizado 14. Basndose en tu experiencia en la utilizacin de los materiales, por favor, punta los siguientes aspectos: Nivel de interactividad y adaptabilidad al estudiante Utilidad Claridad Accesibilidad de los materiales Indicaciones sobre cmo acceder a los materiales Indicaciones sobre cmo utilizar los materiales Mala Regular Buena Muy Buena No los he utilizado 15. Basndose en tu experiencia en la utilizacin de los materiales, por favor, punta los siguientes aspectos: Aspectos tcnicos y estticos Facilidad de uso Integracin en la materia Navegacin clara Completamente insatisfecho Insatisfecho Satisfecho Completamente satisfecho 16. Crees que los materiales respetan los principios de igualdad de gnero? S No 17. Cul es su nivel de satisfaccin general con los Nada Algo Revista Iberoamericana de Evaluacin Educativa 237 materiales? Mucho Totalmente 18. Recomendaras los materiales a tus compaeros/as? Nada Algo Mucho Totalmente 18. Recomendaras los materiales a tus compaeros/as? Abierta 19. Qu aspectos te han ayudado ms de los materiales? Abierta 19. Qu aspectos te han ayudado ms de los materiales? Abierta 20. Qu es lo que menos te ha gustado de los materiales? Abierta 21. Aspectos que pueden ayudar a mejorar los materiales Abierta 22. Valoracin cualitativa global de los materiales Abierta Fuente: Elaboracin propia.