Censo Academico en Lınea, CENACAD:

Revision y Propuesta

Juan Jose Salcedo

30 de enero de 2011

Resumen

La escuela Superior Politecnica del Litoral, ESPOL, a traves del Vice-rectorado general, El Centrode Investigaciones y Servicios Educativos, CISE y el Centro de Investigacion Cientıfica y Tecnologica,CICYT, desarrollaron el sistema automatizado que sostiene y permite el Censo Academico en Linea,o CENACAD cuyo objetivo principal es la evaluacion academica de los docentes de ESPOL.

A pesar de ser un elemento de evaluacion docente, el CENACAD ha pasado a ser una institucionpara los estudiantes. Es parte del ser politecnico. Sin embargo en la actualidad cuestionamos laefectividad del CENACAD porque sus 27 preguntas por materia resultan tediosas para una grancantidad de estudiantes politecnicos.

Este trabajo busca hacer una revision a los contenidos del cuestionario del CENACAD y proponervarias mejoras que considero importantes.

1. Introduccion

La encuesta del CENACAD esta compuesta por5 categorıas que agrupan a las 24 preguntas cuan-titativas y una seccion de comentarios que agrupana las restantes 3 preguntas cualitativas. A contin-uacion se detallan las secciones con su respectivonumero de preguntas entre parentesis.

1. Diseno de experiencias educativas (6 pregun-tas)

2. Promocion del aprendizaje (13)

3. Produccion de materiales didacticos (2)

4. Administracion de la ensenanza (2)

5. Evaluacion general (1)

6. Comentarios (3)

Por otro lado, segun datos del portal web delCENACAD, el sistema ha realizado evaluacion aaproximadamente siete mil paralelos, un poco masde mil profesores y en promedio es llenada por casiocho mil estudiantes cada semestre. Esto da comoresultado 530 mil formularios procesados.

El proceso del CENACAD tiene a su disposicionla capacidad tecnologica de la ESPOL que dado es-tos resultados esta siendo aprovechada al maximo.A pesar de todo esto es evidente que el estudianta-do politecnico tiene un interes reducido en llenar lasencuestas.

En la siguiente seccion buscamos identificar al-gunos problemas que pueden ser la causa del reduci-do interes en la encuesta del CENACAD.

2. El Problema

Ciertamente la encuesta del CENACAD evalualos aspectos mas importantes dentro del proceso deensenanza y constituye una herramienta util en laevaluacion de la calidad de la educacion en ESPOL.

Generalmente se sugiere que el poco interes enllenar la encuesta se debe principalmente a la ex-tension de la encuesta. Sin embargo, a pesar queefectivamente la encuesta es extensa, no consideroque esto sea un factor que afecte el comportamientode quien la llena. Esto lo digo porque no podemospensar que los estudiantes desechen la oportunidadde emitir su criterio sobre los aspectos que afectansu vida estudiantes unicamente porque toma muchotiempo.

El bajo interes de los estudiantes politecnicos enllenar la encuesta no es sı mas que un consecuenciadel problema real. La busqueda el problema subya-cente requiere una investigacion a los fundamentosy objetivos del CENACAD.

Para esto listo los objetivos del CENACAD talcomo son presentados en el portal web del mismo.

Objetivos Generales

Contribuir a mejorar la evaluacion academi-ca de los docentes de la ESPOL a traves dela creacion de un Sistema Automatizado deCenso Academico para el Web.

Minimizar los errores sobre los datos de lasencuestas en lınea.

1

Objetivos Especıficos

Reducir considerablemente el tiempo enobtener los reportes de evaluacion de los do-centes

Reducir los costos que involucra el proceso deevaluacion al docente

Evaluar nuevos aspectos en el desempeno deldocente

Obtener un alto nivel de confiabilidad de losresultados de las evaluaciones realizadas

Garantizar un alto porcentaje de confiabilidaden el proceso de evaluacion docente, aplicandometodos estadısticos.

Utilizar las Tecnicas estadısticas adecuadasque permitan inferir de manera correcta so-bre los resultados obtenidos.

La realizacion del CENACAD minimiza los er-rores de la tabulacion de encuestas en lınea y portanto constituye en sı un alternativa superior parala evaluacion de docentes. Con su mera existenciael CENACAD cumple sus dos objetivos generales.Asimismo, el hecho de ser un sistema automatizadopara la tabulacion de resultados, reduce los tiemposy los costos involucrados.

La crıtica se presenta con los objetivos especıfi-cos que siguen: ¿El CENACAD evalua realmenteaspectos nuevos del docente? ¿Son estos resultadosconfiables? ¿Es necesaria las tecnicas estadısticaspara inferir sobre los resultados?

Sobre los aspectos nuevos que evalua es difıcilsaber, primero debemos conocer como era la eval-uacion antes del CENACAD y contrastar amboscuestionarios. Sin embargo, la ventaja que presentael CENACAD es su capacidad de adaptacion. De-bido a ser en-lınea el costo de adicion, eliminacion omodificacion de preguntas es relativamente cercanoa cero.

Facilmente pueden ser incluidas preguntas detemas relevantes como presentacion del docente,conocimiento de la actualidad de la materia de dic-ta, motivacion a usar tecnicas modernas, etc. En-tonces si incluye o no incluye las preguntas ade-cuadas se reduce a ser un asunto de importanciamenor.

Analizar la confiabilidad de los resultados es al-tamente dificultoso dado que partimos del hechoque el interes de los estudiantes por llenar el CE-NACAD es muy bajo. ¿Que criterios emplean losestudiantes que carecen de interes para llenar la en-cuesta? Las alternativas pueden sonar incluso irra-cionales. Habra quienes le asignan una sola pun-tuacion en funcion de una evaluacion general del

estudiante, ası aquel profesor que en la escala del1-10 merece un evaluacion sobresaliente a pesar desiempre llegar tarde obtendra un 9 o 10 en todas lascasillas.

Habra otros que no usaran criterios logicos yasignaran el numero de telefono de algun parientecomo calificacion a los profesores. Y la lista de meto-dos no objetivos para llevar el CENACAD puedepor sı solo constituir un tema de investigacion.

Finalmente, el objetivo referentes a las tecnicasestadısticas de inferencia no es necesario porque lainferencia estadıstica parte del hecho de los datosprovienen de una muestra. Debido a la naturalezapoblacional del CENACAD, en el sentido que todoslos profesores son evaluados, aplicar tales tecnicasresulta innecesario.

Es curioso resaltar que ninguno de los obje-tivos del CENACAD menciona que busca lograruna vez realizada la evaluacion. ¿Se entera al profe-sor de los resultados? ¿Se reemplaza a los profesorescon rendimiento por debajo un mınimo establecido?¿Se premia a los profesores con puntuaciones altasy sostenidas? ¿Reciben capacitacion los profesoresque emplean metodos de ensenanza retrogrados?¿Reciben clases de comunicacion efectiva aquelloscon puntuaciones baja en ensenanza comprensiva?

El portal del CENACAD permite ver la evalu-acion del profesor, de materias, incluso por facul-tades. Pero esta revision es util para el estudianteen el proceso de eleccion del profesor. Si ninguna delas acciones mencionadas en el parrafo anterior sonllevadas a cabo, no veo el beneficio academico delCENACAD.

Tal vez ESPOL y los directivos no se han per-catado. Tal vez estaban muy ocupados realizando elCENACAD, verificando que cada pregunta anadavalor al cuestionario, que cada palabra este bien se-leccionada, que el sistema muestre al estudiantesunicamente las materias y profesores que le corre-sponden evaluar.

Pero estoy seguro que alguien sı se dio cuenta,el estudiante.

3. La Propuesta

A complex system that works is invari-ably found to have evolved from a simplesystem that worked. The inverse propo-sition also appears to be true: A com-plex system designed from scratch nev-er works and cannot be made to work.You have to start over, beginning with aworking simple system1.

Mi hipotesis es que dado que el CENACAD noconstituye un mecanismo de mejoramiento de laeducacion la utilidad percibida por su realizacion

1Gall, J. How Systems Really Work and How They Fail. pag. 71

2

es muy baja. El estudiante no tiene incentivos allenarla, i.e., no tiene interes en hacerlo.

La propuesta para mejorar el CENACAD nacede la frase de John Gall (aquella al inicio de es-ta seccion). El CENACAD es un sistema comple-jo, porque el nivel de preguntas que realiza evaluanaspecto profundos de un profesor, pero no es fun-cional porque no cumple el fin ultimo de una en-cuesta: tomar decisiones. Su complejidad no partede haber sido un sistema simple, sino de un lista deaspectos que se consideraban importantes.

Un sistema funcional y simple puede tomar laforma de una encuesta basica que tenga repercu-siones reales. Con esto se garantiza cambios de com-portamiento de los profesores en mejorar los aspec-tos evaluados.

Por ejemplo, un sistema extremadamente simpleque funciona puede incluir tan solo cuatro pregun-tas:

1. Desempeno del profesor/a (del 1 al 10).

2. Cantidad de veces que llega tarde a clases (porsemana).

3. Numero de evaluaciones realizadas (lecciones,talleres, etc.).

4. Es respetuoso el profesor en su trato con es-tudiantes.

La primera pregunta es la de mayor valor parala ESPOL, me permite conocer la evaluacion gener-al de cada profesor. Los profesores con desempenosaltos y bajos pueden ser publicados.

La pregunta sobre puntualidad puede ser liga-da a un castigo economico. La pregunta sobre elnumero de evaluaciones que realiza el profesor entodo el semestre es una indicador proxy del nivel deexigencia de la materia.

La pregunta sobre el trato al estudiante nos per-mite saber sobre irregularidades en comportamientodel profesor. Si se tuviera una varianza muy alta sedeberıa realizar una investigacion.

Al controlar estos aspectos basicos y disenadoslos mecanismo de reforzamiento en comportamien-tos positivos, el alumno comprendera la importan-cia de llenar la encuesta con sus cinco sentidos. Yel problema del interes estara resuelto.

Una vez que los mecanismo se hallen insti-tucionalizados y el alumnado este consciente delos beneficios del CENACAD, i.e. que el sistemaeste funcional, se pueden anadir preguntas y volveral CENACAD en un sistema complejo que funciona.

4. Conclusiones

El CENACAD es una herramienta de analisismuy poderosa. La utilidad que presenta para la cal-

idad de la educacion en la ESPOL no tiene prece-dentes, sin embargo, los directivos de la ESPOL noestan utilizando todas sus capacidades. Los direc-tivos de ESPOL necesitan vincular los resultadosdel CENACAD con mecanismo de incentivos paramodificar la conducta de docentes que no cumplanel nivel un catedratico ejemplar.

Los estudiantes se han percatado de la inconse-cuencia de su pronunciamiento a traves del censo enlınea, de tal forma que no tienen interes en llenar elcuestionario.

Todo esto nos llevo a la conclusion que el CE-NACAD es un sistema complejo que no funciona.Para reparar este error sugiero la reformulacion delun cuestionario simple que vincule los resultados.Una vez creado el sistema simple que sea funcionalempezar a anadir las preguntas y volverlo un sis-tema complejo.

Paralelamente sugiero la creacion de mecanis-mo de filtrado de informacion. Debido a posiblidadque los estudiantes usen el nuevo censo como retal-iaciones contra los profesores es importante crearcriterios de seleccion de los estudiantes que puedenllenar el cuestionario.

Podemos concluir que la efectividad del CE-NACAD no se base en el numero de preguntas, nitampoco en el numero de temas sobre los cuales pre-gunta, sino en la forma en que el estudiante sienteque su aportacion al llenar el CENACAD anade val-or sea para su propia educacion o la de sus pares.Logrando ası un interes genuino por parte de losestudiantes a llenar la encuesta.

De esta forma, al emplear la informacion apor-tada por el estudiante, se inicia una depuracion deprofesores que no tienen los requerimientos necesar-ios para la ensenanza y aumenta tanto la cantidadrelativa de profesores mejor preparados como el niv-el academico de los estudiantes y su interes en elCENACAD.

3

5. Preguntas del CENACAD

En esta seccion se lista el contenido de la evalu-acion docente tal como se presento a los estudiantesde la ESPOL en el segundo termino academico del2011.

Diseno de Experiencias Educativas

1. Utiliza ayuda audiovisual para apoyar el con-tenido de la clase.

2. Cumple con la programacion que propuso alinicio del curso.

3. Evalua periodicamente trabajo o interven-ciones en clase.

4. Las evaluaciones que realiza, se ajustan a lostemas desarrollados en clase.

5. Presenta con claridad las instrucciones parala evaluacion del aprendizaje.

6. Motiva al estudiantes a hacer investigacionbibliografica.

Promocion del Aprendizaje

7. Al inicio del curso proporciona y explica a losestudiantes la programacion del curso.

8. Al inicio del curso proporciona y explica a losestudiantes las polıticas del curso.

9. Estimula la participacion activa del estudi-ante en clase.

10. Resume las ideas fundamentales discutidas,antes de pasar a una nueva unidad o tema.

11. Cuando introduce conceptos nuevos los rela-ciona, si es posible, con los ya conocidos.

12. Motiva el aprendizaje de la materia.

13. Tiene predisposicion para aclarar dudas yofrecer asesorıas dentro y fuera de clases.

14. Promueve la reflexion de los temas tratados.

15. Mantiene una comunicacion fluida con los es-tudiantes.

16. Es respetuoso con los estudiantes.

17. Responde oportunamente a las cuestiones quese plantea en clase sobre temas relacionadoscon la materia.

18. Desarrolla el contenido de la clase de unamanera ordenada.

19. Desarrolla el contenido de la clase de unamanera comprensible.

Produccion de Materiales Didacticos

20. Prepara recursos didacticos, bibliograficos uotro tipo para facilitar el aprendizaje.

21. Utiliza con frecuencia esquemas y graficospara apoyar sus explicaciones.

Administracion de la Ensenanza

22. Da a conocer el resultado de las evaluacionesen el plazo establecido.

23. Asiste con puntualidad a clases.

Evaluacion General

24. Considerando todas las caracterısticas rela-cionadas con el profesor/a evaluado/a elijauna nota entre 1 y 10 a su desempeno comotal.

Seccion de Comentarios

25. Aspectos que se deben mejorar.

26. Aspectos que se deben cambiar.

27. Aspectos que se deben mantener.

4