Técnicas Cualitativas en los procesos de autoevaluación

35
La investigación cualitativa y sus técnicas en los procesos de autoevaluación con fines de mejora y acreditación 1. Introducción 1

Transcript of Técnicas Cualitativas en los procesos de autoevaluación

Page 1: Técnicas Cualitativas en los procesos de autoevaluación

La investigación cualitativa y sus técnicas en los procesos de

autoevaluación con fines de mejora y acreditación

1. Introducción

Los procesos de autoevaluación para fines de mejoramiento y acreditación

en la UNED ofrecen la posibilidad de poder consultar a los diferentes actores

del programa académico, ello requerirá por una parte obtener datos que

puedan generalizarse y por otra, captar datos que nos permitan profundizar

en cada uno de los componentes y criterios a evaluar. La

complementariedad de los datos cuantitativos como cualitativos ofrecerán

una visión no solo general de la situación del programa sino también a

profundidad de sus fortalezas y debilidades e inclusive de las acciones

requeridas para su mejoramiento desde una construcción conjunta de los

actores del programa. Si bien, el propósito de este documento es ofrecer

una guía para el planeamiento y ejecución de las técnicas y herramientas

cualitativas, es importante hacer notar que el aporte de la

complementariedad entre las técnicas cualitativas y cuantitativas es

fundamental para los procesos de autoevaluación.

El empleo de los métodos cualitativos en los procesos de autoevaluación

proporcionan el contexto dentro del cuál el programa y sus evaluadores

pueden comprender con mayor profundidad y claridad los resultados

obtenidos tanto en las herramientas cuantitativas como documentales, ya

que se sustentan en lo que “la gente tiene que decir en sus propias

palabras, describen y opinan con respecto a sus experiencias y vivencias

con mayor detalle” (Métodos cuantitativos y cualitativos, 2000). De esta

manera, los datos cualitativos proporcionarán “una mayor cantidad de

información detallada con respecto a un número reducido de personas”

(Patton, 1986) el cual, para los procesos puede complementar los datos

obtenidos de las encuestas, proporcionar información para su desarrollo o

comprender el contexto de un documento o situación particular.

En el caso de la evaluación externa e autoevaluación de proyectos,

programas o políticas, hay que tener presente que existe la posibilidad de

1

Page 2: Técnicas Cualitativas en los procesos de autoevaluación

utilizar diferentes técnicas de recolección ya sea cuantitativas o cualitativas

de información indudablemente pueden ser complementarias entre sí, pero

lo importante en el desarrollo de estas técnicas es la claridad del objeto de

evaluación– que en este caso son los programas académicos -, el tipo de

información que desea obtener y la población(es)1 que interactúan.

2. Las técnicas cualitativas y los procesos de autoevaluación

Las técnicas de corte cualitativo se inscriben dentro de la investigación

cualitativa, que es un tipo de investigación formativa que ofrece técnicas

especializadas para obtener respuestas a profundidad acerca de las

percepciones de las personas. Esta permite a los responsables de un

programa comprender y conocer mejor las actitudes, creencias, motivos,

comportamientos y conocimientos que construyen desde la experiencia en

los programas académicos, los actores involucrados.

La investigación cualitativa y sus técnicas ofrecen la posibilidad de que el

equipo evaluador llegue a interrogarse sobre el “¿por qué?”, ¿de qué

manera? O bien de ¿qué forma?, mientras que la investigación cuantitativa

aborda preguntas tales como “¿cuántos?” o “¿con qué frecuencia?”. Para el

caso particular de los procesos de autoevaluación de los programas

académicos, tanto las técnicas cualitativas como las cuantitativas se usan

de manera complementaria lo que permite que la información obtenida

pueda apoyar estos mismos procesos de una manera integral. Por ejemplo,

para interpretar datos cuantitativos, la información obtenida de manera

cualitativa nos permite entender las razones ( el “por qué”) de las

creencias, valores, afirmaciones, opiniones que hayan sido identificadas a

través de otras técnicas de recogida de la información como encuestas o

cuestionarios.

El uso de las técnicas cualitativas permite obtener respuestas de índole

interpretativa en vez de descriptiva. Se realiza con pequeños grupos de

personas que generalmente no son seleccionados sobre la base de la

1 Como población se están entendiendo los(as) actores(as) involucrados en el proceso de autoevaluación, a saber: el personal académico, estudiantes, graduados y empleadores.

2

Page 3: Técnicas Cualitativas en los procesos de autoevaluación

probabilidad estadística, por lo que no se realizan generalizaciones de

resultados a la población general. 2

Al concebirse la autoevaluación como un proceso donde “el conocimiento

emergente y dinámico surge como producto de la interacción de los

actores, a través de mecanismos participativos que propician el

involucramiento y compromiso de académicos, administrativos, estudiantes,

egresados, graduados y empleadores (...) donde por otra parte este

conocimiento se construye a partir de la vivencia de estos mismos actores

desde sus contextos específicos” (Rojas; Salguero, 2000); son las técnicas

cualitativas las que nos permiten reunir información y profundizar en las

actitudes, motivaciones, valores, creencias, aspiraciones o sentimientos de

las personas involucradas en los procesos de autoevaluación.

Existen diversas técnicas de uso cualitativo, sin embargo para efectos de los

procesos de autoevaluación y acreditación se recomiendan: la entrevista

(en sus diferentes tipologías), los grupos focales y los talleres; porque su

costo puede ser más económico y permite en un tiempo menor recolectar

información a profundidad sobre diversos tópicos permitiendo obtener

información tanto de informantes clave, como de grupos heterogéneos

sobre un mismo tema.

Sin embargo, es importante tener presente que los procesos de

autoevaluación, las características del objeto de evaluación y sus alcances

no solo permiten el desarrollo de estas técnicas sino también en la

posibilidad de innovar en otras alternativas cualitativas tales como la

observación, el metaplan, los árboles de problemas-objetivos, las cuales

constituyen técnicas mucho más complejas tanto por el uso de los recursos

como de su organización, sin embargo estas pueden ser de gran utilidad

para el desarrollo de acciones de mejora del programa.

Características básicas de la investigación cualitativa

En la investigación cualitativa se ve el escenario y a las personas desde

una perspectiva holística; donde las personas y/o los grupos se estudian

en su contexto y/o situación particular.

2 Los criterios de selección y aplicación de las técnicas cualitativas se detallan más adelante en este mismo documento.

3

Page 4: Técnicas Cualitativas en los procesos de autoevaluación

Por otra parte, se tratan de apartar las propias creencias, perspectivas,

opiniones, percepciones y predisposiciones, ver las cosas como si

estuvieran ocurriendo por primera vez.

Todas las perspectivas son valiosas; busca una comprensión detallada de

las percepciones de otras personas y los motivos que llevan a percibirlas

de la manera particular en que lo hacen.

La investigación cualitativa proporciona profundidad de respuesta que en

ocasiones no es posible registrar mediante las técnicas cuantitativas.

Posibilita realizar exámenes cruzados de los datos obtenidos, recabar

información mediante fuentes diversas; de este modo se logra por medio

del proceso de complementariedad, llegar a contrastar y validar la

información obtenida a través de fuentes diversas sin perder la

flexibilidad, rasgo que caracteriza la investigación cualitativa.

Técnicas cualitativas y participativas: características

1. Las decisiones muestrales

Si bien el término muestra tiende a estar relacionado con lo cuantitativo y

por ende con la “generación de datos que puedan ser generalizados a una

población más amplia (a partir de una muestra) aleatoria y lo

suficientemente grande para representar adecuadamente una población en

particular” (2000, Métodos cuantitativos y cualitativos; p. 21), en la

investigación cualitativa la selección de la población o muestra constituye

uno de los pasos más importantes, pues el desarrollo de las preguntas, la

técnica y los instrumentos dependerán de la población.

Las decisiones muestrales en las investigaciones cualitativas deben

considerar los siguientes aspectos (Valles, 90):

Determinar y seleccionar los contextos relevantes (tutorías, Centro

Universitario, Escuela) para seleccionar los casos individuales. Lo que

significa considerar el criterio de heterogeneidad y homogeneidad

(diversidad y similitudes), el cual dependerá del objetivo de la

evaluación.

4

Page 5: Técnicas Cualitativas en los procesos de autoevaluación

Consideraciones pragmáticas que incluye la accesibilidad y los

recursos disponibles en la selección de los contextos y las personas.

Determinación del tipo de muestreo (variación máxima, caso típico,

casos extremos, etc.).

Cronología o tiempos y recursos de la evaluación o investigación.

A diferencia de las investigaciones cuantitativas, los estudios cualitativos

“generan datos aplicables al programa o temática específica y de la cual se

está evaluando”, en este sentido, el muestreo se realizan con un propósito

muy claro, las personas que participen serán escogidas porque ellos poseen

características específicas y pueden proporcionar información sobre el

tema, criterio o componente que se evalúe. En otras palabras, el tipo de

información será la que determinará el tipo de individuos que serán

seleccionados a participar. Esta selección se puede llevar por distintos

métodos:

Casos extremos, críticos o casos que se desvían, un ejemplo de ello

sería entrevistar los estudiantes con el más bajo rendimiento

académico del programa o los de mayor rendimiento académico.

Casos obvios que demuestran el fenómeno o situación que se desea

evaluar, ejemplo los estudiantes con un nivel avanzado en cuanto a

los contenidos del plan de estudios de un programa determinado.

Casos típicos o aquellos que constituyen un buen ejemplo de un

resultado promedio de la participación en el programa, ejemplo,

selección de un grupo homogéneo de estudiantes de licenciatura de

un programa.

Variación máxima, ejemplo opinión de los graduados (as) de

Contaduría que trabajan en empresa privada y los que laboran en

empresa pública.

Personas recomendadas por otras personas (bola de nieve) para

identificar a los que saben más con respecto al tema, ejemplo, en el

tema de bienestar estudiantil a los miembros de la Federación de

Estudiantes que a su vez recomiendan a miembros de sus

asociaciones.

Criterio para comprender un punto importante o particular, por

ejemplo, analizar con un grupo de estudiantes la relevancia del

material didáctico.

5

Page 6: Técnicas Cualitativas en los procesos de autoevaluación

Confirmar o validar información o casos en referencia (visión de

experto).

Independientemente del tipo o método para definir la población se debe

tener presente que el tamaño de la muestra será “relativa o apropiada al

propósito y objetivos de la investigación” y las características generales de

la población tales como conocimiento en el tema, acceso, disponibilidad de

tiempo, costos, utilidad de la información, confiabilidad y validez.

Considerando que las técnicas cualitativas son más dirigidas y permiten

recolectar datos para identificar con mayor claridad y amplitud un aspecto

en particular, se recomienda que los participantes que caen en categorías

específicas o que constituyen un importante fuente de información deberán

ser escogidos intencionalmente para la técnica que se desee emplear. Por

lo general, el método más empleado por las características de los procesos

de autoevaluación son el caso típico o bien, aquellos que nos permitan

comprender un punto específico a profundidad.

En definitiva es importante tener presente que “las muestras en los estudios

cualitativos no están generalmente preespecificadas, sino que pueden

evolucionar una vez comenzado el trabajo de campo” (Valles, 93)[...] “las

elecciones iniciales de informantes te guían a otros informantes similares o

diferentes; el observar un tipo de sucesos invita a la comparación con otro

tipo; y el entendimiento de una relación clave en un contexto revela

aspectos a estudiar en otros”.

Pasos en la construcción de herramientas cualitativas

Las herramientas cualitativas y su desarrollo pueden considerar los

siguientes pasos o etapas:

Definición de los objetivos de la actividad (¿para qué hacemos la

actividad?)

Definición del área y el grupo participante (¿con quién vamos a

trabajar y dónde se va ha llevar a cabo?)

6

Page 7: Técnicas Cualitativas en los procesos de autoevaluación

Revisión de informaciones existentes (¿qué sabemos sobre el

asunto?). Estas pueden ser desde fuentes primarias (encuesta) hasta

secundarias como investigaciones, reglamentos, políticas, etc.

Identificación del papel del o los facilitadores (as) (¿cómo será

nuestra aptitud frente al grupo?

Preparación de un listado de los productos esperados (qué

esperamos?)

Selección de las herramientas (¿cómo vamos a hacerlo?)

Definición de las reglas de la actividad y de los roles de los

participantes (¿qué tenemos que hacer y cuál es nuestra

responsabilidad?)

De estos aspectos se debe resaltar la importancia de la definición del

objetivo de la actividad y sus resultados. Otro aspecto importante es que se

debe tener claro las características y particularidades de la población.

En este sentido es importante tener presente que se debe evitar tanto en la

formulación y ejecución de las técnicas cualitativas y participativas los

siguientes aspectos:

1. La improvisación: no se planifica con base a un objetivo clave y se es

poco o nada preciso en explicarlo a los participantes.

2. Superficialidad: solo se abordan los contenidos requeridos para la

investigación o el proceso evaluativo y no se da la posibilidad de que

halla un aporte integral de las experiencias de los participantes.

3. Premura: se tratan de cubrir el mayor número de contenidos o

preguntas sin llegar a profundizar en los resultados obtenidos.

4. Exclusión: se debe promover la participación activa de todos (as)

durante las actividades, no se recomienda debatir con los

participantes o negarles sus aportes por más simples o complejos que

sean.

5. Imposición: “se abandona la actitud de facilitador en algún momento

del proceso y se imponen ideas, dejando de escuchar y aprender” i.

6. Manipulación: se lleva una agenda oculta en donde se impongan los

intereses de una de las partes o se pretenda realizar un uso poco

ético de la información de los participantes.

7

Page 8: Técnicas Cualitativas en los procesos de autoevaluación

7. Falta de compromiso: la actividad debe contar con el compromiso de

cada uno de los que participen y de quienes lo organizan.

8. Decepción: no se deben genera expectativas más allá de las reales.

Es fundamental que los participantes tengan claros los objetivos de la

actividad, así como el facilitador escuchar las expectativas de estos

ante la actividad para evitar malos entendidos.

La selección de las técnicas o herramientas cualitativas y participativas van

a depender de una serie de criterios, tales como:

El enfoque participativo, que nivel de participación se desea de los

participantes (obtención de información, visión propositiva del

problema, escuchar comentarios y observaciones, etc). Debe

tomarse en cuenta qué tipo de participación espera la CAE de los

participantes.

El tipo de información que puedan brindar, pues no es lo mismo la

visión de un graduado en torno al plan de estudios, ya que lo ha

vivido en forma integral que un estudiante. Debe identificarse que

capacidad de información pueden generarnos las diferentes

poblaciones.

La temática, los contenidos y el nivel de profundidad de las

preguntas.

El grado de importancia de la información que se desea recopilar.

Las características de la población que va participar.

Por otra parte, es fundamental para el desarrollo de las herramientas

cualitativas y sobre todo, aquellas de corte participativo, el factor de la

visualización, que incluye desde la elaboración de guías, presentación de

materiales, así como el desarrollo de estrategias que permitan a todos (as)

las participantes dar a conocer los aportes y discusiones que se desarrollen

en los grupos de trabajo (fichas, carteles, dibujos, etc.)

En cuanto a la visualización en el desarrollo de las preguntas, el moderador

(a) o facilitador (a) debe comprender como regla general:

Preguntas bien formuladas Preguntas mal formuladas

1. Provocar la curiosidad. 1. “Son preguntas cerradas con respuestas evidentes o si / no.

8

Page 9: Técnicas Cualitativas en los procesos de autoevaluación

2. Estimular la discusión. 2. Son declaraciones generales, mal definidas.

3. Poner a reflexionar al grupo. 3. Sólo pueden ser respondidas por los expertos.

4. Sacar a relucir los conocimientos y capacidades del grupo.

4. Amenazan la colaboración del grupo.

5. Revelan el deseo de entender y ayudar”ii.

5. Enfocan al facilitador; empiezan por una conferencia.

6. Revelan paternalismo”iii.

Al nivel de la presentación de las respuestas o ideas expresadas es

recomendable visualizarlas con la ayuda ya sea de una pizarra, hojas o

fichas, según lo permita el espacio; se recomienda por lo general usar

imágenes o símbolos que todos (as) puedan entender, mantener la claridad

mediante colores o materiales diferentes y promoviendo una escritura clara

y legible.

De esta manera los comentarios, ideas y percepciones podrán ser

ordenadas o clasificadas por los moderadores (as) e inclusive los

mismos participantes.

Rol del facilitador

En el desarrollo de las técnicas cualitativas y participativas, el facilitador (a)

cumplen una función importante ya que será el responsable del desarrollo y

el cumplimiento de los objetivos de la técnica. Esta persona o personas

deben tener muy claro cuál es su papel en estos procesos, por lo que se

recomienda considerar los siguientes criterios en cuanto a su selección.

Criterios a tomar en cuenta en la selección de la persona que va

aplicar la técnica

Debe conocer y tener claro tanto el objetivo de la autoevaluación como

de la técnica que va aplicar. Por lo tanto es recomendable una persona

que haya estado involucrada desde el principio en el proceso de

autoevaluación del Programa.

9

Page 10: Técnicas Cualitativas en los procesos de autoevaluación

Debe generar empatía con el grupo, favoreciendo la participación y el

respeto, guiando la discusión y motivando a la reflexión.

Debe conocer y haber participado en la construcción de los temas a

tratar en la guía que se piensa utilizar, según la técnica que se va

aplicar.

Es importante que conozca las características básicas de la población

con la que va a interactuar, esto le permitirá sugerir temas o moderar en

una discusión determinada.

Cuando se va a trabajar con grupos, es importante que la persona que

va a moderar sea dinámica, de manera que propicie la discusión.

No debe emitir juicios de valor sobre lo que señalen las personas con las

que trabaja, de manera que la información que se está recolectando no

se vea sesgada. Debe armonizar las diferentes posiciones.

Es importante que tenga gran capacidad de manejar a los grupos, sin

que ellos signifique imponer sus criterios propios.

En este sentido, considerando el modelo de Arends, el moderador (a) o

facilitador (a) debe considerar seis aspectos o fases fundamentales en la

conducción de la sesión:

1. Facilitar los objetivos y el contexto de trabajo. En las técnicas

cualitativas es uno de los puntos más importantes ya que la claridad

promueve la motivación e interés en los participantes. Esta etapa

incluye la presentación de los participantes y su autorización, si se

requiere, de la grabación o apuntes textuales de las opiniones

expresadas en el grupo (este aspecto dependerá de la técnica

empleada).

2. Presentar la información. Se debe preparar material de apoyo (oral o

escrito) que fortalezca el trabajo en grupo.

3. Establecer la organización de equipos. Debe explicar la conformación de

los equipos y ayudar a su formación considerando la heterogeneidad de

los participantes.

10

Page 11: Técnicas Cualitativas en los procesos de autoevaluación

4. Apoyar al trabajo de los equipos. Se debe estar atento al trabajo de los

grupos con el objetivo de estar en la disposición permanente de facilitar

orientaciones y sugerencias. Evitando que los grupos se desvíen del

objetivo.

5. Comprobar los resultados. Las plenarias constituyen espacios perfectos

para la comprobación de los resultados, al igual que los informes y

presentaciones realizadas por los grupos. En este sentido, el moderador

o facilitador debe garantizar una correcta interpretación de lo dicho por

los actores, por lo general, es recomendable que este realice un

comentario final y sintetizador de lo dicho por el grupo al final de la

actividad, por supuesto dando la oportunidad al grupo de aportar o

retroalimentar lo dicho.

6. Reconocimiento del éxito. Se deben seleccionar los mejores medios para

reconocer el trabajo realizado por los grupos y los participantes iv.

Finalmente, en los procesos de autoevaluación, por sus características, es

fundamental que el moderador (a) o facilitador (a) sea una figura que

promueva la participación de los grupos, es decir, si se va a trabajar con

estudiantes y se consultará sobre el trabajo del encargado del programa,

por ejemplo, es recomendable que otra persona de la comisión sea el que

asuma el rol de moderación de la actividad. En otras palabras, el

moderador en la medida de lo posible no debe ser un ente inhibidor de las

opiniones de los participantes.

Análisis de la información de la técnica cualitativa

El análisis de la información que se recolecte mediante las técnicas

cualitativas debe ser analizada en conjunto entre el Equipo de Evaluación y

la Comisión de Autoevaluación (CAE) correspondiente; de manera que se

pueda enriquecer la interpretación de los datos con la discusión conjunta de

las categorías que se establezcan en el análisis.

Por lo general existen dos estrategias de análisis de la información

cualitativa:

Categorización: la CAE junto al PAA, elabora categorías estructuradas

(por lo general, temas de las guías de pregunta de las herramientas) y se

11

Page 12: Técnicas Cualitativas en los procesos de autoevaluación

incluyen aquellas que surgieron durante la actividad y las que

emergieron durante su aplicación.

Conceptualización: se identifican las conexiones entre categorías y

temas.

Se recomienda utilizar la primera estrategia para el análisis y

sistematización de la información, por lo general, las preguntas de la guía

utilizada pueden ser las categorías o ideas centrales que permitan

concentrar la información obtenida, las técnicas cualitativas proporcionan

una gran cantidad de información, que debe estar organizada para

comprenderla en el marco de un proceso de autoevaluación. A continuación

se recomienda para el análisis seguir los siguientes pasos:

1. Transcribir y ordenar los datos, lo más pronto posible para que no se

obvien percepciones e ideas de los participantes. Estas transcripciones,

cuando no son grabaciones o videos, deben ser lo más puntuales

posibles.

2. Leer detenidamente la transcripción e identificar las ideas o temas

tratados, por lo general estas responden a los temas tratados en la guía

de preguntas utilizada o en los componentes de autoevaluación.

3. Clasificar y ordenar los datos obtenidos a partir de las ideas centrales o

temas establecidos, elaborar un cuadro o matriz es una excelente

estrategia para tener analizar los datos. Ejemplo:

Componente: Curriculum

Fuente: Docentes

Temas o ideas

centrales

Datos obtenidos Observaciones

Coherencia del plan de

estudios con misión y

visión de la UNED

Se introducen los

datos o las

percepciones

recogidas en cuanto

a este tema

específico

Se incorpora una una

interpretación o

valoración de las

expresiones, pueden

apoyarlas con resultados

de otras técnicas o de la

documentación obtenida

Se pueden incorporar

12

Page 13: Técnicas Cualitativas en los procesos de autoevaluación

apreciaciones que se

consideran valiosas

rescatar

(conceptualización)

Los criterios de calidad de los estudios y técnicas cualitativas

Si bien existen diferentes posturas en cuanto a los criterios de calidad de los

estudios cualitativos, muchos de ellos radicales en cuanto al enfoque

cuantitativo y cualitativo, Erlandson y otros, establecen tres grupos de

“criterios de calidad”:

Criterio de confiabilidad.

Criterios de autenticidad.

Criterios éticos (Valles, 103).

En el primer grupo se incluyen “los criterios de validez y fiabilidad” propios

de la metodología cuantitativa y que pueden visualizarse en los estudios

cualitativos como: credibilidad, trasferibilidad y dependibilidad (Valles, 103).

Tabla 1Criterios de confiabilidad en los estudios cuantitativos

Criterios de confiabilidad Concepto Ejemplo

13

Page 14: Técnicas Cualitativas en los procesos de autoevaluación

Credibilidad Uso de un conjunto de recursos técnicos (duración e intensidad de la observación, participación, triangulación de los datos, métodos e investigadores, acopio de información escrita, visual propia del contexto, discusiones con expertos, revisión de información e interpretación con las personas estudiadas y registro de cuadernos de campo.

La CAE decide realizar mediante una matriz una triangulación de los resultados obtenidos en la encuesta a estudiantes y del taller, organizando los resultados de ambos por temas centrales o los criterios de evaluación.

La CAE sistematiza los resultados del taller y lo devuelve a un grupo de estudiantes que participaron con el objetivo de que ellos indiquen si se sistematizó todo lo tratado en el taller.

Transferibilidad Esta se logra a través de diversos procedimientos de muestreo cualitativo.

Dependibilidad Es una especie de auditoria externa, el investigador facilitará la documentación o sistematización que hará posible la inspección: guías de entrevistas, trascripciones, etc

Un miembro externo del equipo facilitador de la técnica retoma la trascripción de la entrevista y la revisa considerando el contenido, vacíos de información y orientación del facilitador.

Este observador incluso puede estar presente en la actividad y levantar nota del desarrollo de la actividad desde la posición del facilitador hasta el manejo de la información o de los datos.

Fuente: Valles, M. (1997) Técnicas Cualitativas de Investigación Social: reflexión metodológica y práctica social. Madrid, Editorial Síntesis.

Técnicas cualitativas

14

Page 15: Técnicas Cualitativas en los procesos de autoevaluación

Criterios para la selección y aplicación de las técnicas cualitativas

La selección adecuada de las técnicas cualitativas en los procesos de

autoevaluación, constituye una tarea compleja, que dependerá de los

siguientes aspectos:

Deben ser apropiadas al objeto de estudio de la evaluación

(programa académico) y sus objetivos.

Debe establecerse con claridad los objetivos y propósitos de la

actividad (cuál es el propósito, qué información se espera obtener).

La orientación del tema o temas y sus interrogantes, en este sentido,

se deben considerar el tipo de abordaje tanto de los temas o tema y

de las interrogantes.

Deben tomar en cuenta el tipo de población con la cual se va a

trabajar para obtener la información que se necesita. Por ejemplo si

se necesita recolectar información sobre la opinión de los

empleadores, es más recomendable realizar una entrevista en el sitio

de trabajo, que citar a la persona a un taller o a un grupo focal en la

propia Universidad.

Determinar los recursos y condiciones de espacio para realizar la

actividad.

Por lo general, es importante que en el momento de seleccionar la técnica e

inclusive para definirla metodológicamente, la CAE junto al asesor (a) del

PAA, puedan elaborar esta sencilla matriz:

Objetivo (s) Población Actividades y

temas

(metodología)

Grupo de

apoyo

Materiales y

lugar de la

actividad

¿Qué

esperamos

obtener?

¿Quiénes

participarán?,

¿Cuáles son sus

características

principales?

¿Qué temas y

subtemas se

incluirán?¿Qué

actividades se

desarrollaran

para alcanzar los

objetivos?

Se deben incluir

tanto las

¿Quién o

quienes serán

los que

moderen la

actividad?

¿Quién o

quiénes

asistirán al

moderador

¿Qué tipo de

material se

utilizará?

Grabadoras,

fichas, hojas

blancas,

marcadores,

etc.

15

Page 16: Técnicas Cualitativas en los procesos de autoevaluación

actividades de

planeación como

de ejecución

(res)?

Ejemplo:

Grupo Focal

Determinar la

percepción de

los graduados

de Contaduría

sobre el plan

de estudios,

unidades

didácticas,

tutorías y

pertinencia del

programa.

Graduados del

programa de

Contaduría de los

últimos cuatro

años. Por las

características se

encontró que el

grupo de

participantes

debe separarse

entre graduados

que laboran en

empresas

privadas y

graduados que

laboran en

empresas

públicas ya que

su percepción de

mejoras puede

influir de acuerdo

a sus espacios

laborales.

Se formaran dos

grupos de 10

personas.

1. Preparación

de la agenda

y materiales.

2. Convocatoria

de los

participantes

3. Elaboración

de una guía

de preguntas

orientadoras

4. Presentación

de los

objetivos a los

participantes

5. Desarrollar

una sesión de

preguntas y

respuestas

con el grupo

6. Cierre de la

actividad

Moderadora:

Anabelle

Castillo

Asistentes:

Roxana Escoto

Jorge Cunillera

Rocío Arce

Agenda de

trabajo

Hojas blancas,

lapiceros

Grabadoras,

casettes.

Folder para los

participantes

Obsequio

Refrigerio

Por el número

de participantes

y las

condiciones del

espacio se

realizará en la

sala de

reuniones de

administración

de empresas

16

Page 17: Técnicas Cualitativas en los procesos de autoevaluación

Pautas generales en el desarrollo de las técnicas cualitativas

Independientemente de la técnica e instrumento cualitativo empleado, el

moderador (a) debe considerar las siguientes pautas, en su conducción:

Técnicas cualitativas y participativas

A continuación se describe las técnicas más significativas empleadas en los

procesos de autoevaluación. Aún así, es importante indicar que una de las

características más importantes de este tipo de técnicas es la posibilidad

de innovar, por lo que aquí se muestran algunas de la gran variedad de

i Ídem., p. 21.ii Ídem., p. 20.iii Ídem., p. 20.iv Ob. Cit.

17

8. Verifique antes de iniciar que se cuenta con los materiales, las personas responsables (planificación)

9. Durante la actividad: se debe establecer una buena relación con el grupo.

10. Secuencia de las preguntas: inicie con un comentario positivo, abra la posibilidad de que se puedan incorporar temas que sean de intereses para el proceso de autoevaluación como

1. Pase de las preguntas categóricas a las indagatorias.

2. No influya ni sugiera la respuesta

3. Demuestre interés pero mantenga la neutralidad.

4. Observe el comportamiento de los participantes.

5. Utilice un lenguaje sencillo, coloquial.

6. Tome notas completas y lo más exactas posibles.

7. Verifique la confiabilidad: incluir las opiniones contradictorias y formule nuevamente

11. Al concluir:a. Agradezca su aporte.b. Indiquen lo valioso de su participación.c. Indique brevemente el propósito de la actividad.d. Consulte si tiene alguna pregunta o inquietud.

Page 18: Técnicas Cualitativas en los procesos de autoevaluación

técnicas, pero no quiere decir que sean las únicas o deben aplicarse tal y

como se presentan ¡por supuesto sin perder la rigurosidad de la técnica!

Antes de iniciar deben tomarse en cuenta:

1. La Entrevista

Se recomienda utilizar entrevistas cuando la información que se quiere

obtener es información especializada sobre algún tema y es alguna(s)

personas la que la poseen (lo que llamamos anteriormente los informantes

clave) ó también cuando reunir algún grupo (por ejemplo en el caso de los

graduados y los empleadores) se vuelve particularmente difícil; en estos

casos se pueden seleccionar informantes que puedan brindar información

clave para el proceso3.

En cuanto a la entrevista existen diferentes modalidades:

1. Entrevista individual: consta de una guía de entrevista espontánea o

semiestructuradas, se pregunta por cada tema buscando una mayor

profundidad. Las preguntas pueden ser: indagatorias o sondeo y

categorías y de seguimiento, buscando largas y detalladas.

2. Entrevista de profundidad: se realizan preguntas, se escucha y registra

las respuestas con el objetivo de ir desarrollando otras preguntas para

3 Personas que estén interesadas y comprometidas con el proceso y que tengan un conocimiento exhaustivo y crítico sobre los distintos temas a tratar en las entrevistas.

18

Claridad del rol de las partes

(facilitador (a) y participantes).

Claridad de los objetivos de la

actividad¡El planeamiento

es vital!

Observar a los participantes ¡Sus expresiones dicen

mucho!

Las herramientas cualitativas son

un medio y no un fin último

No olviden desarrollar

estrategias de visualización

Page 19: Técnicas Cualitativas en los procesos de autoevaluación

ampliar el tema o los temas. Son preguntas abiertas y permiten que se

expresen percepciones con sus propias palabras. Su finalidad es recoger

la opinión de los actores sobre su experiencia, ejemplo, se entrevista a

un estudiante que este finalizando su plan de estudios.

3. Entrevista focalizada: se realiza en grupo, en ella los participantes como

el entrevistador pueden realizar preguntas unos a los otros e intervenir

para realizar aclaraciones. Su propósito es visualizar opiniones

conjuntas de una población sobre un tema en común, ejemplo, reunir a 5

estudiantes de un curso para entrevistarlos sobre su experiencia en el

mismo.

4. Conversación informal: se realiza por una generación espontánea de

preguntas en un ambiente natural, permite una mayor flexibilidad para

guiar las preguntas en la dirección más adecuada, permitiendo un

espacio de comodidad, por lo general no se tiene definido un conjunto de

preguntas. Sin embargo, debe tenerse en cuenta que con esta técnica se

generan datos menos sistemáticos y su clasificación y análisis es más

difícil y lento.

Por otra parte, las guías de preguntas pueden ser:

Estructuradas (abiertas estandarizadas): conjunto de preguntas

abiertas cuidadosamente formuladas y ordenadas anticipadamente. Si

son varios los entrevistados (as), se hacen las mismas preguntas, con las

mismas palabras y en el mismo orden. Sus desventajas radican en que

no permiten guiar las preguntas o temas que no se anticiparon, limitan el

uso de preguntas alternativas a diferentes personas y no incorporan las

diferencias y circunstancias individuales.

Semiestructuradas: implica preparar una guía de entrevista, con un

conjunto de temas o preguntas orientadoras que sirven de verificación

durante la entrevista garantizando que se obtenga la misma información

a partir de varias personas, su ventaja es que son flexibles y ordenadas

por temáticas (hay una mayor libertad en profundizar en determinadas

preguntas). Sin embargo, la flexibilidad en la formulación y

ordenamiento de las preguntas diferentes, deduciendo la capacidad de

comparación.

Pese a la diferencia en el tipo de entrevistas se deben tener presente que

por lo general su propósito es recolectar información general o específica

19

Page 20: Técnicas Cualitativas en los procesos de autoevaluación

mediante el diálogo con los individuos (informantes clave). Esta técnica

busca completar e enriquecer la información que se registra mediante las

encuestas o cuestionarios. Se usan para la prueba previa de asuntos que

desean sondearse a fondo o cuando se necesitan respuestas individuales,

en vez de respuestas colectivas. Permiten evaluar la comprensión, así como

sentimientos, emociones, actitudes y prejuicios, que normalmente no se

evocan en las entrevistas más comunes para conocer la opinión del público.

En cuanto a la duración esta puede variar según el caso, sin embargo se

recomienda no extenderse más de 2 horas en una entrevista, en caso de

que queden tópicos por tratar es preferible concertar otra cita con la

persona y en caso de que esto no sea posible es necesario priorizar la

información que es más importante.

Entre los recursos necesarios, se debe incluir: grabadora, pilas, casetes4;

libreta y lápiz en caso de que la persona prefiera no ser grabada y haya que

tomar notas.

Procedimientos a seguir:

Establecer una guía de entrevista (máximo 15 temas distintos) donde

se encuentren resumidos, en forma clara los puntos fundamentales

que se quieren tratar. Estos temas van a servir de guía para elaborar

las preguntas que se van a tratar con el o la entrevistado(a).

La guía de entrevista no es un manual rígido, no debe ser seguida en forma

mecánica, hay que dejar fluir el diálogo con la gente. Por otra parte si surgiera

un tema que al entrevistador le parece pertinente –y no estuviera incluido en la

guía de entrevista- es importante abordarlo sin desviarse del objetivo central de

la entrevista.

2. La observación

Aunque es una técnica poco empleada en los procesos de autoevaluación es

una herramienta de gran potencial para un encargado de cátedra o de

4 Es importante revisar y probar el equipo con antelación para estar seguros(as) de que funciona adecuadamente

20

Page 21: Técnicas Cualitativas en los procesos de autoevaluación

programa que desee valorar las tutorías presenciales, las actividades con

estudiantes o reuniones universitarias.

Su objetivo es observar a las personas en su comportamiento e interacción

entre sí, su éxito dependerá de las características del grupo, la guía de

preguntas y de observación y el contexto en donde se desarrolla la

observación. Esta técnica consta de un observador (a) que dependiendo del

tipo de observación podrá vincularse o no con el grupo.

1. Observación participativa: no solo implica ver lo que sucede sino

también ser parte del grupo. Esta técnica si bien permite experimentar,

entender el problema en estudio, tiene como desventaja que altera el

comportamiento de los sujetos y pueden eventualmente presentarse

problemas éticos. Ejemplo: participar en una tutoría como estudiante.

2. Observación directa: involucra la anotación y registro sistemático de las

actividades, comportamientos y objetos, se parte de la no-intrusión con

el objeto de estudio (ejemplo: el observador asiste a la tutoría, se sienta

en una esquina del aula, sin intervenir).

3. Observación estructurada: cuenta con un conjunto de ítems

preseleccionados en donde se anota lo observado para luego clasificar

la información de acuerdo a los temas pertinentes con el objetivo de

conocer e informarse del objeto de estudio. Ejemplo: se puede realizar

una observación estructucturada de un Centro Universitario donde se

lleve una lista que indique que se valoraran los servicios sanitarios,

accesos para discapacitados, estado de las aulas.

De acuerdo a las condiciones de la autoevaluación es recomendable que

la CAE, prepare un plan estructurado de la observación es decir, una lista

donde se refleje las características de la situación, grupo o lugar. Ser

discreto

21

Procedimiento:

Revisar el plan de observación antes de llevarse a cabo.Tener una vista aguda y ser exhaustivo.Mirar, escuchar y aprender.Registra todas las observacionesSer discreto.

Procedimiento:

Revisar el plan de observación antes de llevarse a cabo.Tener una vista aguda y ser exhaustivo.Mirar, escuchar y aprender.Registra todas las observacionesSer discreto.

Revisión y uso de la información

Discutir las observaciones con el equipo.Clasificar por temas generales y grupos específicos.Preparar un resumen para luego hacer referencia cruzada.Definir los temas que surjan de la discusión que pueden ser investigados con mayor detenimiento.

Revisión y uso de la información

Discutir las observaciones con el equipo.Clasificar por temas generales y grupos específicos.Preparar un resumen para luego hacer referencia cruzada.Definir los temas que surjan de la discusión que pueden ser investigados con mayor detenimiento.

Page 22: Técnicas Cualitativas en los procesos de autoevaluación

Las observaciones pueden ser de gran utilidad en la sistematización de un

grupo focal, taller u otra técnica cualitativa y participativa.

4. Grupos Focales

El grupo focal es una herramienta abierta y provocadora de la participación

generando espacios de reflexión y análisis. En el fondo, los grupos focales

pretenden una apropiación de los contenidos con el fin de generar acciones

de las personas con respecto a un tema específico. Su premisa principal es

que las personas que forman parten de las experiencias, conocimientos,

problemas o inquietudes estén dispuestas a expresarlas en una atmósfera

de grupo.

Los grupos focales aprovechan la dinámica de grupo y permiten a un grupo

pequeño de participantes ser guiados por un moderador para alcanzar

niveles crecientes de comprensión y profundización de las cuestiones

fundamentales del tema objeto del estudio.

De esta manera, un grupo se caracteriza por ser:

Un espacio de discusión y análisis.

Herramienta para profundizar sobre un tema (s) específicos.

Favorece las condiciones para conocer la percepción de un grupo sobre

el programa académico.

22

Page 23: Técnicas Cualitativas en los procesos de autoevaluación

Favorece una percepción colectiva de un tema (componente y criterios),

sin embargo, la opinión individual es igual de importante en esta

herramienta.

En forma general sus ventajas y desventajas son:

Ventajas Desventajas

Permite la interacción

Permite identificar la afinidad

entre el programa y actor (a)

Es una herramienta flexible (entre

la pregunta y el modo de

preguntar)

Ofrece información de la

experiencia de primera mano

Es un medio para escuchar a los

usuarios (as)

Los datos no son generalizables.

Puede ser afectado por el grado

de conocimiento del informante.

Puede darse una manipulación de

la información por parte de los

grupos de poder.

El proceso de análisis es más

lento.

Tamaño, composición y selección del grupo focal

El número de participantes de un grupo focal puede oscilar entre 5 y 10, ya

que un grupo de este tamaño permite un diálogo fluido y puede ser

moderado con más facilidad. Si el grupo es muy pequeño, las personas se

sentirán obligadas a hacer comentarios, aunque no tengan nada que decir,

además la discusión puede ser dirigida por los individuos más influyentes.

Por el contrario si el grupo es más grande las personas tendrán que esperar

para realizar los comentarios –y cuando llegué su turno- pueden haber

perdido el interés u olvidado lo que iban a decir.

Dentro de lo posible debe existir una composición de grupo homogénea, con

participantes que compartan características y experiencias, sin embargo

tomando en cuenta que el grupo sea “tan homogéneo” que no permita el

intercambio de ideas y opiniones distintas.

Los participantes pueden seleccionarse aleatoriamente, sin embargo, el

grupo debe ser homogéneo (compartir ciertas características similares), a

23

Page 24: Técnicas Cualitativas en los procesos de autoevaluación

través de una lista de personas representativas del sector destinatario. La

duración de un grupo focal no debe exceder de 2 horas máximo, por sesión.

Pasos a seguir para un proceso de autoevaluación

Establecer una guía de entrevista (máximo 6 a 7 temas); la guía debe

incluir los temas a tratar y servirá como una ayuda al moderador durante

la reunión. Hay que tomar en cuenta que pueden surgir otros temas –

sugeridos por los participantes- que si están relacionados y el moderador

considera importante tratarlos pueden ser tomados en cuenta también.

El lugar de la reunión puede llevarse a cabo en un espacio donde los

participantes puedan sentarse y se asegure cierta privacidad. Debe

cuidarse que la reunión no sea interrumpida y que no asistan personas

que no han sido invitadas.

Para propiciar la interacción entre los participantes la mejor ubicación es

o en una mesa redonda o sino en círculo, para que puedan mirarse unos

a otros. Lo importante es que los participantes se sientan cómodos y

relajados.

Es importante que el moderador explique al principio de la reunión cuál

es el propósito de la misma. Aclarar que no es una sesión de preguntas y

respuestas, sino una discusión informal en donde cada uno de los

participantes puede dar su opinión sobre los comentarios de los demás;

que es importante escuchar la opinión y los comentarios de los demás de

una manera respetuosa, ya que el interés es que todas las posibles ideas

y explicaciones se encuentren incluidas. Finalmente, debido a que el

tiempo es limitado, se pide a los participantes que hagan intervenciones

breves y sintéticas –orientadas hacia propuestas que permitan tomar

decisiones particulares con respecto al tema que se trata-

El moderador usa un esquema para mantener la conversación guiada

mientras deja que los entrevistados(as) hablen de forma libre y

espontánea. A medida que van planteándose temas nuevos relacionados

con el esquema, el moderador profundiza más para obtener información

24

Page 25: Técnicas Cualitativas en los procesos de autoevaluación

más útil. El moderador debe conseguir interrumpirlos con discreción, sin

crear tensiones entre los participantes; esto con el objetivo de que la

discusión se desvíe del objetivo de la reunión e ir introduciendo los

temas de la guía de entrevista.

Se debe usar un moderador (ver características del facilitador –a-), que

pueda manejar hábilmente el proceso de grupo. No es necesario que sea

un experto en la materia, sino que sepa entablar una buena relación,

ganarse la confianza de los entrevistados y sondearlos sin reaccionar

frente a sus opiniones, a fin de no influir. El moderador debe ser capaz

de dirigir el debate y no dejarse dirigir por el grupo, recalcar que no hay

respuestas u opiniones correctas o equivocadas para las observaciones

que se hagan desde el grupo.

Es importante que exista una persona –además del moderador- que

tome notas ya que es difícil que el moderador sea capaz de recordar

todos los puntos principales y conclusiones de una sesión. Además las

notas permiten identificar a las personas que expresan determinadas

ideas, para poder categorizar los puntos de vista de los diferentes grupos

o participantes5.

5. Talleres

El taller es una técnica participativa que mediante una serie de actividades

combinadas permite a los participantes ofrecer su percepción, reflexionar y

proponer acciones.

Esta técnica permite tener un espacio más amplio de discusión sobre

aspectos en los cuales la diversidad de opiniones constituye un factor

importante para la obtención de la información final.

El taller la creación de una guía específica con unos objetivos muy claros

para su desarrollo, la identificación de un moderador y un relator, quienes

se encargarán de conducir y sintetizar la información obtenida. Debe tener

una extensión de tiempo definida (2 horas) y apropiada para desarrollar el

tema propuesto.

5 Tomado de la Soc. Mónica Quirós.

25

Page 26: Técnicas Cualitativas en los procesos de autoevaluación

Esta técnica permite que un grupo considerable (de 10 a 30 personas)

pueda discutir un tema específico o varios, emitir sus percepciones y

valoraciones en forma grupal. El taller permite en una sola actividad

trabajar con poblaciones diferentes e inclusive integrarlos en diversas

actividades grupales para analizar diferentes perspectivas. Asimismo

construir en forma participativa, una visión del programa y sus acciones de

mejora.

Ejemplo: El taller puede integrar en una sola actividad a grupos de

estudiantes, graduados y personal docente, cada grupo puede trabajar en

forma separada pero también en forma integral en la medida que

estudiantes y docentes, graduados y estudiantes, etc, puedan brindar una

visión conjunta de la calidad de su programa.

Las técnicas mencionadas anteriormente son solo algunas que pueden

desarrollarse en los procesos de autoevaluación, pero ello no quiere decir

que no se puedan aplicar otras técnicas cualitativas como la historia de

vida (de un tutor –a-) o estudiante, árboles de problemas y de objetivos

(para desarrollar planes de mejora), el metaplan, etc.

Bibliografía

26