PARÁMETROS, CRITERIOS, INDICADORES Y/O...

1

PARÁMETROS,CRITERIOS,INDICADORESY/OCUESTIONAMIENTOSPARAEVALUARLACALIDADDE

UNAINVESTIGACIÓN

INTRODUCCIÓN

Talcomoloseñalamosenelcapítuloanterior:noexistelainvestigaciónperfecta,como

tampocohayunserhumanoperfecto(laperfecciónconstituyeunestándarideal).Por

tanto,encualquierestudiosiempretendremoslimitaciones.Enlarealidadeslocomún

yresultaimposibleevitarlascienporciento.

Sin embargo, ¿hasta dónde podemos decir que un estudio es razonablemente

dignodeserconsiderado?,¿quéelementosdebemostomarencuentaparaevaluaruna

investigación?Lasrespuestasaestaspreguntassoncomplejasyexistenvarioscriterios

quesehangeneradoparaanalizarlacalidaddeunestudio,peroactualmentenoexiste

un consenso general ni un acuerdo definitivo entre los autores sobre cuáles deben

contemplarse.Porello,acontinuaciónpresentamoscincolistadosdetaleselementos.El

primeroaplica fundamentalmente a investigaciones cuantitativasy se generódurante

1995a2009porprofesoresqueenseñanmetodologíadelainvestigaciónendiferentes

universidadesiberoamericanas,yalgunosdesuscriteriossehanincluidoenlapágina

CAPÍTULO

10

2

webomanualesdel instructorenedicionesanterioresaestaobra (Metodologíade la

investigación,5ªedición).Elsegundo,tambiénbásicamenteparaestudioscuantitativos,

fue una adecuación sobre el trabajo de Fischer (2005). El tercero, más bien para

indagaciones cuantitativas, constituye una adaptación de diferentes autores en la

materia. El cuarto es propio para investigaciones cualitativas y es producto de las

aportacionesdediversosmetodólogos.Finalmente,elquintoesunaprimerapropuesta

(muy tentativa) para evaluar investigaciones mixtas y se cimienta en Hernández

Sampieri yMendoza (2008), Onwuegbuzie y Johnson (2008) y Tashakkori y Teddlie

(2008b),asícomoTeddlieyTashakkori(2009).Loslistadospuedenserviramaneradesistemadeverificación(checklist).Incluso,

cadalectorpodráelegirde losdistintos listados loscriteriosqueconsideraapliquena

suestudio.

Investigacióncuantitativa

Tabla10.1Primerlistadoderubrosyfactores

paraevaluarunainvestigacióncuantitativa1

Aplica principalmente a estudios cuantitativos y cabe señalar que cada elemento de

cualquierrubrosecalificadelceroaldiez,donde0implicaríaelvalormásbajoy10el

másalto.

Rubro:planteamientodelproblema.

Rango:máximo70,mínimocero.

Elemento,indicadorofactor Escala2

1. Comprensióndelaredaccióndelosobjetivosdeinvestigación

2. Comprensión de la redacción de las preguntas deinvestigación

3. Precisióndeobjetivos

4. Delimitacióndelproblemadeinvestigación

1 Este listado fue producto de presentaciones que los autores han realizado enmás de 25 países y porcuestiones de espacio resultaría sumamente difícil incluir a todos los docentes e investigadores que hanaportadofactoresoelementos.Seutilizancalificandocadaunoenunaescaladelceroal10.2Recordemos:delceroal10,dondeceroimplicaríaelvalormásbajoy10elmásalto.

3

5. Concordanciaentreobjetivosypreguntasdeinvestigación

6. Justificación de la investigación por al menos dos razones(desarrollodeconocimiento,aportacionesateorías,soluciónde situaciones prácticas o problemáticas sociales, resolucióndecontroversias,aportacionesmetodológicas,etcétera)

7. Inclusióndedatosestadísticosválidosyactuales,asícomodetestimonios de expertos confiables que contribuyan aenmarcarelproblemayjustificarlo

Rubro:revisióndelaliteraturaomarcoteórico.


Elemento,indicadorofactor Escala

1. Revisión de autores destacados en el campo o campos deconocimiento en los cuales se inserta el problema deinvestigación

2. Inclusión de una o más revisiones del estado del arte y/ometaanálisisendichocampoocampos

3. Utilización de bancos de datos o bibliográficos másimportantes en las áreas de conocimiento abarcadas por elproblemadeinvestigación(porlomenosunoydeserposiblelostresmásimportantes)

4. Insercióndereferenciasrecientes(dosomenosaños)

5. Presentación de estudios que apoyan las hipótesis deinvestigaciónydelosquelasrefutan(sieselcaso)

6. Vinculaciónlogradaentreelplanteamientoylarevisióndelaliteraturaomarcoteórico

7. Ubicación en la literatura de las deficiencias o huecos deconocimientorespectoalplanteamientodelproblema

8. Revisióndelplanteamientodelproblemaaraízdelarevisióndelaliteratura

Rubro:alcance(s)delainvestigación.


Elemento,indicadorofactor Escala1. Identificación del alcance inicial del estudio (exploratorio,

descriptivo,correlacionaly/oexplicativo)

2. Congruencia entre el alcance inicial y el planteamiento delproblemarevisadoalaluzdelarevisióndelaliteratura

4

Rubro:hipótesis.


Elemento,indicadorofactor Escala1. Grado en que la(s) hipótesis sea(n) comprensible(s) para

otroscolegasolectores

2. Grado en que la relación planteada entre las variables sealógica

3. Grado en que la relación planteada entre las variables seaconsistente(ocongruente)

4. Precisióndelasdefinicionesconceptuales 5. Grado en que las definiciones conceptuales son

comprensiblesparaotroscolegasolectores

6. Precisióndelasdefinicionesoperacionales 7. Grado en que las definiciones operacionales son

comprensiblesparaotroscolegasolectores

8. Congruenciadelashipótesisconlosobjetivosypreguntasdeinvestigación.

9. Identificación de variables susceptibles de medir, evaluar,diagnosticary/oanalizar

Rubro:diseñodeinvestigación.


Elemento,indicadorofactor Escala1. Adecuacióndeldiseñodeinvestigaciónalplanteamientodel

problema

2. Adecuación del diseño de investigación a la realidad ycontexto

3. Congruenciadeldiseñoconla(s)hipótesis 4. Congruenciadeldiseñoconelalcanceinicial 5. Factibilidaddeaplicacióndeldiseño 6. Resolucióndeobstáculosqueplanteeeldiseño 7. Controldelasfuentesquepuedaninvalidarlaaplicacióndel

diseño

Rubro:muestra.


Elemento,indicadorofactor Escala1. Precisiónconquesedelimiteeluniversodeestudio 2. Claridad y precisión con las cuales se defina la unidad de

muestreo

3. Claridadyprecisiónconquesedefinalamuestra 4. Gradoenquelamuestraesadecuadaalenfoquedelestudio 5. Gradoenqueseconocelaprobabilidaddeloselementosdel

5

universoparaformarpartedelamuestra6. Grado en que la muestra es representativa del universo

(tamañoyniveldeconfianza‐error)

7. Grado de semejanza entre las estadísticas descriptivas (ydistribuciones)delasvariablesdemográficasdelamuestraylasdeluniverso(género,edad,ocupación,estadocivil,nivelsocioeconómico,etcétera)Aplicasólosi sedisponede talesestadísticasdeluniversoopoblación.

Rubro:recoleccióndelosdatos.


Elemento,indicadorofactor Escala1. Elección apropiada del lugar de recolección de los datos u

obtencióndeinformación

2. Elecciónapropiadadelmomentoderecoleccióndelosdatosuobtencióndeinformación

3. Capacidad del investigador para adaptarse al momento derecoleccióndelosdatosuobtencióndeinformación

4. Capacidad del investigador para adaptarse al lugar derecoleccióndelosdatosuobtencióndeinformación

5. Explicacióndelcontextoenqueocurriólarecolección 6. Capacitaciónadecuadadelpersonalqueobtuvo losdatoso

lainformación

7. Grado de supervisión por parte del investigador en larecoleccióndelosdatosoinformación

8. Poder de medición o evaluación (en gran medidadeterminadoporlautilizacióndedistintasformasométodosdeevaluaciónomedición)

9. Confiabilidaddelinstrumentooinstrumentos Un punto por cada 10décimas del coeficiente deconfiabilidadocorrelación

10. Evidenciasobrelavalidezdecontenidodelinstrumentooinstrumentos(muestreodedimensiones)

11. Evidencia sobre la validez de “rostro” o “de cara” delinstrumento(facevalidity)(revisióndeexpertos)

12. Evidencia sobre la validez de criterio (ya sea concurrente opredictiva)

13. Evidenciasobrelavalidezdeconstructo 14. Evidenciasobrelavalidezconvergente‐discriminante(quese

vinculaconlavalidezdeconstructo)

15. Elaboracióndeunabitácoradelprocesoderecoleccióndelainformación(opcionalymuyvinculadoalquintoelementoocriterio: explicación del contexto en que ocurrió larecolección)

6

Rubro:preparacióndelosdatosoinformaciónparasuanálisis.


Elemento,indicadorofactor Escala1. Revisiónconrespectoasiestáncompletasydeacuerdocon

lo programado: las respuestas, mediciones, ejemplares delinstrumentodemediciónoequivalentesdelainvestigación

2. Número de errores en la codificación (hoy en día debe sernuloonosuperar1%,yaquealanalizar losdatospodemosidentificarlos)

3. Existencia de un respaldo para los datos codificados en lamatriz

4. Preparación adecuada de la información para su análisis oevaluación

5. Posibilidaddequelainformaciónolosdatosseananalizadosoevaluadosporotrosinvestigadores

Rubro:análisisdelosdatos.


Elemento,indicadorofactor Escala1. Congruencia de los análisis elegidos con los objetivos y

preguntasdelainvestigación

2. Congruencia de los análisis elegidos con las hipótesis de lainvestigación

3. Congruenciadelosanálisisconeldiseñodeinvestigación 4. Aplicacióncompletadelosanálisisrequeridosparalosdatos 5. Utilización de un paquete o programa computacional

confiableparalosanálisisoevaluaciones

6. Descripciónde las razonespor las cuales se llevarona cabolosanálisisolasevaluacionespracticadas

7. Interpretaciónadecuadadelasestadísticasdescriptivas 8. Interpretación adecuada de los análisis para la prueba de

hipótesis (resultados de las pruebas, valores y significanciaestadística)

9. Integración adecuada entre distintos análisis (coherencia yvinculaciónentreresultados)

Rubro:veracidadenlainterpretaciónderesultados.


Elemento,indicadorofactor Escala1. Presentacióndelosresultadosobtenidostalcomosedieron

(evitar ocultar información y no distorsionar los datos nipresentarparcialmentelosresultados)

7

2. Grado en que se distinguen con claridad cuáles fueron lasinterpretacioneseinferenciasdelinvestigador

3. Gradoenquelosresultadosestánapoyadosporlaevidenciadelosdatosyanálisis

4. Medida en que se pueden generalizar a la población losresultadosobtenidosenlamuestra

5. Gradoenquelainformaciónylosdatossonsuficientesparaconsiderarquelasinferenciasresultansólidas.

6. Gradoenqueserespetaronlaspremisasorequisitosdecadapruebaométodoestadístico.

Rubro:discusión.


Elemento,indicadorofactor Escala1. Inclusióndeunresumendelosresultadosgeneralescomoun

“todo”(holísticamente)

2. Pertinenciadelasinferenciasfinales 3. Inclusióndeconclusiones 4. Inclusióndesugerenciasyrecomendaciones 5. Inclusióndeaportaciones,alcancesyfortalezasdelestudio 6. Ubicación final de la investigación dentro del ámbito del

estudiodelplanteamientodelproblema

7. Inclusióndelaslimitacionesdelaindagación 8. Inclusióndenuevosrumbosydirectricesquedebentomarse

o seguirse respecto a la investigación sobre el problema ehipótesisplanteadas

9. Sugerenciadenuevaslíneasdeinvestigación

Rubro:redaccióndeldocumentofinaloreportederesultados.


Elemento,indicadorofactor Escala1. Gradoenquelosresultadosydescubrimientosrespondieron

alplanteamientodelproblema

2. Gradoenquelasconclusionesestánsoportadasenlosdatos 3. Gradoenque ladiscusiónal finaldel trabajoescongruente

conlosresultadosydescubrimientos

4. Ortografía 5. Sintaxis 6. Claridadenlaredacción 7. Coherenciainternadeldocumento 8. Inclusióndeíndicesotablasdecontenidos 9. Inclusiónderesumen 10. Elaboración adecuada de citas y referencias en el texto

(siguiendo un estilo aceptado de publicación, por ejemplo:

8

APA,Chicago…)11. Elaboraciónadecuadadecitasyreferenciasenlabibliografía

o listado de referencias (siguiendo un estilo aceptado depublicación,porejemplo:APA,Chicago…)

Rubro:diseñográficodelreporte(elementosdeseables).


Elemento,indicadorofactor Escala1. Selección e inclusión apropiada de tablas, esquemas,

gráficos,dibujoseimágenes

2. Inclusión de tablas, cuadros y figuras de acuerdo con unestiloaceptadodepublicación(porejemplo:APA,Chicago…)

3. Calidaddeesquemas,gráficos,dibujoseimágenes 4. Diseño de la portada de acuerdo con lineamientos

institucionales

5. Diferenciaciónclaraentreapartados 6. Calidad de impresión de acuerdo con los lineamientos

solicitados por la institución en que se presenta el reporte(papel,encuadernación,entreotros)

Un rubro adicional que tal vezno se aplique a todos los estudios, peroquehan

solicitadoinstitucioneseducativasenPuertoRico,PanamáyBolivia,eselsiguiente.

Rubro:inclusiónodesarrollodemodelosypatrones.


Elemento,indicadorofactor Escala

1. Utilización de un modelo, patrón, teoría o enfoque a lo

largodelainvestigación

2. Generacióndeunoovariosmodelos,patrones,enfoqueso

teoríascomoproductodelainvestigación

3. Comparación del modelo, patrón o teoría con otros(as)

desarrollados(as)pordistintosinvestigadores

9


Tabla10.2Segundolistadoderubrosyfactores

paraevaluarunainvestigacióncuantitativa3

Cadaelementodecualquierrubrodeeste listadosecalificaalestiloLikertdelceroal

cuatro(Fischer,2005),perolohemosadaptadodelunoalcinco(elvalormásbajoesel

unoyelmásaltoelcinco),aunquepodríatambiénconsiderarsedelceroalcincoodel

ceroal10. Insistimosenquealgunoselementosocriteriospuedensersimilareso los

mismosdelprimerlistado.

Criteriosrelativosalplanteamientodelproblemayrevisióndelaliteratura.

Número Criterio Escala*

1. Adecuacióndelarevisióndelaliteratura 1 2 3 4 5

2. Claridaddelaidea 1 2 3 4 5

Claridaddelplanteamientodelproblema

(objetivos)

1 2 3 4 5

3. Claridaddelplanteamientodelproblema

(preguntas)

1 2 3 4 5

4. Claridaddelplanteamientodelproblema

(justificación)

1 2 3 4 5

5. Claridadenlaformulacióndehipótesis 1 2 3 4 5

6. Claridadenlaespecificacióndelasvariables 1 2 3 4 5

7. Claridadenlasdefinicionesconceptualesdelas

variables

1 2 3 4 5

8. Claridadenlasdefinicionesoperacionalesdelas

variables

1 2 3 4 5

9. Sensatezenlasuposiciónderelacionesentrelas

variables

1 2 3 4 5

10. Inclusióndetodaslasvariablespertinentesde 1 2 3 4 5

3 Adaptado de Fischer (2005, p. 387‐398). Se agregaron diversos elementos a la lista original,particularmentedespuésdeunavisitaalaUniversidadCatólicadeCostaRicayalaFacultaddePedagogíadelaUniversidadVeracruzana.*Recordar:elvalormásbajoeselunoyelmásaltoelcinco.

10

acuerdoconelplanteamientodelproblema

11. Transparenciaenlospatrociniosdela

investigación

1 2 3 4 5

12. Sensatezdelassuposicionesypremisasdel

investigador

1 2 3 4 5

13. Claridadenlaorientacióndelinvestigador 1 2 3 4 5

Enexperimentosyestudioscausales,cabríaagregarlosdossiguientescriterios:

14. Claridadenlaespecificacióndela(s)variable(s)

independiente(s)ydependiente(s)

1 2 3 4 5

15. Claridadenlaformulacióndehipótesisrivales 1 2 3 4 5

Criteriosrelativosalmétodo.

Número Criterio Escala

1. Convenienciadelasmedicionesenrelaciónconel

planteamientodelproblema

1 2 3 4 5

2. Convenienciadelasmedicionesenrelaciónconlosobjetos,

personas,casosoequivalentesdelainvestigación

1 2 3 4 5

3. Gradodeconfiabilidaddelasmediciones 1 2 3 4 5

4. Cantidaddeevidenciasobrelavalidezdecontenidodelas

medicionesrealizadas

1 2 3 4 5

5. Gradodevalidez“encarada”(facevalidity) 1 2 3 4 5

6. Cantidaddeevidenciasobrelavalidezdecriteriodelas


1 2 3 4 5

7. Cantidaddeevidenciasobrelavalidezdeconstructodelas


1 2 3 4 5

8. Gradodeutilizacióndediferentesinstrumentospara

recolectardatos

1 2 3 4 5

9. Claridadacercadecómoserecolectaronlosdatos 1 2 3 4 5

10. Claridadrespectodequiénoquiénesrecolectaronlosdatos 1 2 3 4 5

11. Gradoenqueseevitaronerroresenlarecoleccióndelosdatos 1 2 3 4 5

12. Claridadenelplanteamientodeldiseñodeinvestigación 1 2 3 4 5

13. Adecuacióndeldiseñoalplanteamiento 1 2 3 4 5

11

14. Precisiónenladefinicióndeluniverso 1 2 3 4 5

15. Adecuacióndeltamañodemuestraalplanteamiento 1 2 3 4 5

16. Gradodeconocimientodelaprobabilidadquetienenlos

casosdeluniversoopoblacióndeserseleccionadospara

conformarlamuestra(procedimientodemuestreo)

1 2 3 4 5

17. Representatividaddelamuestra 1 2 3 4 5

18. Gradoenquelasestadísticasdemográficasdelamuestrase

parecenalasdeluniversoopoblación

1 2 3 4 5

19. Gradodeconfiabilidadenlacodificación 1 2 3 4 5

20. Gradodeconfiabilidadenlarevisióndelamatrizdelosdatos 1 2 3 4 5

21. Encuestionarios‐escalas‐pruebasestandarizadasy

equivalentes:claridaddeinstrucciones

1 2 3 4 5

22. Encuestionarios‐escalas‐pruebasestandarizadasy

equivalentes:claridaddelformato

1 2 3 4 5

23. Enanálisisdelcontenido:claridaddelsistemadecodificación 1 2 3 4 5

Enexperimentos,cabríaagregar:

24. Claridadenlaespecificacióndeloscambiosdeseados 1 23 4 5

25. Gradodecontroldelasfuentesdeinvalidacióninterna 1 2 3 4 5

26. Gradodecontroldelasfuentesdeinvalidaciónexterna 1 2 3 4 5

27. Convenienciadelmétododeasignacióndelosparticipantesa

losgrupos

1 2 3 4 5

28. Inclusióndegrupo(s)decontrol 1 2 3 4 5

29. Convenienciadel(los)tratamiento(s)experimental(es):

operacionalización

1 2 3 4 5

30. Inclusióndechequeosdemanipulación 1 2 3 4 5

31. Gradodecontroldelosefectosdeinteracción 1 2 3 4 5

32. Seguimientoomonitoreodelosgrupos 1 2 3 4 5

Criteriosrelativosalosanálisisyresultados.


1. Convenienciadelosanálisisseleccionadosyrealizadosde

acuerdoconelplanteamientoehipótesis

1 2 3 4 5

12

2. Convenienciadelosanálisisseleccionadosyrealizadosde

acuerdoconelniveldemedicióndelasvariables

1 2 3 4 5

3. Claridadenlapresentacióndeestadísticasdescriptivas 1 2 3 4 5

4. Claridadenlapresentacióndeestadísticasparapruebade

hipótesis

1 2 3 4 5

5. Claridadenlapresentacióndetablas 1 2 3 4 5

6. Claridadenlapresentacióndecuadros 1 2 3 4 5

7. Claridadenlapresentacióndediagramas 1 2 3 4 5

8. Claridadenelordendepresentaciónderesultados 1 2 3 4 5

9. Convenienciadelastablaspresentadas 1 2 3 4 5

10. Convenienciadeloscuadrospresentados 1 2 3 4 5

11. Convenienciadelosdiagramaspresentados 1 2 3 4 5

12. Uniformidadenlastablas,cuadrosydiagramas 1 2 3 4 5

Criteriosrelativosaladiscusión.


1. Grado de claridad que los datos ofrecen acerca de la(s)

prueba(s) de hipótesis (ya sea que las apoyen o refuten)

1 2 3 4 5

2. Grado de coherencia de las conclusiones con respecto a

los datos

1 2 3 4 5

3. Grado de exclusión de deseos y tendencias personales del

investigador o investigadores

1 2 3 4 5

4. Claridad en el significado de los resultados 1 2 3 4 5

5. Adecuación de la discusión a los resultados y

descubrimientos de estudios previos (marco teórico)

1 2 3 4 5

6. Grado en que el estudio cumplió con sus objetivos 1 2 3 4 5

7. Grado en que el estudio respondió a las preguntas de

investigación

1 2 3 4 5

8. Conveniencia de las opiniones sobre las implicaciones del

estudio

1 2 3 4 5

9. Conveniencia para generalizar los resultados 1 2 3 4 5

10. Grado en el cual se someten a discusión hipótesis rivales o

alternativas

1 2 3 4 5

13

11. Adecuación en el manejo de situaciones no esperadas 1 2 3 4 5

12. Adecuación en el manejo de resultados no esperados 1 2 3 4 5

13. Grado de relevancia práctica 1 2 3 4 5

14. Grado de relevancia teórica 1 2 3 4 5

15. Claridad de las recomendaciones 1 2 3 4 5

16. Grado en que las recomendaciones direccionan futuros

estudios dentro del área o campo de conocimiento donde

se inserta la investigación

1 2 3 4 5

Criteriosrelativosaldocumentoydifusión.


1. Númerodeespaciosdondesedifundióelestudio 1 2 3 4 5

2. Gradodeelaboracióndelreportedeacuerdoconlas

normasaceptadasporlacomunidadcientífica‐académica

deláreadondeseinsertólainvestigación

1 2 3 4 5

3. Calidadenlaredaccióndelreporte 1 2 3 4 5

4. Calidadeneldiseñográficodelreporte 1 2 3 4 5

Losmáximosymínimosparacadarubrodependerándelaescalautilizada.


Tabla10.3Tercerlistadoderubros

yfactoresparaevaluarunainvestigacióncuantitativa

Este listado está basado enKerlinger y Lee (2002), Corbetta (2003),Mertens (2005),

Bostwick y Kyte (2005), Wiersma y Jurs (2008), Creswell (2009), Babbie (2009),

Neuman(2009)yotrosautores.Enestaediciónelformatoesamododepreguntayla

respuestapuedeserpositivaonegativa.Enlamayoríadeloscasoslarespuestapositiva

(sí)esmásconveniente,peroenalgunoscuestionamientosesalcontrario(“no”resulta

más adecuado). Cada respuesta adecuada podría calificarse con uno (1) y cada

contestacióninadecuadatendríaunvalordecero(0).

14

Rubro:título.

1) ¿Eltítuloreflejaelplanteamientofinal?

2) ¿Reflejaeltrabajocompletooinvestigaciónrealizada?


1) ¿Poseeclaridad?

2) ¿Está redactado el planteamiento de tal manera que el lector puede

comprenderelestudio?

3) ¿Escompletoelplanteamiento?

4) ¿Esexactoelplanteamiento?

5) ¿Poseevalorteórico?

6) ¿Poseevalorpráctico?

7) ¿Poseevalormetodológico?

8) ¿Elplanteamientoincluyealashipótesisyvariablescentrales?

Nota:observequelaspreguntasestánplanteadasparaunarespuestadicotómica,

peropodríanelaborarseparaunarespuestaordinal.Porejemplo:

¿Quétantaclaridadposeeelplanteamiento?

(Oagregarunpuntointermedio:medianaclaridad.)

Rubro:revisióndelaliteratura.

1) ¿Seutilizólaliteraturaparadocumentarlaimportanciadelplanteamiento?

2) ¿Laestructuradelarevisióndelaliteraturaesclara?

5 Bastanteclaridad 2 Pocaclaridad4 Claridadaceptable

1 Muypocaclaridad

15

3) ¿Seidentificóunateoríaoseintegraronvariasteorías?

4) ¿Seidentificaronhipótesispotencialespormediodelarevisióndelaliteratura?

5) ¿Mediantelarevisióndela literaturaseubicóelplanteamientodentrodelcampode

conocimientoenqueestáinserto?

6) ¿Por medio de la revisión de la literatura se identificaron variables claves para el

planteamiento?

7) ¿Lasconclusionesdelarevisióndelaliteraturasonclaras?

8) ¿Seeligieronfuentesrelevantesquedemuestrenconocimientodelplanteamientopor

partedelinvestigador?

9) ¿Se vincularon la referencias con el planteamiento del problema? (relación de la

literaturaconelestudio,tantoconceptualcomometodológicamente)

10) ¿Lasreferenciassondeactualidad?(recientes)

11) ¿Lasreferenciasestánbasadasenestudiosqueobtuvierondatosempíricos?

12) ¿Lasreferenciassecitanapropiadamente?

Rubro:hipótesisyvariables.

1) ¿Se identificaron lasvariablesdemaneraapropiada? (dependiente, independiente,de

control,interviniente,etcétera)

2) ¿Lasdefinicionesconceptualessonexactasyprecisas?

3) ¿Lasdefinicionesconceptualessonclaras?

4) ¿Lasdefinicionesoperacionalessonprecisasyexactas?

5) ¿Lasdefinicionesoperacionalessonclaras?

6) En experimentos: ¿se controlaron las variables independientes? (¿las de interés y las

quesepretendecontrolarsuinfluencia?)4

7) ¿Constituye(n) la(s) hipótesis una respuesta(s) tentativa(s) a la(s) pregunta(s) de

4Estecriteriopodríaserincluidoenelrubrodediseñoenexperimentos.

16

investigación?(relacióndelaolashipótesisconelplanteamiento)

8) ¿Lahipótesissirvecomoguíaparaestablecereldiseñodeinvestigación?

9) ¿Existe claridad en la relación o relaciones entre las variables establecidas por la(s)

hipótesis?

Rubro:diseño.

1) ¿Seidentificóeldiseño?(¿seseñalóyespecificó?)

2) ¿Eldiseñoesapropiadodeacuerdoconelplanteamientoehipótesis?

Rubro:diseñoenexperimentos.

1) ¿Elestímulofueimplementadoenunlugarapropiado?

2) ¿Elestímulootratamientofueadministradoadecuadamente?

3) ¿El experimentador indicó los cambios que ocurrieron en la(s) variable(s)

dependiente(s) como resultado de la manipulación o introducción de la(s)

independiente(s)?(además:¿explicócómoocurrierontalescambios?)

4) ¿Losgruposeraninicialmenteequiparables?(procedimientodeasignacióndelos

participantesalosgrupos)

5) ¿Duranteeldesarrollodelexperimento semantuvo laequivalencia inicialde los

grupos?

6) Sinopudieronasignarsealazar,¿seemparejaron?,¿encuálesvariablessebasóel

emparejamiento?Enelcasodegruposintactos,¿losgrupospuedenequipararse?

7) Sihubopreprueba,¿sepresentaronlosresultados?

8) ¿Eltiempotranscurridoentrelaprepruebaylapospruebafueeladecuado?(para

quesemanifestaranloscambiosenladependienteodependientes)

9) ¿Se incluyeron controles para evitar sesgos de las personas que manejaron los

gruposenelexperimento?

Hemos agregado algunos criterios que aplican exclusivamente a experimentos y

en particular al control de las fuentes internas y externas, están basados en los

17

conceptosdeCampbellyStanley(1966),Campbell(1975)yMertens(2005,p.302).A

diferenciade los rubrosy criteriosanteriores (en los cuales las respuestasadecuadas

debenserpositivas:“sí”),enlossiguientesqueserefierenalavalidezinterna,entremás

respuestasnegativas(no),laevaluaciónesmásfavorable.Enlosquetienenquevercon

lavalidezexterna,laevaluaciónfavorablevaríaencadacaso.

Validezinterna.

1. Historia: ¿ocurrieron eventos que pudieron afectar los resultados? (además de la variable

independienteoeltratamientootratamientos)

2.Maduración: ¿se presentaron cambios biológicos o psicológicos en los sujetos participantes que

pudieranafectar losresultados?(diferentesaaquellosasociadoscon lavariable independienteoal

tratamientootratamientos)

3. Administración de pruebas: ¿la preprueba pudo influir en forma significativa las respuestas a la

pospruebayconfundidolosresultadosreales?

4.Instrumentación:¿haydiferenciasentrela(s)preprueba(s)yla(s)posprueba(s)?(obviamentenoen

lasrespuestas,sinoenlosinstrumentos)

5.Regresión:¿seutilizarongruposextremos?

6.Selección:¿losgruposdifierenapartedela(s)variable(s)independiente(s)otratamiento(s)?

7.Mortalidadexperimental:¿variosparticipantesabandonaronelexperimento?

8.Selección‐maduración:¿estuvo la selecciónyasignacióndeparticipantesa losgruposbasadoen

característicasbiológicasopsicológicasdelamuestra?

9. Difusión de tratamientos experimentales: ¿participantes de distintos grupos pudieron haber

comentadosobrelascondicionesexperimentales?

10. Rivalidad‐desmoralización‐compensación: ¿alguno de los grupos realizó esfuerzos adicionales

para lograr mejores resultados?, ¿alguno de los grupos mostró desmoralización durante el

experimento?,¿se leproporcionaron recursosobeneficiosadicionalesaalgúngrupoquepudieran

serconocidospormiembrosdeotrosgrupos?

18

Validezexterna.

1.¿Eltratamientoexperimentalfuedescritodemaneradetalladayespecífica?Respuestaadecuadao

correcta:sí.

2. ¿Se utilizaron diferentes tratamientos múltiples?, ¿interfirieron entre sí?, ¿la secuencia de

tratamientos provocó efectos que son identificados y se puede saber cómo afectó a cada

tratamiento? Las respuestas adecuadas a las dos primeras preguntas pueden ser “sí” o “no”,

dependiendodelanaturalezadelexperimento.Avecesunaopciónserálaadecuadayotrasno.Pero

larespuestacorrectaalatercerapreguntaes“sí”.

3.¿OperóelefectoHawthorne?Respuestaadecuadaocorrecta:no.

4. ¿Los resultados pudieron haber sido influidos por ser novedoso(s) el(los) tratamiento(s)

experimental(es)oporinterrumpirlaactividadnormaldelosparticipantes?Respuestacorrecta:no.

5. ¿El experimentador influyó de manera significativa en los participantes y sus respuestas?, ¿su

papelfuemásalládeloplaneado?Respuestascorrectas:no.

6. ¿Se presentó una sensibilización notoria o significativa en los participantes por efectos de

prepruebasypospruebasensusrespuestas?Respuestaadecuada:no.

7.¿Sepresentóalgunainteracciónentrelosefectosdeltratamientoyotrosfactoresquepudieranimpactar

losresultadosdelestudioysuaplicaciónasituacionesnoexperimentales?Respuestacorrecta:no.

8. ¿Los resultados del experimento se alteran dependiendo del tipo de instrumento de medición

utilizado?Respuestacorrecta:no.

9.¿Influyeelperiododetiempocomprendidoentreeltratamientoylapospruebaenlosresultados?

Larespuestaadecuadadependedesi seplanteó lahipótesisdeunefectoacorto,medianoo largo

plazo;asícomosielperiododetiempoesunavariableindependientedeinterés.

10.¿Seadministróel(los)tratamiento(s)deacuerdoconloplaneado?Respuestacorrecta:sí.

A partir de este rubro, la mayoría de las respuestas a las preguntas debe ser

afirmativa(“sí”).

19

Rubro:muestra

1) ¿Existecongruenciaentreelenfoqueylamuestra?

2) ¿Existecongruenciaentreelplanteamientoylamuestra?

3) ¿Existecongruenciaentreeldiseñoylamuestra?

4) ¿Elmétodo demuestreo es riguroso?, ¿el procedimiento de selección de los casos o

unidadesfueadecuado?,¿sejustificó?(rigordelmétododemuestreo)

5) ¿El tamaño de muestra es el adecuado?5 (el cual depende del nivel de confianza al

calculareltamañodemuestra,95%comomínimo)

6) ¿La muestra representa a la población? (representatividad de la muestra: grado de

error,comparacióndevariablesdemográficasdelamuestraconlasdelapoblación;la

muestradebe tenerunadistribución similar a lapoblaciónenvariables comogénero,

edad,ocupación,nivelsocioeconómico,entreotras)

7) ¿Sedetectaronloscasosdeinterésdeacuerdoconelplanteamiento?

8) ¿Lamuestratienefortalezas?,¿cuáles?(númerodefortalezasdelamuestra)

9) ¿La muestra tiene debilidades?, ¿cuáles? (número de debilidades de la muestra) (la

respuestadebesernegativa,un“sí”seríadesfavorable)

10) ¿Seevitaronerroresdeselección?

11) ¿Hubocasosopersonasque fueronseleccionados(as)en lamuestraynoparticiparon

en el estudio? (pregunta cuyo “sí” es desfavorable). Cuando la respuesta resulta

desfavorabledebejustificarse:¿porquénoparticiparonenlainvestigación?

12) ¿Hubo casos o participantes que abandonaron el estudio? (pregunta cuyo “sí” es

desfavorable). Cuando la respuesta resulta desfavorable debe justificarse: ¿por qué

abandonaronlainvestigación?

5 Recordemosqueentremayoreseltamañodemuestralosresultadostienenmayorprobabilidaddeserestadísticamentesignificativos.

20

Rubro:procedimientos(incluyendorecoleccióndelosdatos).

1) ¿Sesolicitaronlospermisosoautorizacionesnecesariaspararecolectarlosdatos?(sise

requerían)

2) ¿Se especificó quién o quiénes recolectaron los datos, cómo los recabaron, dónde y

cuándofueronobtenidos?

3) ¿Seincluyeroncontrolesparaevitarsesgosdelosencuestadores?(enencuestas)

4) ¿Seevitaronsesgosprovocadosporelinvestigador?

Rubro:instrumento(s).

1) ¿Elinstrumentooinstrumentossonapropiadosparalospropósitosdelestudio?

2) ¿Elinstrumentooinstrumentossonapropiadosparaeltipodedatoseinformaciónque

se requiere para el estudio? (¿son la mejor manera de obtener la información

necesaria?)

3) ¿Elinstrumentooinstrumentossonapropiadosdeacuerdoconlascaracterísticasdelos

participantes?(porejemplo,sedebiótomarencuentasierananalfabetosoalfabetos,

mujeresuhombres,odeambosgéneros,nivelsocioeconómico,etcétera)

4) ¿Seefectuóunapruebapiloto?(¿fuesatisfactoria?)

5) ¿Sedeterminóevidenciasobrelaconfiabilidad?,¿fuesatisfactoria?

6) ¿Sedeterminóevidenciasobrelavalidezdecontenido?,¿fuesatisfactoria?

7) ¿Eldominiodecontenidodelasvariablesmedidasseespecificó?

8) ¿Eldominiodecontenidodelasvariablesmedidasresultaclaro?

9) ¿Laeleccióndelosítemseslógica?

10) ¿Se determinó evidencia sobre la validez de criterio concurrente?, ¿fue satisfactoria?

(¿secompararonlosdatosobtenidosoresultadoscontrauncriterioexternoactual?)

11) ¿Sedeterminóevidenciasobrelavalidezdecriteriopredictivo?,¿fuesatisfactoria?(¿se

compararonlosdatosobtenidosoresultadoscontrauncriterioexternofuturo?)

12) ¿Sehizoanálisisconvergente‐discriminante?,¿fuesatisfactorio?

21

13) ¿Sedeterminóevidenciasobrelavalidezdeconstructo?,¿fuesatisfactoria?(¿seefectuó

análisisdefactores?)

14) ¿Elinstrumentodemostróconsistenciainterna?

15) ¿Laspersonasquerecolectaronlosdatosseencontrabancalificadasparataltarea?

16) ¿Elgradodeestandarizacióndelinstrumentooinstrumentospararecabarlosdatosfue

elevado?

17) ¿Elinvestigadorutilizódiversosinstrumentosparamedirlasvariables?(triangulaciónde

métodos de recolección o, como los autores siempre hemos denominado,

“multimétodos”)

Rubro:análisis.

1) ¿Los análisis son pertinentes o apropiados para el planteamiento e hipótesis

desarrolladas?

2) ¿Los análisis son pertinentes o apropiados para el nivel demedición de las variables

involucradas?

3) ¿Losanálisissonpertinentesoapropiadosaldiseño?

4) ¿Launidaddeanálisisesadecuada?

5) ¿Losanálisissonsuficientes?(cantidadycalidad)

6) ¿Secubrierondiferentesángulosdelanálisis?

7) ¿Se presentaron los análisis completos de todas las hipótesis? (que no aplicaría a

reportes breves como artículos de revistas, en cuyo caso podría cuestionarse: ¿se

presentaronlosanálisismásrelevantesvinculadosconelplanteamientoehipótesis?)

8) ¿Seevitaronerroreseneltratamientodelosdatos?

Rubro:resultados.

1) ¿Seencontrósignificanciaestadísticaenla(s)prueba(s)dehipótesis?(¿enquéniveles?).De no resultar significativos los valores de las pruebas estadísticas, ¿se explicaronrazones?,¿sejustificóelhecho?

2) ¿Seinterpretaroncorrectamentelaspruebasdesignificancia?

22

3) ¿Losresultadosestánadecuadamenterepresentadosentablasyfiguras?

4) ¿Losresultadosrespondenalplanteamientodelproblemaehipótesis?

Rubro:discusión.

1) ¿Losresultadosydescubrimientosaportanaalgunateoríaoconceptualización?

2) ¿Losresultadosydescubrimientosayudanaresolverunproblema?

3) ¿Losresultadosydescubrimientosaportanmetodológicamentealgo?

4) ¿Lasinterpretacionessonrazonablementelógicas?

5) ¿Lasimplicacionesestándefinidas?

6) ¿Lasimplicacionesresultanclaras?

7) ¿Ladiscusiónesconvincenteparalosusuarios?

8) ¿Sehicieronprediccionesenelestudio?

9) ¿Fueronexactastalespredicciones?

10) ¿Pormediodelosresultadosseeliminaronposiblesexplicacionesrivales?

11) ¿Las conclusiones se encuentran vinculadas al planteamiento, revisiónde la literatura

(marcoteórico)ehipótesis?

12) ¿Sereconocieronlaslimitacionesdelestudio?

13) ¿Esposiblereplicarelestudio?

Rubro:reporteengeneral.

1) Alolargodetodoeldocumento,¿secitaronadecuadamentelasreferencias?

2) ¿Eltextoeslegible?

3) ¿Eltextoesameno?

4) ¿Laortografíaesaceptable?

5) ¿Eltonoeselapropiado?(noemotivo)

6) ¿Hayprogresiónenlasideas?

Rubro:difusión.

1) ¿Elestudiosedifundióenvariosforos?(congresos,publicaciones,etcétera)

2) ¿Segeneraronvariossubproductos?

3) ¿Losresultadosseutilizaronparapromoverelbiencomún?,¿losresultadosseutilizaron

23

para generar conocimiento?, ¿los resultados se utilizaron para resolver un problema?

(algunarespuestadeberíaserpositiva)

Rubro:financiamientodelainvestigación.

1) ¿Eslegalelfinanciamiento?

2) ¿Los resultados se encuentran sujetos al financiamiento? (¿si se obtenían ciertos

resultados el financiamiento no operaría?) (Una respuesta positiva es inconveniente

paralacredibilidaddelestudio)

Investigacióncualitativa

Para la investigación cualitativa se consideraron aMiles yHuberman (1994), Álvarez

Gayou(2003),Henwood(2004),FranklinyBallau(2005),Mertens(2005),Tashakkori

yTeddlie(2008b),Creswell(2009),Neuman(2009)yDaymon(2010).

Tabla10.4Cuartolistadoderubrosyfactores

paraevaluarunainvestigacióncualitativa

El presente listado se respondería dicotómicamente: “sí” o “no”, satisfactorio/insa‐

tisfactorio.Másqueunacalificación,seconsideraríandebilidades.

Rubro:título.

1) ¿Reflejaelplanteamientofinal?

2) ¿Reflejaeltrabajocompletorealizado?

Rubrosgenerales.

1) ¿Elinvestigadormanifiestahonestidad?

2) ¿Losparticipantesdemuestranomanifiestanhonestidadalolargodelestudio?

3) ¿Elinvestigadordemuestraautenticidad?

4) ¿Losparticipantesdemuestranomanifiestanautenticidadalolargodelestudio?

5) ¿Elestudioagregainformaciónnovedosa?(porejemplo,llenarhuecosdeconocimiento

uobtenerperspectivasinternas“frescas”)

24

6) ¿La investigación tiene fundamentación? (grado en que la investigación posee bases

teóricasyfilosóficassólidasyproveedeunmarcoreferencialqueinformaalestudio)

7) ¿Lainvestigaciónposeeaproximación?(contundenciaenlosjuiciosylógicadelestudio)

8) ¿La investigación demuestra capacidad de otorgar significado? (grado en que se

presentan nuevos descubrimientos y entendimientos del problema de investigación a

travésdelosdatosyelmétodoutilizado)


1) ¿Laspreguntasdeinvestigaciónsonclaras?

2) ¿Las preguntas de investigación son congruentes con las características del diseño de

investigación?

3) ¿Seespecificóconclaridadelparadigmabásicoqueguíaalainvestigación?

4) ¿Se especificó con claridad el marco interpretativo que guía a la investigación?

(feminismo,etnografíaclásica,etcétera)

5) ¿Sedemostróqueelplanteamientoessignificativooimportante?

Rubro:papeldelinvestigador.

1) ¿Seespecificóelpapeldelinvestigadorentodoelestudio?

2) ¿Elinvestigadorconociósupapelcomoobservador?(¿estuvoconsciente?)

Rubro:relacióninvestigadorparticipantes.

1) ¿Elinvestigadorlogróempatíaconlosparticipantes?(autoevaluación)

2) ¿Elinvestigadordemuestraquelogrótalempatía?

3) ¿Elinvestigadorseganólaconfianzadelosparticipantes?(autoevaluación)

4) ¿Elinvestigadordemuestraqueseganólaconfianzadelosparticipantes?

5) ¿Seagradecióalosparticipantesporsucolaboraciónenelestudio?

25

Rubro:revisióndelaliteratura.

1) ¿Seutilizólaliteraturaparadocumentarlaimportanciadelplanteamiento?

2) ¿Laliteraturafuecontrastadaconlosresultadosdelestudio?

3) ¿Lasreferenciassondeactualidad?(recientes)

4) ¿Lasreferenciasestánbasadasenestudiosqueobtuvierondatosempíricos?

5) ¿Lasreferenciassecitaronapropiadamente?

Rubro:inmersióngeneralenelambiente(procesocompleto).

1) ¿Elinvestigadorobtuvopermisoparaingresaralambienteyestudiarlo?

2) ¿Sereportócómosetuvoaccesoalambiente?

3) ¿Setuvoaccesocompletoalambiente?

4) ¿Sedescribiódetalladamenteelambiente?

5) ¿Elaccesoalambientefuelomásmeticulosoysigilosoposible?

6) ¿Elaccesoalambientefuelomenosobstrusivoposible?

Rubro:inmersióninicial.

1) ¿La inmersión inicial logró que el investigador se enfocara en los conceptos

fundamentalesdelplanteamiento?

2) ¿Lainmersióninicialcontribuyóamejorarelplanteamientooriginal?

Rubro:muestra.

1) ¿Sedetectaronloscasosdeinterésdeacuerdoconelplanteamiento?

2) ¿Eltipodemuestraescongruente(acorde)conelplanteamientoyelenfoqueelegido?

3) ¿Lamuestratienefortalezas?(¿cuáles?)

4) ¿Lamuestratienedebilidades?(¿cuáles?)(negativa,un“sí”esdesfavorable),¿cómose

superaron?

26

5) ¿Hubo casos o personas que habían sido seleccionados(as) en la muestra y no

participaron en el estudio? (pregunta cuyo “sí” es desfavorable). Cuando la respuesta

resultadesfavorabledebejustificarse:¿porquénoparticiparonenlainvestigación?

6) ¿Hubo casos o participantes que abandonaron el estudio? (pregunta cuyo “sí” es

negativo, implica desfavorable). Cuando la respuesta resulta desfavorable debe

justificarse:¿porquéabandonaronlainvestigación?

7) ¿Elolosperfilesdelamuestraestándescritosconsuficientesdetalles?(género,edad,

estadocivil,ingresos,niveleducativo,entreotros)

8) ¿Elperfildelosparticipanteseselquesehabíaconcebido?¿Porqué?

9) ¿Se encuentran representadas todas las voces? (Recordemos la premisa de evitar

“silenciar”voces)

10) ¿Se excluyeronmujeres u hombres de la investigación? ¿es justificable su exclusión?

Unarespuestainjustificadaresultadesfavorable

11) ¿Seobtuvoladiversidaddecasosrequerida?

12) ¿Sesaturaronlascategoríasrelativasalplanteamientodelproblema?

Rubro:recolecciónengeneral.

1) ¿Elinstrumentooinstrumentossonapropiadosparaeltipodedatoseinformaciónque

serequiereparaelestudio?

2) ¿Elinstrumentooinstrumentosestabandiseñadosdeacuerdoconlascaracterísticasde

los participantes? (por ejemplo, tomar en cuenta si eran analfabetos o alfabetos,

mujeresuhombres,odeambosgéneros,nivelsocioeconómico,entreotros)

3) ¿Losparticipantespudieronexpresarselibremente?

4) ¿Huborigorenlarecoleccióndelosdatos?(sistematización)

5) ¿Setuvierondiferentesfuentesdedatos?(¿múltiples?,¿triangulación?)

6) ¿Losdatossonprofundosycompletos?

7) ¿Elperiodofuelosuficientementelargopararecolectarlosdatosnecesariosdeacuerdo

conelplanteamiento?

27

8) ¿Resultanabundantesysignificativaslasdescripcionesdelprocesoderecoleccióndelosdatos?

9) ¿Las fases de la recolección fueron las adecuadas de acuerdo con el planteamiento y

ambiente?

10) ¿Secuentaconevidenciadirectadeactores?(¿Evidenciadetestigosdirectos?)

11) ¿Seencontraronsignificados?,¿cuáles?

12) ¿Coincidenentresílasdiversasfuentesencuantoalacronologíadehechos?

13) ¿Coincidenentresílasdiversasfuentesencuantoalasdescripcionesdeloshechos?

14) ¿Coincidenentresí lasdiversas fuentesencuantoa lascausasyconsecuenciasde los

hechos?(Particularmenteenloreferentealplanteamientodelproblema)

Rubro:notas(anotaciones).

1) ¿Seelaboraronnotascompletas?

2) ¿Las notas fueron profundas? (¿Captaron las emociones, vivencias y creencias de los

participantes?)

3) ¿Lasnotasincluyeronlosconceptosesencialesdelplanteamiento?

4) ¿Secodificaronlasnotas?

5) ¿Sealcanzólasaturacióndecategoríasenlasanotaciones?

Rubro:análisisdelosdatos.

1) ¿Setuvieronmúltiplesnivelesdeanálisis?

2) ¿Son abundantes y significativas las descripciones de los procesos de análisis de los

datos?

3) ¿Las fases del análisis fueron las adecuadas de acuerdo con el planteamiento y el

ambiente?

4) ¿Cadacategoría,temay/opatrónestáapoyada(o)enlosdatos?

5) ¿Elfenómenooplanteamientoseanalizódesdediversasperspectivas?

Rubro:dependencia(confiabilidad).

Recordatorio de la definición: grado en que diferentes investigadores que recolecten

datos similares en el campo y efectúen los mismos análisis, generan resultados

equivalentes.

28

1) ¿Seimplantarondiversasestrategiasparagenerardependencia?

2) ¿Sedescribióexplícitamenteelpapelyestatusdel investigadordentrodelambienteo

contexto?

3) ¿Losresultadosydescubrimientosmuestranunparalelismosignificativoentre fuentes

dedatos?(¿Losresultadossoncongruentesalcompararlosentrediversasfuentes?)

4) ¿Lascategoríasylostemasfueroninducidas(os)apropiadamenteporlosparticipantes?

5) ¿Lascategoríasylostemasseencuentranclaramenteespecificadas(os)?

6) ¿Lasestructurasdecategoríassonlógicas?(encasonegativo:¿estájustificadoquesean

ilógicas?)

7) ¿Lasdecisionessobrelacodificaciónycategorizaciónestánjustificadas?(¿seexplicany

demuestran?)

8) ¿Las reglas de codificación se aplicaron coherentemente (entre unidades e

investigadores,sieselcaso)?

9) ¿Losdatosfueronrecolectadospormediodeunrangocompletodeambientes,tiempos

yparticipantesapropiadosdeacuerdoconelplanteamiento?

10) ¿Se involucraron varios investigadores en el campo? (triangulación entre

investigadores); y si así fue: ¿siguieron el mismo protocolo e instrucciones para

recolectarlosdatos(incluyendoelinstrumentooinstrumentos)?

11) ¿Seefectuaronchequeosdecodificaciónentre investigadores?,¿mostraronunaltode

niveldeacuerdooconcordanciaenunidades,categoríasytemas?

12) ¿Los resultados fueron validados por distintos investigadores?, y más riguroso: ¿los

resultadosfueronvalidadospordistintosinvestigadoresdediferentesedades,géneroy

otrascaracterísticasquepudieranintroducirsesgos?

13) ¿Sehicieronverificacionessobrelacalidaddelosdatos?(¿cuáles?)

14) ¿Los investigadores convergieron en lugares, tiempos e instancias donde se esperaba

queestuvieran?

15) Enelcampo,¿sehicieronrevisionesdeparesocolegas?

16) ¿Lossignificadosgeneradossoncreíblesparalosparticipantes?

17) ¿Elentendimientogeneradoresultacreíbleparalosparticipantes?

18) ¿Losresultadosseencuentranfundamentadosenlosdatos?

19) ¿Lasinferenciassonlógicas?

20) ¿Las decisiones respecto a la recolección y el análisis están justificadas? (justificación

29

metodológica)

21) Enelanálisis,¿sehicieronauditoríasdepares?

Rubro:credibilidad(validezinterna).

Recordatorio de la definición: se refiere a si el investigador ha captado el significado

completo y profundo de las experiencias de los participantes, particularmente de

aquellasvinculadasconelplanteamientodelproblema.

1) ¿Seutilizaronodesarrollaronestrategiasparagenerarcredibilidad?

2) ¿Los datos de diferentes fuentes fueron recolectados en el mismo contexto o

ambiente?

3) ¿En todos los casosde lamuestra seobtuvo la información completa ydetallada

requerida?

4) ¿Seregistrarontodoslosdatos?

5) ¿Se pidió a todos los participantes o a la mayoría que proporcionaran

realimentaciónsobreelestudio?

6) ¿Elinvestigadorautoevaluóelefectodesupresenciaenelambiente?

7) ¿El investigador autoevaluó si sus sesgos y tendencias influyeron o no los

resultados?

8) ¿Elinvestigadorautoevaluósusbitácorasynotas?

9) ¿Secapturaronoregistraronloscambiosenelambiente?

10) ¿Se reconocieron los sesgos o tendencias del investigador?, ¿se explicaron tales

sesgos?,¿sejustificaron?

11) ¿Los resultados se encuentran fundamentados en los datos? (este criterio ya se

habíamencionado,afectaladependenciaylacredibilidad).

12) ¿Coinciden los resultados con ladocumentaciónexistente yestudiosprevios? (en

casonegativo,¿esjustificable?)

13) ¿Existe correspondencia entre la manera como los participantes perciben los

conceptos socialesy lamaneracomoel investigador capta, retrataydescribe sus

puntosdevista?

14) ¿Seincrementólacredibilidadmedianteunaestanciasustancialyprolongadaenel

campo?

30

15) ¿Seincrementólacredibilidadmedianteunaobservaciónpersistenteysistemática?

16) ¿Seincrementólacredibilidadconlarecoleccióndedatosporpares?(porejemplo,

enunaentrevistaalestarpresentesdosinvestigadores)

17) ¿Seincrementólacredibilidadalanalizarcasosnegativos?

18) ¿Seincrementólacredibilidadpormediodesubjetividadprogresiva?

19) ¿Seincrementóconlaevaluaciónderesultadosparticularesconlosparticipantes?

(chequeoconparticipantes)

20) ¿Seincrementótriangulandodatos?

21) ¿Seaumentólacredibilidadtriangulandométodos?

22) ¿Sonabundantes(completas)ysignificativaslasdescripcionesdelambiente?

23) ¿Son abundantes (completas) y significativas las descripciones de los sucesos o

hechos?

24) ¿Sonabundantes(completas)ysignificativaslasdescripcionesdelosparticipantes?

25) ¿Losresultadostienensentidoosemuestranconvincentesparalosparticipantes?

26) Sihubotriangulaciónentremétodosderecoleccióndedatosofuentesdedatos:¿la

triangulación o comparación entremétodos complementarios o fuentes de datos

generalmenteproduceconclusionesconvergentes?

27) ¿Losresultadosmantienencoherenciainterna?

28) ¿Seidentificaronlasáreasdeincertidumbre?

29) ¿Los datos presentados se encuentran vinculados a categorías de otros estudios

similaresoteoríaemergente?

30) ¿Sebuscóevidencianegativaocontrariaalosresultados?

31) ¿Seconsideraronactivamenteexplicacionesrivales?

32) ¿Losresultadosydescubrimientoshanrecibidoréplicasendiferenteselementosde

labasededatos?

33) ¿Lasconclusiones fueronconsideradasprecisasyverdaderaspor losparticipantes

y/oinformantesoriginales?

Rubro:transferenciaovalidezexterna.

1) ¿Los datos presentados se encuentran vinculados a categorías de otros estudios

similaresoteoríaemergente?(Estecriteriofueconsideradotambiénenlacredibilidad)

2) ¿Los resultados presentados son congruentes o están conectados a otros estudios

previosyalateoríageneradaporéstos?

31

3) ¿Los resultados han recibido réplicas en otros estudios para robustecer su

transferencia?

4) ¿Los procedimientos y resultados descritos en las conclusiones e inferencias son lo

suficientementegenéricosparaaplicarseenambientessimilares?

5) ¿Lascaracterísticasde lamuestraoriginaldepersonas,contextosy/oprocesossehan

descritocompletamenteparapermitircomparacionesconotrasmuestras?

6) ¿Se examinaron obstáculos y amenazas posibles para poder comparar los resultados

conotrasmuestras?

7) ¿Lamuestraeslosuficientementediversaparaencontrarunaaplicabilidadmayor?

8) ¿Sedefinieronlasfronterasdelalcanceyaplicabilidaddelestudio?

9) ¿Losresultadosincluyendescripcionescompletasysuficientesparaqueellectorpueda

valorar la posibilidad de transferirlos o adecuarlos a su propio contexto u otros

ambientes?

10) ¿Selogróunbalanceentrelasperspectivasinternayexternadelinvestigador?

11) ¿Lassecuenciasnarrativassontransparentesyclaras?

12) ¿Lectores del reporte con perfiles similares a los participantes considerarían que los

resultadossoncongruentesconsusexperiencias?(Verificaciónulterior)

13) ¿Loslectores(principalmenteotrosinvestigadores)puedenreconstruirelanálisis?

14) ¿El investigador señala de manera específica la secuencia que se siguió en la

investigaciónylosrazonamientosquelacondujeron?

15) ¿Esposiblereplicarelestudio?

Rubro:historiasorales.

1) ¿Lashistoriasoralesdelosparticipantessoncreíbles?

2) ¿Lashistoriasoralesdelosparticipantessonequilibradas?

3) ¿Lashistoriasoralesdelosparticipantessoncompletas?

Rubro:entrevistas.

1) ¿Las condiciones de las entrevistas permitieron a los participantes explayarselibremente?

2) ¿Lascondicionesdelasentrevistaspermitieronalosparticipantesconcentrarseensusrespuestas?

32

Rubro:diseño.

1) ¿Seseñalóyespecificóeldiseño?

2) ¿Eldiseñoeseladecuadodeacuerdoconelplanteamiento?

3) ¿Eldiseñoeseladecuadodeacuerdoconlainmersiónenelambiente?

4) ¿Eldiseñoeseladecuadodeacuerdoconlaevolucióndeltrabajodecampo?

Rubro:resultados.

1) ¿Seexpresólarealidadconstruidaporlosparticipantes?

2) ¿Losresultadossonrealistas?

3) ¿Losresultadossonaceptables?

4) ¿Los descubrimientos están enraizados o ligados con los datos? (Este criterio ha sidoexpresado en diferentes rubros, pero se encuentra vinculado a todo el procesocualitativo)

5) ¿Losresultadossoncomprensiblesoclarosparaellector?

6) ¿Losmétodosparticularesutilizadossoncoherentesconunaestrategiamásamplia?

7) ¿Setomaronencuentavariasperspectivasparajustificarlasinterpretaciones?

Rubro:discusión.

1) ¿Laspremisasdelestudiosoncoherentesconelenfoque?

2) ¿Se demostró mediante la discusión que el planteamiento fue significativo o

importante?

3) ¿Lasconclusionessonprematurasocuentanconelementossólidosparasudesarrollo?

(Larespuestadebeser:sícuentanconelementossólidos)

4) ¿Lasconclusionesestánfundamentadasenlosdatos?

5) ¿Lasconclusionesestánfundamentadasenlosresultados?

6) ¿Mediantelosresultadosseeliminaronposiblesexplicacionesrivales?

7) ¿Lasinterpretacionessederivarondemaneraanalítica?

8) ¿Sedemostróquesereconstruyócadacasoparaseranalizado?

9) ¿Setuvieronmúltiplesperspectivas?

33

10) ¿Lasconclusionesseencuentranvinculadasalplanteamientoyrevisióndelaliteratura

(marcoteórico)?

11) ¿Sereconocieronlaslimitacionesdelestudio?

Rubro:Reporte.

1) ¿Existeunarelaciónevidenteentrelascategoríasylosdatos?(unidadesofragmentos).

¿Emergieronlascategoríasdelosdatos?

2) ¿Selogróvincularconceptualmentealascategoríasentemas?

3) ¿La teoría producida funciona? (¿La teoría emergente permite un entendimiento del

fenómenoestudiado?)

4) ¿Se requieren más datos o fueron suficientes para generar teoría? (La respuesta

favorablees:sí,fueronsuficienteslosdatos)

5) ¿Sedesarrollóunmodeloparaconceptualizarelplanteamiento?

6) ¿Serespondiósatisfactoriamentealplanteamiento?

(Los siguientes criterios serían propios de cada diseño y se agregarían a los

anteriores).

Rubro:diseñosetnográficos.

1) ¿Seidentificóalgrupoocultura?,¿sedefinióyespecificó?

2) ¿Sedetectaronpatronesdelacultura,grupooeventoanalizada(o)?

3) ¿Secomprendieronlospatronesculturales?

4) ¿Elestudiocontribuyóaconocermásalgrupooculturaanalizado(a)?

5) ¿Elinvestigadorreflejaenelreportesupapelenelestudio?

6) ¿Enlainterpretaciónsedescribenlascategoríasytemas?

7) ¿Seilustraronlascategoríasmásimportantesconsegmentosdelosdatos?

34

Rubro:diseñosnarrativos.

1) ¿Seconcentróelestudioenexperienciasindividuales?

2) ¿Serespetaronlasvocesdelasfuentescreíbles?

3) ¿Setriangularondatos?

4) ¿Seexploróelpasado,presenteyfuturo?

5) ¿Sedescribióelcontextoampliamente?

6) ¿Seilustraronlascategoríasmásimportantesconsegmentosdelosdatos?

Rubro:Diseñosdeinvestigaciónacción.

1) ¿Sedetectóalmenosunaproblemática?

2) ¿Seabordólaproblemáticaenelentornodelosparticipantes?

3) ¿Serealizóundiagnósticocompletodelaproblemática?

4) ¿Seinvolucróentodoelestudioalosparticipantes?(grupo,organizaciónocomunidad).

5) ¿Lainteracciónentreelinvestigadorylosparticipantesfueconstante?

6) ¿Lainteracciónentreelinvestigadorylosparticipantesfuefructífera?

7) ¿Elinvestigadorylosparticipantesinteractuaronconstantementeconlosdatos?

8) ¿Participaron activamente las personas del grupo, organización o comunidad involucradas

enelestudio?

9) ¿Seformulóunplanoprogramapararesolverelproblemaointroducirelcambio?

10) ¿Seimplementóelplanoprograma?

11) ¿Seevaluaronlosresultados?

12) ¿Seobtuvorealimentaciónsobrelosresultadospreliminares?

13) ¿Seobtuvorealimentaciónsobrelosresultadosfinales?

14) ¿Setransformópositivamentelarealidaddelosparticipantes?

15) ¿Seresolvióalmenosunproblemaosemejoróalmenosunapráctica?

35

Rubro:diseñosdeteoríafundamentada(diseñosistemático).

1) ¿Seprodujounateoríafundamentada?

2) ¿Delosdatosobtenidossurgieronhipótesisoproposicionesteóricas?

3) ¿Elmodeloproducidoincluyecondicionescausales?

4) ¿Elmodelogeneradoabarcaaccioneseinteracciones?

5) ¿Elmodeloemergentecontieneconsecuencias?

6) ¿Elmodeloproducidoincluyeestrategias?

7) ¿Elmodelogeneradocontienecondicionescontextuales?

8) ¿Elmodeloemergenteabarcacondicionesintervinientes?

9) ¿Lacategoríacentraleslamásimportante?(¿Todasolamayoríadelasdemáscategoríasse

vinculanaella?)

10) ¿Lascategoríasdelmodelooteoríasonlasqueaparecenconmayorfrecuenciaenlosdatos?

11) ¿Lateoríacaptalaesenciadelplanteamiento?

Investigaciónmixta6

Talcomohemoscomentado,losparámetrosoindicadoresparaevaluarestudiosmixtos

se encuentran en desarrollo. Por lo pronto, Hernández Sampieri y Mendoza (2008)

sugierenlosiguienteparaanalizarlacalidaddeunainvestigaciónmixta:

1. Para laramaoaproximacióncuantitativa,aplicar indicadorescuantitativos

delostresprimeroslistados,oalmenos,elegirunlistado(calificandocada

elemento ya sea mediante dicotomía —satisfactorio/no satisfactorio o

cumple/nocumple—;unaescalaLikertdel1al5;ounaescalanuméricadel

0al10).

6 Antesde leeresteapartado se recomienda revisar los capítulos17del texto impresoy12deesteCD:Ampliaciónyfundamentacióndelosmétodosmixtos

36

2. Para la rama o aproximación cualitativa, instrumentar el cuarto listado,

respondiendo a los indicadores mediante dicotomías: satisfactorio/no

satisfactorioofavorable/desfavorable.

3. Agregar los siguientes rubros y criterios de la tabla 10.5 para lamezcla o

integración (respondiendodicotómicamente: “sí” o “no”, ¿enquémediday

con qué profundidad?, y ¿cómo? o ¿de qué manera?). Más que una

puntuacióndeestosindicadoresoelementos,seharíaunareflexiónentorno

alasfortalezasydebilidadesdelprocesoindagatorio:

Tabla10.5Quintolistadoderubrosyfactores

paraevaluarunestudiomixto

Calidaddeldiseñomixto

1. Consistencia internadeldiseño(que loscomponentesdeldiseñoembonendeunamanera

cohesiva y congruente): ¿los componentes del diseño embonan entre sí de una manera

congruenteatravésdetodaslasetapasdelestudio?

2. Adecuacióndeldiseño(selecciónapropiadademétodosyprocedimientosparacumplircon

losobjetivosyresponderalaspreguntasdeinvestigación):¿losmétodosyprocedimientos

elegidos son apropiados para cumplir con los objetivos y responder a las preguntas de

investigación?

3. Fidelidad del diseño (el grado en que los investigadores se apegaron al diseño y éste se

implementóadecuadamente): ¿losprocedimientos fueron implementadosdeacuerdo con

eldiseñoplanteado?;cuandoserealizaronajustesaldiseñooriginal,¿fueronpertinentesy

adecuados?;¿losmétodosfueroncapacesde“captar”lossignificados,efectosyrelaciones?;

¿los componentes del diseño (procedimientos, muestreo, recolección y análisis) fueron

aplicadoscorrectamente?

4. Adecuación analítica (selección de las técnicas adecuadas y apropiadas de análisis para

responderalplanteamiento):¿lasestrategiasyprocedimientosdeanálisissonadecuadosy

apropiadosparaproveerdeposiblesrespuestasalaspreguntasdeinvestigación?

37

Calidaddelasinferencias

1. Consistenciainternadeldiseño(yacomentadaenelrubroprevio,mismapregunta).

2. Consistenciaconceptual(congruenciadelasinferenciasentresí):¿lasinferenciascualitativas

son congruentes entre sí?, ¿las inferencias cuantitativas son congruentes entre sí?, ¿las

inferenciascuantitativasycualitativasestánestrechamenteconectadasyhansidoderivadas

delosdescubrimientosrelevantesentérminosdetipo,alcanceeintensidad?,¿lasmúltiples

inferencias fueron hechas sobre la base de descubrimientos consistentes entre sí?, ¿se

produjeron metainferencias y éstas son congruentes entre sí?;7 en caso de que las

inferencias cuantitativas y cualitativas no coincidan en cuanto a resultados, ¿se logró una

explicaciónsatisfactoriadelanocoincidencia?

3. Consistenciateórica(conrespectoaestudiosprevios):¿lasinferenciasymetainferenciasson

consistentes con la teoría y el estado del conocimiento en el cual se enmarca el

planteamiento?

4. Acuerdo interpretativo entre investigadores: ¿diversos investigadores llegan a las mismas

conclusiones sobre la basede losmismos resultados?, ¿hay consensoentre colegas?, ¿las

inferenciasdelosinvestigadorescorrespondenconlasconstruccionesdelosparticipantes?,

¿hayacuerdoentrelosparticipantesylosinvestigadores?

5. Interpretación distintiva (grado en el cual las inferencias son diferentes de otras posibles

interpretaciones de los resultados y explicaciones rivales): ¿cada inferencia es

significativamente más plausible o meritoria respecto a otras posibles conclusiones que

pudieronhabersehechosobrelabasedelosmismosresultados?

Rigorinterpretativo

Mismos rubros y preguntas que el rubro anterior (“calidad de las inferencias”),

agregandounomuyvinculadoconla“consistenciaconceptual”,porellolecolocamosel

númeroseis,yaqueconsideraríamosloscincoprevios.

6. Integracióneficaz(gradoenelcualsonintegradasdemaneraefectiva las inferenciashechas

en la aproximación tanto cuantitativa como cualitativa en metainferencias teóricamente

consistentes):¿lasmetainferenciasincorporanadecuadamentelasinferenciasresultantesdelas

aproximacionescuantitativaycualitativa?

7Congruencianoimplicanecesariamentecoincidencia,mismosresultados.

38

Transferenciaderesultados

Lasposiblesrespuestasalassiguientespreguntasseránanalizadasycontestadasporel

grupode investigadores(sutratamientodebeteneruncaráctercolegiado),ademáses

necesarioqueauditoresexternosopares(investigadoresexpertosenelplanteamiento

delproblema)ofrezcansuspuntosdevistaalrespecto.

Transferencia de población (a otros individuos, grupos o entidades): ¿es posible transferir los

resultadosaotrosindividuos,gruposoentidades?,¿porqué?

Transferenciaecológica (aotrosambientesocontextos):¿esposible transferir los resultadosa

otrosambientesocontextos?,¿porqué?

Transferenciatemporal(aotrosperiodosdetiempo):¿esposibletransferirlosresultadosaotros

tiemposoépocas?,¿porqué?

Transferencia operacional (utilizando otrosmétodos de recolección de los datos): ¿es posible

transferir los resultados si se hubieran seleccionado otros métodos o instrumentos para

recolectarlosdatos?,¿porqué?

Legitimidad8

Respondiendo dicotómicamente a estos indicadores: “sí” o “no”, así como: ¿de qué

manera?

Legitimidad de la integración de la muestra: ¿la vinculación entre el muestreo cuantitativo y

cualitativoproducemetainferencias?

Legitimidadinterna‐externa:¿sepresentanconexactitudyprofundidadtantolavisióninternadelos

participantescomolavisiónexternadelinvestigadorparafinesdedescripciónyexplicación?

Legitimidaddirigidaaminimizarlasdebilidadespotenciales:¿selogrademostrarquelasdebilidades

deunmétodosoncompensadasporlasfortalezasdelotro?

Legitimidad de secuencia (diseños secuenciales): si se hubiera invertido la secuencia de las fases

cuantitativaycualitativa,¿sehubieranobtenidoresultadossimilares?

Legitimidaddeconversión(diseñosdeconversión):¿lacuantificacióny/ocualificaciónproducen

8Seconsideraronlostiposdelegitimidadquenosonredundantesconcriteriospreviosparalosestudiosmixtos.

39

metainferenciasclarasycoherentes?

Legitimidad de la mezcla paradigmática: ¿las creencias epistemológicas, ontológicas, axiológicas y

metodológicasdelinvestigadorquesederivandelasaproximacionescuantitativasycualitativasson

combinadasexitosamenteylasdiferenciasseexplicanysustentan?

Legitimidadde lacompatibilidadentrevisiones:¿lasmetainferenciasresultantesreflejanunavisión

del mundo mixta basada en procesos cognitivos holísticos y de la gestalt que implican cambio e

integración?

Legitimidad por múltiples validaciones: ¿las diversas técnicas utilizadas para validar los

procedimientos, análisis e inferencias tanto cuantitativas como cualitativas son pertinentes y

rigurosas?

Legitimidad“política”:¿colegas,paresoauditoresexternosestándeacuerdoconlasmetainferencias

emanadasdeloscomponentescuantitativoycualitativodelestudio?

Insistimos en que Roberto Hernández Sampieri seguirá profundizando en los

criterios,queestaránejemplificadosensupróximolibrosobremétodosmixtos.

PARÁMETROS, CRITERIOS, INDICADORES Y/O...

Documents

Transcript of PARÁMETROS, CRITERIOS, INDICADORES Y/O...