PERSPECTIVAS METODOLÓGICAS : ¿EVALUACIÓN CUANTITATIVA O CUALITATIVA?

RichardJ.ShavelsonSKPartners&UniversidaddeStanford

1

Overview

¨  “Cuidadoconlasdicotomíasfalsas”:Losmétodosdeevaluacióndebenserimpulsadosporpreguntasdeevaluación,noviceversa

¨  Tiposdepreguntasdeevaluación¤ Descriptivas¤  Causales¤ Mecanismos

¨  Buscar“loqueimporta”quesubyaceenlasevaluacionesdeescuelasydelaenseñanza¤  Políticasypolítica¤ Métodosdeevaluación¤ Diseñoestadístico

2

Diseño de investigación/evaluación impulsado por preguntas

¨  ¿Quéestápasando?

¨  ¿Existeunefectosistemático(causal)?

¨  ¿Cómooporqué(mecanismo)estápasando?

¨  Investigacióndescriptivayevaluaciónformativa

¨  Investigaciónimpulsadaporlateoríaolaprácticayevaluaciónsumativa

¨  Investigaciónimpulsadaporlateoríaolaprácticayevaluaciónformativaosumativa

Fuente:Shavelson&Towne(2002).ScientificResearchinEducation.NationalAcademyPress

Preguntas y métodos Pregunta/Método

“¿Quéestápasando?”Descriptivo

”¿Existeunefectosistemático?”

Causal

“¿Cómooporquéestápasando?”Mecanismos

Cualitativo •  Estudiodecaso•  Etnografía•  Observación•  Entrevista•  Etc.

Ejemplo:Holland&Eisenhart

•  Etnografía•  Múltiplesestudiosdecasos•  Etc.(?)

Ejemplo:Holland&Eisenhart

•  Estudiodecaso•  Etnografía•  Observación•  Entrevista•  Etc.

Ejemplo:SeguimientoaExperimentoTN

Cuantitativo •  Encuestadeprobabilidad(oresumenestadísticobasadoencualitativo)

•  Estadísticasdescriptivas•  Comparacionesde

estadísticas•  Correlaciones•  Regresiones•  Etc.

Ejemplo:NAEP

•  Experimentosaleatorios•  Cuasi-experimentos•  Diseñocausaldedatos

longitudinales•  Discontinuidadderegresión•  Intentoportratar•  Etc.

Ejemplo:Experimentode

reduccióndetamañodegrupodeTennessee

•  Encuesta•  Experimentosaleatorios•  Cuasi-experiments•  Etc.

Ejemplo:SeguimientoaExperimentoTN

Susceptibilidaddegeneralización

¡Un tema enorme!

4

¿Qué está pasando? “Si quieres saber qué está pasando, tienes que salir y ver qué está pasando” – Yogi Berra

¨  Amenudocaracterísticodelaevaluaciónformativa¨  Invitavariostiposdedescripción:

¤  Caracterizaraunapoblación¤  Describirelalcanceylagravedaddeunproblemadesdevarios

puntosdevista¤  Desarrollarunateoríaoconjetura¤  Identificarcambiosalpasodeltiempo

¨  Tambiénpuedeincluirasociacionesentrevariables,comolascaracterísticasdelasescuelas(e.g.,tamaño,ubicación,baseseconómicas)queserelacionancon(digamos)elofrecimientodeinstrucciónmusicalyartística.

Fuente:Shavelson&Towne(2002).ScientificResearchinEducation.NationalAcademyPress

¿Por qué tan pocas mujeres que empiezan carreras en CTIM terminan trabajando en esos campos? ¨  Ensumomento,variasexplicacionesdiferentes:

¤  Lasmujeresnoestabanbienpreparadasantesdellegaralauniversidad;¤  Selesdiscriminabaenlauniversidad;¤  Noqueríancompetirconloshombresporlosempleos.

¨  Primerosestudiosdecasosetnográficosdeunpequeñogrupodemujeresdeprimerañoendosuniversidadespúblicasresidenciales:lamitadencadacampusplaneabacarrerastradicionalesparamujeres

¨  Conbaseenunanálisisdelosdatosetnográficosobtenidosdeunañodeobservaciónyentrevistasabiertasconlasparticipantes,sedesarrollaronmodelosparadescribircómoparticiparonlas23mujeresenlavidauniversitaria

¨  Compromisoconeltrabajoacadémicoeralaprincipalrazónparapersistirypredijoelcomportamientorealdetodoslos23casos.

Fuente:Shavelson&Towne(2002).ScientificResearchinEducation.NationalAcademyPress

Evaluación Nacional del Progreso Educativo (NAEP)

•  Lasimplerecoleccióndedatosnoesporsímismacientífica.Eslaorganizaciónyanálisisrigurososdelosdatospararesponderapreguntasclaramenteespecificadasqueformanlabasedeladescripcióncientífica,nolosdatosmismos.

•  NAEPencuestaydescribeeldesempeñodealumnosde4o,8o,12ogradosenunavariedaddemateriasacadémicas,incluyendomatemáticasylectoescritura,asícomoinformaciónsobreantecedentes.

•  Existenmétodosestadísticosypsicométricosmodernospararesumirestaseriecomplejadedatoseninformessobreelaprovechamientoacadémicoysurelaciónconotrosfactores.Estacombinaciónderigurosarecoleccióndedatos,análisiseinformesesloquedistingueladescripcióncientíficadelaobservacióninformal.Fuente:Shavelson&Towne(2002).ScientificResearchinEducation.NationalAcademyPress

¿Existe un efecto sistemático?

¨  Losdiseñosdeevaluacionesqueintentanidentificarefectossistemáticostienenensuorigenunaintencióndeestablecerunarelacióndecausayefecto

¨  Lalaborcausalseconstruyetantosobrelateoríacomosobrelosestudiosdescriptivos

¨  Labúsquedadeefectoscausalesnosepuedellevaracaboenunvacío:idealmente,unafuertebaseteórica,asícomoextensainformacióndescriptivaexistenparaproporcionarelfundamentoparaentenderlasrelacionescausales

¨  Paralaevaluaciónsumativa,porende,unprogramadebedehaberpasadoporunperiododedesarrolloyestarenunasituaciónconsistentedeoperación(porejemplo,>=3años)antesdehacerpruebasdeefectoscausales

Fuente:Shavelson&Towne(2002).ScientificResearchinEducation.NationalAcademyPress

¿Reducir el tamaño del grupo mejora el aprovechamiento?

¨  EstudiodeTamañodeGrupodeTennessee—Experimentoaleatorio

¨  Losmaestrosdeprimariadetodoelestadosedividieronenformaaleatoriaen3condiciones(enescuelasdetamañoadecuado)1.  Unmaestroenungruponormal(22-26alumnos)2.  Unmaestroyunayudantedemaestroenungrupo

normal(22-26alumnos/2)3.  Unmaestroenungrupopequeño(13-17alumnos)

¨  Seidentificóunefectocausalfavorablesóloenlacondición3,especialmenteparaalumnospertenecientesaminorías

¨  Fuelabaseparaunreformaescolar,pero¡TNnolallevóacabo!Fuente:Shavelson&Towne(2002).ScientificResearchinEducation.NationalAcademyPress.

10

¿Cómo o por qué está pasando?

¨ Búsquedademecanismoscausales¨ Múltiplesmétodosaplicables¨  TamañodegrupodeTennessee

¤ Comprendieronquehabíaunefecto¤ Nopudieronprecisarlosmecanismosqueledieronorigen

¤ Siguieronmúltiplesañosdeinvestigación

Lo que importa: la política, la medición & el diseño ¨  Lapolíticaimporta:Cualquieraqueseaelobjetode

evaluación:¤  Estáintegradaenmúltiplescontextos

¤  Ycuandounapolíticaagranescalaestáenjuego,lapolíticaimportamuchísimo

¤  Ignoralapolíticaatucuentayriesgo

¨  Lamediciónimporta:Cualquieraqueseaelobjetivo(constructo)queinteresa,distintasformasdemediciónpuedenproducirresultadosdiferentes:hayquealinearconfiabilidad,validezyutilidadconelpropósitoplaneado

¨  Eldiseñoimporta:Lasdiferentesformascomosediseñanlasmedicionesparaabordareltemadeevaluación—ysuspremisassubyacentes—puedenproducirresultadosmuydistintos

11

La política & la evaluación importan: Sistema de Evaluación del Aprendizaje de California (CLAS)

¨  Enfoquesobreevaluaciónexperimedntaleinnovadoraparaevaluaciónsumativa

¨  MuestramatrizderesultadosdepruebadeopcionesmúltiplesenanterioresCAPenmientras

¨  Recabarinformaciónadicionalsobreevaluaciónformativaintegradaenlossalonesdeclase

¨  Conmoderacióncombinarinformación

¨  Enúltimainstancia(10años)usarlaevaluaciónexternacomouna“auditoría”delainformaciónrecabadaeintegradaenelplandeestudios

¨  Promesadecampaña:Elestadorecabaráyproporcionaráresultadosindividualesdelaspreubasdelosalumnoseinformaráalospadresdefamilia(votantes)

¨  Deseabaunapruebacomúndeopcionesmútliplesparacadaalumno,sinmuestreomatriz

¨  Deseabaexperimentoconevaluaciónalternativa,siemprequelopermitieraeltiempoyeldinero

¨  Semolestóporlasprotestasdefaccionespolíticas(e.g.,laderechareligiosa)

¨  AfirmóqueCLASseequivocó;despidodeljefedelaunidaddeevaluació;elEstadovolvióaunsistemadeevaluaciónempleadodosgeneracionesantes

Unidaddeevaluación Gobernador

Reformasistémicaquealinearesultadosdeaprendizajedelosalumnosconplandeestudios(indagatorio)conevaluacionesalternativas(desempeño)

Lo que importa: premisas subyacentes del diseño: valor agregado

¨ Alusarelvaloragregadoparaevaluaramaestros,colegiosyuniversidades¤ Lapolíticaimporta:¡exigenciaderesponsabilidad!¤ Laevaluaciónimporta:vs.”¡cualquiernúmerosirve!”¤ Laspremisassubyacentesdeldiseñodevaloragregadoimportan:¡dudosasafirmacionescausales!

¨ Medicionesdevaloragregado(MVA)¤ Uninstrumentodepolíticamuydelicado¤ Cuandoseejercedemanerainadecuada,probablementehagamásmalquebien

13

Algunas premisas clave en la medición del valor agregado

¨  Lasmedicionesdevaloragregadopretendenproporcionarestimadoscausalesdelosefectosdelauniversidadenelaprendizajedelosalumnos;sequedancortas

¨  Seconocenmuybienlaspremisasparahacerinferenciascausalesdelosdatosobservados(e.g.,Holland,1986;Reardon&Raudenbush,2009)

¨  Susceptibilidaddemanipulación:Enteoría,losestudiantespodríanquedarexpuestosacualquiertratamiento(i.e.,asistiracualquieruniversidad).

¨  Nointerferenciaentreunidades:Elresultadodeunestudiantedependesólodesuasignaciónauntratamientodado(e.g.,noexistenefectosdepares).

¨  Lapremisamétrica:Losresultadosdelaspruebasestánenunaescaladeintervalos.

¨  Homogeneidad:Elefectocausalnovaríacomofuncióndealgunacaracterísticadelosestudiantes.

¨  Tratamientosumamenteignorable:Laasignaciónauntratamientoesesencialmentealeatoriadespuésdecondicionarsobrevariablesdecontrol.

¨  Formafuncional:Laformafuncional(típicamentelineal)empleadacomocontroldelascaracterísticasdelestudianteeslacorrecta.

14

Algunas decisiones clave en la medición del valor agregado

¨  ¿Cuáleseltratamiento&comparadoconqué?¤  SilauniversidadAeseltratamiento,¿cuáleselcontrolola

comparación?¤  ¿Cuántoduraeltratamiento(e.g.,3,4,5,6,+años)?¤  ¿Quétratamientonosinteresa?

n  ¿Enseñanza-aprendizajeajustandoporefectosdecontexto?n  ¿Enseñanza-aprendizajeconcontextodepares?

¨  ¿Cuáleslaunidaddecomparación?¤  ¿Instituciónouniversidadocarrera(asumirmismotratamiento

paratodos)?¤  Elecciónprácticaentreprecisióndedefinicióndetratamientoy

tamañosuficientedemuestraparaestimación¤  Losestudiantescambiandecarrera/universidad:¿Aqué

tratamientoseatribuyenlosefectos?

15

Algunas decisiones claves en la medicición de valor agregado (Continúa)

¨  ¿Quésedebemedircomoresultados?¤  ¿Habilidadesgenéricas(e.g.,pensamientocrítico,resolucióndeproblemas)

engeneralodeunacarrera?¿Conocimientosespécificosdeunamateriayresolucióndeproblemas?

¤  ¿Comodebemedirse?n  Respuestaelegida(opciónmúltiple)n  Respuestaelaborada(ensayodeargumentaciónconjustificación)n  Etc.

¤  ¿Quétanválidassonlasmedicionescuandosetraducenparaevaluacionesentrepaíses?

¨  ¿Quécovariantesdebenusarseparahacerajustesconelfindedarcuentadelsesgodeselección?¤  Covariantesindividuales:resultadosparalelosanterioresalapruebacon

resultadosdelaprueba¤  Múltiplescovariantes:cognitivos,afectivos,biográficos(e.g.,SES)¤  Efectosdecontextoinstitucional:puntuaciónpromedioanterioralaprueba,

SESpromedio¨  ¿Cómolidiarcon“clasificacion”deestudiantes(porhabilidadyotros

elementos)?¡Laeleccióndeasistiraunauniversidad“noescasual!”

16

¿Todas estas preocupaciones importan?: ¡Datos de Colombia! ¨  ¡Sí!¨  Datos(>64,000estudiantes,168IHE(institucionesde

educaciónsuperior)y19GruposdeReferencia,comoingeniería,derechoyeducación)delsingularsistemadeevaluacióndeuniversidadesdeColombia¤  Todoslosalumnosdelúltimoañodepreparatoriatomanelexamendeingresoalauniversidad:SABER11:lengua,matemáticas,química,ycienciassociales)

¤  Todoslosgraduadosdelauniversidadhacenunexamendeegreso:SABERPRO:razonamientocuantitativo(RC),lecturacrítica(LC),redacción,einglés,ademásdeexámenessobremateriasespecíficas

¨  EnfoquesobrehabilidadesgenéricasdeRCyLC

17

Estimadción de modelos de valor agregado ¨  Modelojerárquicode2

nivelesdeefectosmixtos¤  1.Estudiantedentrode

grupodereferencia¤  2.Grupodereferencia

¨  Covariantes:¤  Nivelindividual

n  VectorSABER11de4calificacionesdebidoatemasdeconfiabilidad

n  SES(INES)¤  Niveldegrupode

referencian  MediaSABER11on  MediaINSE

¨  Modelo1:Ningúnefectodecontexto:i.e.,ningunamediaSABER11niINSE

¨  Modelo2:ContextoconmediaINSE

¨  Modelo3:ContextoconmediaSABER11

18

Mediciones VA: ¡Instrumentos Delicados!

¨  Impactoenescuelasdeingeniería¤ Puntonegro:Escuelade“matrículadealtacalidad”

¤ Puntogris:Escuelade“matrículadecalidadpromedio”

19

Generalizaciones de los hallazgos

¨  ExámenesdemateriasSABERPROenderechoyeducación¤  EstimadosVAnosonsensiblesavariaciónenmediciónderesultadosgenéricosv.materiasespecíficas

¤  Mayoresdiferenciasentreuniversidades(ICCs)conresultadosdemateriasespecíficasqueconresultadosgenéricos

¨  EvaluaciónAHELOdeHabilidadesGenéricas¤  EstimadosVAconequivalenteAHELOalosencontradosconexámenesSABERPRO

¤ Menoresdiferenciasentreuniversidades(ICCs)enresultadosdehabilidadesgenéricasAHELOqueenresultadosSABERPRO

20

MVA y evaluación de maestros

Comomedicionúnicaocomomedicióndecisivade“calidaddocente”o“efectividaddocente”,noconvienelaMVA

¨  LosestimadosMVAhanresultadoserinestablesentremodelosestadísticos,años,ygruposqueunmaestroenseña

¨  Múltiplesfactoresimpactanlosresultadosdelosavancesdeaprendizajedelosestudiantesdentrodelasescuelas,ynopuedendesentrañarseadecuadamente¤  Maestroactual+maestrosanteriores+maestrosqueenseñan

materiasdistintas¤  Condicionesescolares(e.g.,pares,liderazgo,apoyodocente,calidad

curricular,tutoríasyotrosapoyosestudiantiles,tamañodegrupo)¤  Condicionesextraescolares(e.g.,barrios,capitalsocial)

¨  Múltiplesfactoresimpactaninclusomáslosavancesdeaprendizajedelosestudiantesentreescuelas

21

Gracias