Post on 25-Jul-2020
1
Avaluar l’impacte de les polítiques educatives: conceptes bàsics i aplicacions
Miquel Àngel Alegre, Ivàlua
Barcelona, 23 de setembre de 2016
2
Quin és l’objectiu de l’avaluació d’impacte?
Impacte = Canvi en la realitat del problema exclusivament atribuïble a l’acció del programa
I això de què em
servirà?
3
L’avaluació d’Èxit Estiu 2015: alguns resultats
4
• En marxa des de 2013, a l’estiu de 2016:
48 instituts / 13 centres concertats de Barcelona; 2.000 alumnes
• Reforç escolar durant vacances estiu per a alumnes de 1r a 4t d’ESO amb matèries a recuperar al setembre
Activitats instructives: 2 hores diàries / tres setmanes (grups reduïts)
Activitats esportives (opcional): ídem
• Objectius: a) Evitar la repetició de curs; b) Millorar el rendiment i les taxes de graduació; c) Prevenir l’abandonament escolar
• Implementació: 1 amic@gran per cada 10 alumnes; coordinadors de centre i coordinadors de zona
El programa Èxit Estiu
5
Resultats educatius dels participants
Taxa de recuperació total segons assignatures suspeses al juny (públics)
Èxit Estiu 2015: alguns resultats
6
Resultats educatius dels participants
Mitjana d’assignatures recuperades segons assignatures suspeses al juny (públics)
Èxit Estiu 2015: alguns resultats
7
Resultats educatius dels participants
Taxa de promoció/graduació segons assignatures suspeses al juny (públics)
Èxit Estiu 2015: alguns resultats
8
Què ens diuen aquestes dades sobre l’impacte del programa?
RES
9
L’aproximació “abans-després”
% d’alumnes d’ESO que repeteixen curs. Anys 2011 a 2015
Abans
Després
DiferènciaImpacte = 10 p.p.
El canvi és atribuïble al programa?
Manca ofertes laborals?
Canvisociodemogràfic?
Altres programes educatius?
Inici programa
Canvis en les pràctiquesavaluatives?
NO NECESSÀRIAMENT
10
Manca ofertes laborals?
Canvisociodemogràfic?
Impacte = 5 p.p.
Inici programa
% d’alumnes d’ESO que repeteixen curs. Anys 2011 a 2015
En aquest cas, SÍ El canvi és atribuïble al programa?
“Contrafactual”
L’aproximació “abans-després”
Altres programes educatius?
Canvis en les pràctiquesavaluatives?
11
El “grup de comparació”
% d’alumnes d’ESO que repeteixen curs. Alumnes participants vs. no participants (2015)
Diferènciesacadèmiques?
Com s’han escollitels participants?
Diferències en implicaciófamiliar?
Diferènciesmotivacionals?
DiferènciaImpacte = 10 p.p.
La diferència és atribuïble al programa?
Diferències socio-demogràfiques?
NO NECESSÀRIAMENT
12
% d’alumnes d’ESO que repeteixen curs. Alumnes participants vs. no participants (2015)
Diferènciesacadèmiques?
Com s’han escollitels participants?
Diferències en implicaciófamiliar?
Diferènciesmotivacionals?
Impacte = 5 p.p.
La diferència és atribuïble al programa?
Diferències socio-demogràfiques?
En aquest cas, SÍ
“Contrafactual”
El “grup de comparació”
13
“Contrafactual”
14
Programa
≈
No programa
El “grup de comparació”
15
Dissenys experimentals aleatorització (sorteig)
Entre individus, grups, territoris, etc.
Programa vs. no programa; entre diferents versions del programa; entrada progresiva al programa, etc.
Dissenys no experimentals
Quasi-experiments font de variació exògena
Matching bones BBDDs amb característiques observables
Dissenys / tècniques d’avaluació d’impacte
16
Experiment Èxit Estiu: enviament SMS
SMS Sensibilització (5)(N=536)
SMS Informació (5)(N=538)
Famílies inscrites(N=1605)
Cap SMS (control)(N=531)
17
Assignatures recuperades
Experiment Èxit Estiu: enviament SMS
18
Recuperació completa
Experiment Èxit Estiu: enviament SMS
19
Malauradament…
Ens fem poques preguntes d’impacte (no només en educació)!!
Per què?
20
Per què no fem més avaluacions d’impacte?
• Per tradició i cultura política: més centrats en el procediment i en la “qualitat” que en el rendiment de les accions (efectivitat)
• Implica reconèixer ignorància. No sabem si allò que fem, en realitat, funciona, però el procés polític deixa poc marge al dubte
• Tampoc l’àmbit tècnic és fàcilment permeable al dubte, per excésde confiança en l’expertesa i experiència directa
• No hi ha cap incentiu, ni cap condicionament econòmic ni normatiu a deixar-se avaluar (en termes d’impacte)
• Tècnicament, no sempre és fàcil avaluar l’efectivitat de les accions. Calen dades i coneixements teòrico-metodològics
• Avaluar pot implicar innovar i experimentar – l’administració és un context “rígid”
21
Què necessitem per endegar una avaluació d’impacte?
22
• “Teoria del canvi” i preguntes d’impacte
• Bones mesures d’outcome (indicadors de resultat)
• Instruments i fonts d’informació per al seguimentd’indicadors
• Bona estratègia per a la definició de grups de comparació vàlids (“contrafactual”)
• Mostra suficient (n) de participants / no participants
• Un cert coneixement estadístic
• Ganes i atreviment!
Què necessitem per avaluar l’impacte?
23
Gràcies!