Impacte del programa eduCAT en l’adquisició de ......L’estudi que teniu a les mans, sobre...

Dr. Toni MoraDr. Josep Oriol Escardíbul

Impacte del programa eduCATen l’adquisició de competències de

l’alumnat de secundaria a Catalunya

Impacte del programa eduCAT en l’adquisició de competències de l’alumnat de secundària a Catalunya

Dr. Toni Mora (Universitat Internacional de Catalunya)Dr. Josep-Oriol Escardíbul (Universitat de Barcelona) © Copyright 2016Universitat Internacional de CatalunyaImmaculada, 2208017 Barcelonawww.uic.es Primera edició: Desembre 2016 Edita: ACV Edicionswww.acvglobal.com

ISBN: 978-84-15003-65-6Dip. Legal: B 25262-2016

Impacte del programa eduCAT

en l’adquisició de competències

de l’alumnat de secundària

a Catalunya

Dr. Toni Mora (Director)Dr. Josep Oriol Escardíbul

Índex

Pròleg 4

1. Introducció 6 1.1. Objecte concret de l’estudi 6 1.2. Origen de l’estudi i evolució de l’enfocament 7 1.3. Estructura de l’informe 92. Tecnologies a les aules 10 2.1. Descripció del programa eduCAT 10 2.2. Literatura relacionada 113. Base de dades 15 3.1. Descriptius dels resultats a les proves d’avaluació de competències 16 3.1.1. Cohort 2008-2009 18 3.1.2. Cohort 2009-2010 21 3.1.3. Cohort 2010-2011 22 3.1.4. Cohort 2011-2012 23 3.2. Altres comparatives rellevants 24 3.3. Comparativa de resultats després de la vinculació de dades 28 3.4. Disseny de la mostra 30 3.5. Enquesta als centres escolars de secundària 304. Estratègia d’estimació 47 4.1. Estratègia economètrica 47 4.2. Equació a estimar 49 4.3. Problemes de selecció dins el programa eduCAT 515. Resultats 586. Breus conclusions d’aquest informe 607. Bibliografia 62

Annex A. Enquesta adreçada als directors de centres escolars 64

5

Pròleg

4

Pròleg

L’estudi que teniu a les mans, sobre l’impacte del programa eduCAT en l’adquisició de competències bàsiques per part dels alumnes de secundària, aporta una mirada nova i complementària a altres estudis i recerques realitzats al nostre país sobre l’impacte tecnològic en l’àmbit educatiu.

La bibliografia acadèmica i institucional sobre el procés d’incorporació de les tecnologies digitals als centres educatius és força extensa. No en va aquest procés té un recorregut de més de tres dècades al nostre país, al llarg de les quals l'anàlisi de les iniciatives en aquest camp així com la seva avaluació han estat objecte de diversos estudis i recomanacions.

Entre els estudis previs cal destacar, pel seu abast i profunditat, el Projecte Internet Catalunya (PIC), realitzat pel grup de recerca IN3 de la UOC durant els anys 2002-2003. L’objectiu d’aquesta recerca va ser identificar i caracteritzar els efectes de la introducció d'Internet a les escoles catalanes d’educació primària i secundària. Aquesta anàlisi va mostrar les formes d'utilització de la xarxa en l’àmbit escolar i en quina mesura contribueixen a l'aparició, en els centres educatius, d'una nova cultura adaptada a les necessitats de la societat del coneixement. L’estudi es va focalitzar en el procés d'incorporació i l’impacte d'Internet en tres grans àmbits: les pràctiques pedagògiques, l'organització escolar i la relació dels centres educatius amb la comunitat educativa. Aquesta recerca va incloure un balanç del que va representar el Programa d’Informàtica Educativa (PIE), el primer pla institucional per introduir les tecnologies digitals als centres educatius de Catalunya, desplegat entre els anys 1986 i 2001. Les conclusions i recomanacions d’aquest treball van ser tingudes en compte en algunes actuacions posteriors.

Una altra modalitat d’estudis el representen les estadístiques de la Societat de la Informació als centres docents, que el Departament d’Ensenyament publica anualment des del curs 2004-2005. Amb aquestes dades, que inclouen un ampli recull d’indicadors, que abasten tant aspectes d’infraestructures com d’usos educatius, hom pot seguir l’evolució i expansió de les tecnologies digitals als centres al llarg de la darrera dècada.

Un tercer conjunt de documents de referència sobre les TIC educatives el constitueixen els estudis comparatius en l'àmbit internacional. Especialment rellevant va ser la participació de Catalunya en l’estudi internacional “Second Information Technology in Education Study (SITES) 2006”, en el qual van participar 22 països amb l’objectiu d’analitzar l'ús pedagògic de les TIC en les àrees de matemàtiques i de ciències en els centres de secundària. Les dades i conclusions es poden trobar en el document “Les TIC a l’ESO. Resultats i conclusions de l’estudi SITES 2006 a Catalunya” publicat pel Consell Superior d’Avaluació de l’any 2009 i disponible en línia.

Aquests estudis transversals d’ampli abast s’han vist complementats amb altres treballs de recerca de caire qualitatiu i etnogràfic, que s’han centrat a descriure i analitzar determinats processos i interaccions dins l’aula quan s’apliquen innovacions tecnològiques de diferent naturalesa.

Per contrast amb els treballs esmentats, l’enfocament de la recerca que teniu a les mans, aborda la qüestió de la incorporació de les tecnologies digitals als centres educatius des de la perspectiva de l’Economia de l’Educació, fins ara inèdita a casa nostra. Aquesta mirada assimila el procés educatiu a un procés de producció, un enfocament que permet analitzar les polítiques públiques des de l’òptica cost-benefici.

Coincideixo plenament amb els autors que la implantació de les tecnologies digitals al sistema educatiu és un fet irreversible. Les evidències que es desprenen del rigorós estudi estadístic que s’ha dut a terme en aquest treball, tot i les cauteles manifestades pels autors, no qüestionen els aprenentatges sobre, i amb, les tecnologies digitals en el context escolar, sinó que plantegen la necessitat de reflexionar sobre el disseny, la implementació i l’avaluació de les polítiques d’innovació tecnològica en educació.

L’estudi ens fa evident que qualsevol política d’innovació necessita un plantejament previ rigorós, basat en l’evidència coneguda i preveient, des de l’inici, mecanismes d’avaluació adequats als objectius de l’actuació i que permetin mesurar com s’ha implementat, si ha produït millores i si és viable la seva continuïtat.

Vull acabar aquesta breu presentació felicitant els doctors Toni Mora i Oriol Escardíbul per la seva aportació. Al meu parer aquest treball aporta evidències i instruments que contribuiran a enriquir i millorar les futures polítiques i actuacions en aquest àmbit.

Jordi VivancosCap de l’Àrea de Tecnologies per a l’Aprenentatge i el ConeixementDepartament d’Ensenyament

6 7

Introducció

1. Introducció

El món actual ens envolta, cada cop més, de noves tecnologies de la informació i la comunicació (TIC) en tots els àmbits (familiar, laboral, etc.). En aquest sentit, l’escola no és pas una excepció i des de fa anys han entrat elements tecnològics a les aules per quedar-s’hi. Mentre els estudiants assimilen fàcilment tots aquests canvis, hi ha reticències a aplicar les TIC a l’aula per part dels agents que formen part del sistema educatiu (docents, famílies, administració), que dubten de la utilització en l’aprenentatge a l’aula d’eines associades habitualment al lleure.

El nostre informe pretén aportar certa llum sobre l’impacte de la introducció de les noves tecnologies dins les aules. En fer-ho, no ho abordem des d’un punt de vista pedagògic, sinó des de l’aportació que pot fer l’economia de l’educació, que assimila el procés educatiu a un procés de producció. Els inputs comunament considerats són els recursos escolars, la qualitat del professorat, les característiques personals dels estudiants i de les seves famílies, mentre que els resultats del procés (outputs) es corresponen amb les consecucions de l’estudiant (puntuacions, anys d’escolarització, no abandonar els estudis, etc.). La rellevància d’aquesta àrea és considerable perquè anàlisis empíriques generen sovint decisions de política educativa.

A més, l’economia de l’educació ha pres la iniciativa d’emprar estudis que evidenciïn causalitat entre els inputs i els resultats educatius, de manera que es pugui concloure que un determinat input (una política educativa, per exemple) genera un efecte sobre un determinat output (el fracàs escolar, per exemple) i no simplement que existeixen associacions o correlacions entre totes dues. Per poder evidenciar causalitat, els estudis de l’àrea d’Economia de l’Educació utilitzen majoritàriament tècniques de tipus quantitatiu i, específicament, metodologies economètriques avançades (molt sovint amb la utilització d’experiments aleatòriament controlats). Aquestes tècniques quantitatives convé que es complementin amb anàlisis qualitatives, que permeten incloure altres variables i extreure informació rellevant sobre el procés de producció educatiu i els determinants del rendiment acadèmic i l’aprenentatge (Dobbie i Fryer, 2011).

1.1. Objecte concret de l’estudi

L’objectiu principal d’aquest estudi és determinar quin va ser l’impacte del programa eduCAT2.0 en el rendiment educatiu dels alumnes de secundària a Catalunya.

Per poder dur a terme aquesta anàlisi necessitem una mesura adequada del rendiment educatiu. Evidentment, les puntuacions obtingudes a cada centre escolar per part dels estudiants de secundària no poden constituir la nostra unitat de mesura del rendiment, atès que aquesta mesura no és estrictament comparable, alhora que experimenta un biaix, provocat pels centres

escolars que tendeixen a puntuar de manera menys estricta (el que la literatura anomena grade inflation). Les raons poden ser diverses, com ara ser menys estrictes en l’assimilació dels continguts curriculars o simplement tenir predisposició (ja dins el batxillerat) que els estudiants treguin més bones puntuacions en la part de la nota d’accés a la universitat que correspon als centres educatius. Per aquesta raó, utilitzarem les puntuacions obtingudes en les proves d’avaluació de competències que el Consell Superior d’Avaluació del Sistema Educatiu duu a terme quan es finalitza la primària (sisè de primària) i quan s’acaba la secundària (quart d’ESO). Utilitzarem els resultats de les proves d’avaluació degudament estandarditzades atès que, com que són proves diferents, les puntuacions obtingudes tampoc no són estrictament comparables.

El nostre interès no és pas el d’analitzar l’impacte de l’ús de les tecnologies en el rendiment educatiu, sinó el de mesurar quin ha estat l’impacte del programa eduCAT que la Generalitat de Catalunya va introduir en el curs 2009-2010. El nom inicial va ser d’eduCAT1x1 però el curs següent es van introduir alguns canvis i es va anomenar eduCAT2.0. Per poder fer aquesta anàlisi seria necessari disposar d’informació relativa a l’equipament de què disposen tots els centres escolars a Catalunya.

En qualsevol cas, voldríem assenyalar la rellevància d’estudiar l’impacte de qualsevol pràctica educativa i, en especial, les polítiques públiques. Sovint es destinen molts recursos sense saber si els programes són cost-efectius. De fet, si més no els programes més costosos haurien de dissenyar-se de manera adequada per ser avaluats per investigadors aliens al projecte que es duu a terme.

1.2. Origen de l’estudi i evolució de l’enfocament

Quan es descriu un estudi sempre s’ha de ser honest i mostrar quin ha estat l’objectiu inicial d’anàlisi i les vicissituds que hagin pogut succeir al llarg de la recerca. La primera proposta d’estudi feta al Departament d’Ensenyament es va dur a terme durant el mes de març de 2011, quan el programa eduCAT1x1 encara estava operatiu. Durant el transcurs de les converses posteriors aquest programa va ser substituït pel programa eduCAT2.0 i finalment cancel·lat a finals del curs 2011-2012. La proposta de recerca es va adreçar al Dr. Joan Mateo, com a president del Consell Superior d’Avaluació del Sistema Educatiu.

L’estudi sempre ha estat una iniciativa pròpia de l’equip que formem el Dr. Oriol Escardíbul (Universitat de Barcelona) i el Dr. Toni Mora (Universitat Internacional de Catalunya). Es va concretar mitjançant l’establiment d’un conveni de recerca entre el Departament d’Ensenyament, l’Institut d’Estadística de Catalunya i la Universitat Internacional de Catalunya. Aquest conveni va ser signat el 15 de setembre de 2014.

8 9

Inicialment, l’Idescat havia de fer front a la selecció d’una mostra representativa de centres escolars i posteriorment vincular les dades dels estudiants amb característiques parentals.Així, a finals de gener de 2015 l’Idescat va acordar amb els investigadors quina havia de ser la mostra que calia seleccionar.

Durant l’any 2015 van tenir lloc diverses reunions, tant amb el Consell Superior d’Avaluació del Sistema Educatiu com amb l’Àrea de Tecnologies per a l’Aprenentatge i el Coneixement del Departament d’Ensenyament per tal de tirar endavant el projecte. L’estudi no havia tingut mai suport en termes de finançament fins que el Dr. Toni Mora va tenir la possibilitat de dirigir la Càtedra Eurest d’Economia Pública: Avaluació de Polítiques Sanitàries i Educatives de la Universitat Internacional de Catalunya. No hem rebut finançament del Departament d’Ensenyament, ja que aquesta recerca no ha estat mai un encàrrec del Departament.

Quan preparàvem la recerca van sorgir certes incidències que han condicionat l’enfocament final de l’estudi. En primer lloc, bona part de la informació relacionada amb els centres escolars i el professorat d’aquests centres no està disponible. En segon lloc, l’estructuració de la informació al Departament dificulta el seguiment dels alumnes al llarg del sistema educatiu, de manera que resulta difícil vincular les puntuacions obtingudes en les proves de competències al final de la primària amb les del final de la secundària obligatòria pel que fa als alumnes. Aquesta informació és imprescindible per assolir els objectius del nostre estudi i s’ha pogut obtenir mitjançant un sistema de vinculació “artesanal” basat en l’ús d’algoritmes de recerca.

Així, l’estudi farà servir els resultats dels estudiants per analitzar l’impacte del programa eduCAT, però l’anàlisi es fa tenint en compte variacions en l’àmbit agregat (és a dir, dels centres escolars de secundària). Atesa la manca d’informació, tant de les característiques dels centres escolars com del professorat de secundària, ja indicada, vam decidir dur a terme una enquesta a la mostra seleccionada per l’Idescat sobre característiques dels centres que haguessin pogut variar durant el període analitzat que afectessin el rendiment acadèmic, així com sobre les dotacions en termes d’infraestructures tecnològiques. És important assignar l’efecte del programa eduCAT al programa en si mateix i no a causa de totes les mesures o variacions que van succeir en el mateix període. Malgrat les dificultats per obtenir informació rellevant, creiem que el treball aporta llum sobre l’impacte del programa.

Finalment, volem agrair la total disponibilitat dels membres de l’Àrea de Tecnologies per a l’Aprenentatge i el Coneixement del Departament d’Ensenyament, en especial del Sr. Jordi Vivancos i la Sra. Laia Sánchez, així com les facilitats concedides pel Sr. Joan Estruch, del Consell Superior d’Avaluació del Sistema Educatiu.

En especial, agraïm el suport del Sr. Joan Mateo i del Sr. Jordi Vivancos per haver cregut en aquesta recerca des del principi. Alhora, volem donar les gràcies a l’Idescat, en especial a

Introducció

la Sra. Cristina Rovira i la Sra. Mònica Gasull, per la seva disponibilitat en tot moment per decidir la mostra, així com la possibilitat no assolida finalment de lligar dades relatives als alumnes amb característiques parentals.

1.3. Estructura de l’informe

Aquest informe s’estructura de la manera següent: la segona secció descriu el programa que es pretén avaluar; la tercera secció descriu les dades disponibles i exposa el disseny de la mostra i l’enquesta realitzada; la quarta secció assenyala l’estratègia economètrica d’estimació, mentre que la cinquena mostra els resultats obtinguts, i la darrera conclou l’informe.

1110

2. Tecnologies a les aules

En aquest apartat, en primer lloc es descriu el programa eduCAT. Posteriorment, es mostra evidència empírica sobre l’eficàcia de programes similars, i l’ús de les tecnologies de la informació i la comunicació, en general, sobre el rendiment acadèmic dels estudiants.

2.1. Descripció del programa eduCAT

El programa eduCAT va néixer com a EduCAT1x1. Va ser un projecte promogut i gestionat pel Departament d’Educació de la Generalitat de Catalunya, que es va iniciar el curs 2009-2010. Es va finançar amb fons del Ministeri d’Educació del programa “Escuela 2.0”, però la Generalitat de Catalunya va tenir autonomia per dissenyar i aplicar el programa (Alonso-Cano et al., 2014). Principalment, el programa preveia dur a terme tres actuacions interrelacionades:

•Proporcionaral’alumnatordinadorsportàtilscomaeinapersonaldetreball. •Alscentrespúblics,dotarlesaulesambpissarresdigitalsinteractivesixarxalocal Wi-Fi, alhora que preveia subvencionar les connexions a Internet de les aules. •Substituirprogressivamentelsllibresdetextenpaperperllibresdetextelectrònics gratuïts per a l’alumnat.

El programa eduCAT1x1 es va iniciar amb una participació prevista de 527 centres escolars de secundària (123 el darrer semestre de 2009 i la resta el primer semestre de 2010), que suposaria un total de 53.375 alumnes participants repartits en un total de 2.000 aules. Preveia la incorporació de 63.836 ordinadors portàtils i formació per a 13.947 docents. Al llarg del curs següent s’hi van anar incorporant alguns centres més. Els recursos anaven destinats, preferentment, als ensenyaments del primer cicle de l’ESO. Aquesta era la recomanació del Departament d’Ensenyament, tot i que la decisió final quedava en mans de cada centre. En alguns es va començar amb grups de segon o tercer d’ESO, i d’altres van decidir incorporar simultàniament més d’un curs al projecte.

El pressupost destinat va ser de 808.750 euros. Les partides econòmiques del programa eduCAT1x1 eren finalistes i anaven destinades a ordinadors per a l’alumnat: es finançava la meitat del cost i l’altra meitat (150 euros) la pagaven les famílies o, en cas de necessitat econòmica, l’ajut cobria el cost íntegre del dispositiu; també s’adquirien ordinadors per al centre escolar, equipament d’aules, PDI, Entorn Virtual d’Aprenentatge (EVA), continguts digitals, adequació de la xarxa Wi-Fi i línies de comunicacions.

A partir del curs 2011-2012 es va iniciar el programa eduCAT2.0 com a continuació del programa eduCAT1x1. Aquest nou programa preveia dues modalitats:

Tecnologies a les aules

•ModalitatA:seguircomesfeiaalprograma1x1(lesfamíliespaguenunapartdelcostdel’ordinador i en són propietàries).•ModalitatB:elcentreéspropietaridel’ordinador.AquestaéslamodalitatpreferidapelDepartament d’Ensenyament.

Durant aquell curs, 84 centres escolars es van acollir a la modalitat B, que implicava aportar un ordinador per cada dos alumnes. La resta de centres van continuar amb la modalitat anterior (modalitat A). Els 22 centres que durant aquest curs 2011-2012 van abandonar el programa van deixar de rebre els ajuts, però aquest fet no implicava explícitament que deixessin de continuar aplicant el model 1x1. El curs 2012-2013 el Ministeri d’Educació de l’Estat espanyol va deixar de subvencionar el programa i es va acabar la dotació econòmica del programa.

2.2. Literatura relacionada

Existeix un debat sobre si l’ús de les TIC a l’aula afavoreix l’aprenentatge o serveix per distreure els estudiants del procés d’aprenentatge. De fet, la revisió d’estudis internacionals presenta resultats dispars, si bé entre els estudis que analitzen programes similars al que nosaltres avaluem predomina la manca d’efecte sobre el rendiment dels estudiants (vegeu-ne una revisió a Escardíbul i Mediavilla, 2016).

Els articles relacionats que avaluïn programes anomenats OLPC (One Laptop per Child), com ara l’eduCAT, són certament escassos. Cal concretar que existeix una recerca molt extensa sobre els impactes a comunitats reduïdes, com les relatives al lloc on van sorgir aquests primers tipus de programes (a Maine, EUA). Habitualment, aquests estudis permeten inferir causalitat (poder afirmar que un programa OLPC causa un determinat efecte en el rendiment dels estudiants) perquè utilitzen assajos aleatoris controlats, és a dir, es fan assignacions aleatòries de subjectes d’investigació que permeten disposar de l’existència d’un grup al qual s’aplica la política (anomenat grup de tractament) i un grup que no rep la política (anomenat de control), que són estadísticament equivalents. Ara bé, el problema és que usualment el nombre d’escoles que s’emprava en aquests experiments era certament escàs. Així, més enllà de l’anàlisi d’aquesta experiència als Estats Units, la literatura és escassa en relació amb els efectes de polítiques educatives que introdueixen portàtils a les escoles i, a més, les tècniques d’anàlisi no són gaire rigoroses. Aquesta situació, però, no va impedir que les iniciatives anessin multiplicant-se (Penuel, 2006). De fet, al voltant del 2011 ja es comptaven uns 40 països amb aquestes iniciatives arreu del món. Segons, Beuermann et al. (2015) s’havien introduït uns 50 projectes fins al 2015.

1312

En relació amb els treballs relacionats amb OLPC, a continuació mostrem evidències, per a l’Amèrica Llatina, d’estudis que van més enllà de mostrar simples relacions estadístiques.

En un estudi per a països en vies de desenvolupament, Carrillo, Onofa i Ponce (2011) avaluen l’impacte d’un projecte al municipi de Guayaquil (Equador) que va proveir assistència per ordinador en matemàtiques i llengües mitjançant tècniques experimentals a estudiants de primària. L’estudi només va trobar un impacte positiu en matemàtiques. Per la seva part, De Melo, Machado i Miranda (2014) avaluen el Pla Ceibal, a l’Uruguai, un programa que proporcionava un ordinador portàtil a tots els alumnes en l’àmbit nacional, i mostren que després de dos anys de la implementació no s’observaren efectes ni en matemàtiques ni en capacitat verbal. Els autors interpreten que la causa d’aquesta no efectivitat va ser la manca de formació dels docents i que els ordinadors es van utilitzar de manera ordinària per cercar informació. Un altre treball que analitza un programa d’introducció d’ordinadors portàtils és el de Cristia et al. (2012). Aquests autors analitzen un programa d’introducció d'ordinadors a 319 escoles públiques en comunitats rurals pobres del Perú. Els autors no troben cap efecte del programa. Ara bé, cal tenir en compte que bona part de les escoles tractades no tenien accés a Internet i que el professorat no va rebre formació.

Finalment, Barrera-Osorio i Linden (2009) van conduir un experiment durant dos anys per tal d’avaluar en 97 escoles colombianes, i un total de 5.201 estudiants, l’impacte de l’aportació de fons privats per a ordinadors a escoles públiques per tal de millorar les competències en llengües. L’estudi no hi troba cap efecte. Els autors assenyalen que malgrat incorporar ordinadors i formar el professorat, en cap moment es van incorporar les noves tecnologies al currículum. De fet, indiquen que la manca d’èxit del programa s’associa al mateix ús dels ordinadors, ja que el programa es va dedicar més a ensenyar els alumnes a utilitzar-los que al mateix ensenyament de matèries.

Fora d’Amèrica, emprant una base de dades relativa a un programa similar a un OLPC per a escoles desafavorides a la Xina, Mo et al. (2013) analitzen 13 escoles de Beijing i mostren que el programa va tenir un impacte positiu quant als coneixements informàtics i l’autoestima dels estudiants i que, alhora, va provocar una disminució de les hores dedicades a mirar la televisió. Val a dir, però, que la mostra és relativament curta (300 estudiants de tercer curs de primària), que tan sols mesura l’efecte sobre la població immigrant i que les connexions a les llars són escasses.

En general observem que els impactes són quasi sempre nuls. En aquest sentit, cal significar que un aspecte clau resulta el tema de la incorporació del professorat a aquestes noves pràctiques docents, que poden mostrar reticències a aplicar les TIC a les aules, ja que la comunitat educativa fa molts anys que empra altres tipus de pràctiques docents (Alonso-Cano et al., 2014). Així, Slater, Davies i Burgess (2012) assenyalen que els professors són molt rellevants en el procés educatiu i que, per tant, qualsevol estudi n’ha de tenir present

Tecnologies a les aules

el paper. Sobre això, Area (2010) indica que la implantació de TIC a les escoles espanyoles ha comportat canvis organitzatius, però no necessàriament una innovació pedagògica en les pràctiques docents. De fet, Sigalés et al. (2008) conclouen que una part del professorat percep que les seves competències docents amb les TIC no els permet aprofitar l’alt grau del potencial educatiu d’aquestes tecnologies; de fet, alguns no creuen en l’ús de les TIC com a eines per a l’estudi i l’aprenentatge.

Hi ha estudis relacionats col·lateralment amb els programes OLPC. En primer lloc, algunes recerques se centren en la utilització de programari específic en assignatures concretes. Sobre això, en l’anàlisi d’un experiment que introduïa professors addicionals per als estudiants que anaven endarrerits, a quart curs de primària a Mumbai i Vadodara (Índia), Banerjee et al. (2007) evidencien que l’assistència per ordinador en matemàtiques va incrementar el rendiment acadèmic dels estudiants. Alhora, Barrow, Markman i Rose (2009), per a tres districtes urbans d’EUA, troben impactes positius de la utilització de programari en àlgebra; aquests impactes són superiors a les classes més nombroses i en les que presentaven més absentisme. Contràriament, Campuzano et al. (2009) evidencien impactes mixtos mitjançant l’ús de diferents programaris un cop es fa el seguiment d’aquests programaris en un segon any. Finalment, Rouse i Krueger (2004) van estudiar l’impacte als Estats Units d’un conegut programa per millorar les competències en llengües (anomenat Fast ForWord) en estudiants amb dificultats d’aprenentatge. Els autors mostren que si bé podrien haver millorat determinats aspectes relacionats amb els coneixements lingüístics, no van suposar tampoc una millora rellevant en l’assimilació d’habilitats de lectura.

En segon lloc, hi ha estudis que centren l’atenció en l’impacte de programes que proveïen l’ús d’ordinadors a les llars dels alumnes. En aquest sentit, Malamud i Pop-Eleches (2011) assenyalen que un programa a Romania va provocar efectes negatius sobre el rendiment educatiu dels estudiants, malgrat va millorar-ne les competències en l’ús dels ordinadors. Vigdor, Ladd i Martínez (2014) també evidencien impactes negatius a escoles públiques de Carolina del Nord. Malgrat això, Fairlie i Robinson (2013) no van evidenciar cap mena d’impacte significatiu en el rendiment acadèmic en matemàtiques i competències verbals a Califòrnia, com tampoc Angrist i Lavy (2002), en el cas d’Israel. Finalment, Beuermann et al. (2015) evidencien un increment en l’ús de les eines tecnològiques a les llars de 14 escoles a Lima (Perú), amb un perfil baix de rendiment, un cop es van proveir 1.000 ordinadors aleatòriament; tanmateix, els professors van constatar una certa tendència que els esforços dels estudiants decaiguessin alhora que els coneixements no van rebre cap mena d’impacte per la utilització d’aquestes eines.

Finalment, altres estudis se centren en la despesa en noves tecnologies. Machin, McNally i Silva (2007) estudien l’impacte de la despesa en tecnologia al Regne Unit en el rendiment acadèmic de l’alumnat aprofitant variacions en l’aplicació dels patrons de finançament segons el districte escolar al qual pertany el centre. Els autors detecten un impacte positiu en

15

Base de dades

14

les puntuacions de ciències i anglès, però no pas en matemàtiques. Així mateix, Leuven et al. (2007) avaluen un programa de suport per comprar ordinadors i programes informàtics a escoles desfavorides d’educació primària als Països Baixos i no constaten cap efecte sobre els resultats dels estudiants en llenguatge i matemàtiques. D’altra banda, Goolsbee i Guryan (2006) assenyalen que una inversió pública destinada a incrementar les connexions a Internet, a Califòrnia, va ser realment efectiva, ja que va beneficiar escoles d’un elevat grau de complexitat, però tampoc no va alterar el rendiment acadèmic dels estudiants.

En resum, l’impacte dels programes d’implantació de les TIC en el procés d’aprenentatge no és concloent. Ara bé, en programes tipus OCPC, la majoria d’estudis mostren la manca d’efecte sobre el rendiment dels estudiants. Així mateix, es constaten més resultats positius en l’aprenentatge dels estudiants dels programes de suport TIC (software específic, en especial) desenvolupat a les aules i més impactes negatius dels programes centrats en actuacions a les llars dels alumnes. Així mateix, s’observa la necessitat d’implicar el professorat en qualsevol programa d’implantació de TIC perquè tingui èxit.

Ara bé, a llarg termini, però, cal tenir present que la introducció d’ordinadors podria tenir conseqüències positives en el rendiment educatiu a la universitat (Fairlie i London, 2012) o al mercat de treball (Oosterbeek i Ponce, 2011).

3. Base de dades

El nombre de centres escolars que ofereixen estudis de secundària obligatòria són 1.057. Per a la nostra recerca, alguns d’aquests centres no han estat considerats, atès que no són estrictament centres de secundària (sinó que proporcionen formació a hospitals, en l’àmbit de la justícia, etc.). A continuació, informem de les dades per a la cohort de 2010. Aquest és el segon any d’implantació del programa eduCAT, però el primer en què s’han incorporat ja la majoria de centres participants.

Després del cribratge de centres necessari, esmentat anteriorment, van quedar 1.029 centres, dels quals un total de 604 (el 59%) van participar en el programa eduCAT, mentre que 21 van abandonar el programa en algun moment. En relació amb la titularitat del centre, 519 són públics (59,9% del total de centres). Creuant les dades de participació al programa i la titularitat del centre escolar, observem que el 47% dels centres de titularitat privada i un 70% dels de titularitat pública van participar en el programa eduCAT. Del total de centres que no van abandonar el programa (583), 501 corresponen a la modalitat A (la inicial) i 82 escoles es van acollir a la modalitat B. El nombre de centres escolars que es van afegir al programa durant el curs acadèmic 2009-2010 va ser de 231, mentre que la resta ho van fer durant el curs següent (2010-2011).

El Departament d’Ensenyament de la Generalitat de Catalunya classifica els centres escolars segons el grau de complexitat, que es defineix en funció de si es troben en entorns socials i econòmics desafavorits. De fet, el Departament classifica les escoles de complexitat màxima en funció, entre d’altres, d’indicadors de context socioeconòmic desafavorit en l’entorn on s’ubica el centre educatiu, el nivell socioeconòmic i professional de les famílies dels alumnes, el nombre d’alumnes amb necessitats educatives específiques i l’alumnat nouvingut segons l’àrea geogràfica de procedència. Així doncs, per al total de centres dels quals coneixem el grau de complexitat, aquesta és la distribució: alt (140), mitjà (719) i baix (168).

A continuació, mostrem amb el diagrama següent quina va ser la implementació del programa eduCAT i com va afectar les diferents cohorts sobre les quals disposem d’informació:

Diagrama 1. Implementació del programa eduCAT i afectació en cohorts

2008 2009 2010 2011 2012 2013 2014 2015 2016

1a cohort3a cohort

4a cohort

2a cohort

16 17

Base de dades

3.1. Descriptius dels resultats a les proves d’avaluació de competències

Les proves del Consell Superior d’Avaluació del Sistema Educatiu de les quals disposem d’informació es corresponen als cursos següents de sisè de primària: 2008-2009, 2009-2010 i 2010-2011. I les proves corresponents a aquests alumnes quan arriben a quart d’ESO, corresponen als cursos: 2012-2013, 2013-2014 i 2014-2015. Les proves fan referència a una agregació de diferents competències assolides en llengües (català, castellà i anglès) i matemàtiques. No obstant això, en el curs 2008-2009 els alumnes de sisè de primària no van ser avaluats de les competències de llengua anglesa. Tot seguit, detallem breument com són aquestes proves realitzades al final de la primària i la secundària.

Sisè de primària

L’objectiu principal de la prova és comprovar quin és el nivell d’assoliment de les competències bàsiques de l’alumnat quan acaba l’educació primària. La prova està formada per quatre quaderns: competència lingüística en llengua catalana, competència lingüística en llengua castellana, competència lingüística en llengua estrangera i competència matemàtica. L’alumnat de la Vall d’Aran té un quadern de competència lingüística en llengua occitana de l’Aran.

Els quaderns de competència lingüística en llengua catalana, castellana i llengua occitana de l’Aran avaluen la comprensió lectora mitjançant textos, preguntes, un dictat i una redacció. El quadern de competència lingüística en llengua estrangera (anglès o francès) avalua la comprensió oral, a més de la comprensió lectora i la capacitat d’escriure. El quadern de competència matemàtica conté activitats que parteixen d’estímuls o situacions problema que impliquen el domini del llenguatge i del raonament matemàtic, així com de diferents tipus de contingut del currículum de l’àrea de matemàtiques.

La competència lingüística dona un pes del 60% a la comprensió lectora i el 40% a l’expressió escrita. En el cas de la llengua estrangera la comprensió lectora representa un

Per avaluar l’eficàcia del programa hauríem de disposar de nivells de competències abans de començar la secundària i en acabar-la, que és el nivell educatiu en què es va implementar. Justament, aquesta és la situació en què ens trobem, ja que disposem de dades relatives al nivell de competències de l’alumnat tot just acabar la primària (sisè de primària) i en el darrer any de la secundària (quart d’ESO). A banda d’aquesta informació relativa al nivell de competències, tan sols disposem del gènere, l’edat i l’escola en què cursen els estudis de secundària. Pel que fa al centre escolar disposem d’algunes variables addicionals, com ara la mida de l’escola, el grau de complexitat i el municipi on radiquen.

50% de la puntuació final; l’expressió escrita, un 15% i la comprensió oral, un 35%. En la prova matemàtica les diferents àrees avaluades representen un percentatge força similar en la nota final.

La puntuació es desenvolupa en una escala de 0 a 100 punts. Els resultats són força estables en el temps (des que es van iniciar les proves, el 2009).

Quart d’ESO

L’objectiu principal de la prova és mesurar el grau d’assoliment de les competències i els coneixements bàsics de l’alumnat quan acaba l’educació obligatòria. S’avaluen les competències comunicatives en llengua catalana i castellana, llengua estrangera (majoritàriament anglès, però també francès en alguns casos), així com la competència matemàtica.

Com en el cas de l’avaluació a primària, la competència lingüística dona un pes del 60% a la comprensió lectora i el 40% a l’expressió escrita. En canvi, en el cas de la llengua estrangera la comprensió lectora representa un 40%, i l’expressió oral i escrita, un 15%. En la prova matemàtica les diferents àrees avaluades representen els percentatges següents: numeració, càlcul i espai, i forma i mesura, un 50%; canvi, relacions i estadística, un 50%. La puntuació també es desenvolupa en una escala de 0 a 100 punts i és força estable en el temps, després d’una pujada a partir del segon any de les proves (es van iniciar el 2012).

Per a una extensiva explicació de com es fa el càlcul de les diferents puntuacions cal adreçar-se a qualsevol dels extensos informes que elabora el Consell Superior d’Avaluació del Sistema Educatiu per a cadascuna de les proves (vegeu CSASE, 2016).

A continuació mostrem descriptius per a cadascuna de les cohorts (2008-2009 vs. 2012-2013; 2009-2010 vs. 2013-2014; 2010-2011 vs. 2014-2015, així com 2011-2012 vs. 2015-2016). Mostrarem els resultats de forma gràfica, de manera que es podrà apreciar la distribució de les puntuacions originals així com l’heterogeneïtat. Farem comparacions entre diferents distribucions: diverses competències dins el mateix curs o la mateixa competència a primària en comparació amb la puntuació obtinguda a secundària. Per poder dur a terme aquestes comparatives és necessari estandarditzar les puntuacions.1 En els resultats estandarditzats, els valors a prop de zero impliquen que l’alumne va obtenir una puntuació propera a la mitjana de la seva cohort, mentre que els valors positius indiquen que es trobava per sobre de la puntuació mitjana un determinat nombre de vegades la desviació estàndard.

1. Una puntuació s’estandarditza de la manera següent: al valor individual de la competència, s’hi resta el valor mitjà de la cohort en aquesta competència i es divideix per la seva desviació estàndard (mesura de dispersió absoluta). D’aquesta manera, s’obté una puntuació sense unitats de mesura que permet la compa-rabilitat amb altres puntuacions i amb altres distribucions de resultats.

18 19

Base de dades

La millor manera que creiem que hi ha de descriure gràficament la informació és mostrant quina és la distribució dels resultats, mitjançant l’estimació de kernels2 per evidenciar les freqüències (densitats de les distribucions que no és equiparable a freqüències). Evidentment, aquesta variable, tal com succeeix amb moltes altres del nostre entorn socioeconòmic, mostra un elevat grau d’asimetria (el mateix passa amb els salaris, per exemple). És a dir, presenten cues llargues de les distribucions i pocs valors concentrats en les puntuacions superiors.

2. L’estimació no paramètrica de funcions de densitat, mitjançant el mètode Kernel, és una manera d’estimar una funció de densitat que no segueix una distribució coneguda (normal, binomial, exponencial, Poisson, etc.). El que fa és construir una funció de densitat (forma de la distribució) al voltant dels valors mostrals, per tant, dibuixa la forma a partir de les freqüències que observa al voltant de cada valor de la distribució.

3.1.1. Cohort 2008-2009

La figura 1a mostra les distribucions per a les puntuacions obtingudes a sisè de primària per un total de 59.063 alumnes, que van concloure la primària durant el curs 2008-2009. Les dades relatives a aquesta cohort per al final de la secundària presenten un total de 57.603 alumnes en el curs 2012-2013. S’observa que les distribucions es troben centrades en diferents valors segons la prova de competències de què es tracti. A partir del primer gràfic sembla que les puntuacions de matemàtiques superen la resta i que els pitjors resultats són en les de castellà. De fet, la nota mitjana va ser, en una escala de 0 a 100: matemàtiques (78,02), català (76,84) i castellà (74,65). Comprovant si existeixen diferències estadísticament significatives entre aquests valors, la resposta seria positiva. És a dir, els nivells de competències serien diferents segons la matèria analitzada. Això implica que quan s’avalua l’impacte del programa, cal distingir en funció de la competència.

Malgrat això, aquestes puntuacions no són estrictament comparables, ja que són exàmens diferents amb distribucions diferents (per tant, mitjanes i desviacions distintes). Per aquest motiu, hem de comparar les distribucions dels valors estandarditzats, ja que cadascuna de les puntuacions presenta mitjanes i desviacions estàndard diferents (mesura de dispersió absoluta de les puntuacions). En aquest cas, s’observa en la figura 1b que la distribució de matemàtiques encara es desvia positivament si es compara amb la resta de matèries.

Posteriorment, calculem la correlació de Pearson entre les diferents puntuacions a nivell individual. Cal recordar que aquesta mesura de correlació ens indica el grau d’associació entre diferents variables. Valors propers a la unitat indiquen una elevada correlació, és a dir, qui ho fa bé en una matèria ho fa bé en l’altra.

Valors per microdades propers a 0,7 ens indiquen que els graus de correlació/associació són elevats malgrat que es troben encara distants de la unitat. Els càlculs per a les dades poblacionals d’aquesta cohort són elevats entre castellà i català (0,76), mentre que la relació

entre les llengües i les matemàtiques és més feble: castellà-matemàtiques (0,63) i català-matemàtiques (0,66). Per tant, els alumnes que tenen una alta competència en un idioma la tenen en un altre, mentre que no han de tenir-la necessàriament en matemàtiques.

La figura 1c també ens indica, mitjançant una anàlisi descriptiva preliminar, que existeixen diferències en funció del sexe de l’alumnat. En general, els nois mostren més heterogeneïtat en les diferents proves excepte en la de matemàtiques (com s’observa en el gràfic, l’interval de puntuacions és menor) i la seva puntuació mediana (línia recta dins la caixa) se situa sempre per sota de la que obtenen les noies, a excepció també de la competència de matemàtiques.

Finalment, calculem les correlacions entre aquestes puntuacions agregant les observacions en l’àmbit de centre escolar (figura 1d). El gràfic mostra cercles amb valors anonimitzats pels centres amb una dimensió ponderada per a cadascun en funció de la dimensió del centre escolar de primària (nombre d’alumnes que es van presentar a les proves). El nombre de dades és sensiblement menor (2.072 centres de primària). Els valors de les correlacions obtinguts assenyalen que els centres que treuen puntuacions mitjanes elevades en una de les matèries també ho fan en la resta de les competències avaluades: castellà i català (0,84), castellà-matemàtiques (0,73) i català-matemàtiques (0,80).

Figura 1. Distribucions de les puntuacions de primària: cohort que va iniciar ESO el curs 2008-2009

1a. Puntuacions 6è primària 1b. Puntuacions estandarditzades 6è primària

0.0

1.0

2.0

3Fu

ncio

ns d

ensi

tat 2

009

0 20 40 60 80 100

Matemàtiques 2009 Castellà 2009 Català 2009

0.1

.2.3

.4.5

Func

ions

den

sita

t 200

9

−6 −4 −2 0 2

Matemàtiques 2009 Castellà 2009 Català 2009

20 21

Base de dades

A continuació calculem les distribucions de resultats de les diferents proves d’avaluació per aquesta mateixa cohort un cop han arribat al curs final de la secundària obligatòria. Contràriament a les distribucions estimades per al 2009, les obtingudes per al 2013 mostren diferències ostensibles (figura 2a). Mentre que les avaluacions de competències de castellà i català presenten distribucions similars a les anteriors, les de matemàtiques i anglès presenten una forma que constitueix distribucions platicúrtiques, és a dir, molt menys apuntades que la distribució normal i presenten valors força similars de densitat al llarg de la distribució. Un cop s’han normalitzat (figura 2b), se soluciona ostensiblement el problema d’assimetria, però sembla que les dues distribucions (anglès i matemàtiques) són bimodals (presenten dos valors modals) i, per tant, implicarien diferències extremes en aquestes avaluacions i crearien dos grups d’alumnat molt diferenciats.

Aquestes disparitats es corroboren mitjançant la visualització dels diagrames de caixa (figura 2c), en què podem observar que les caixes són ostensiblement més grans per a aquestes dues avaluacions de competències (matemàtiques i anglès). D’altra banda, aquests gràfics tornen a evidenciar que les noies treuen puntuacions mitjanes més elevades en comparació amb els nois a totes les avaluacions, a excepció de les proves de matemàtiques.

Si bé les correlacions a nivell agregat continuen sent elevades (figura 2d), cosa que implica que les escoles que treuen un rendiment superior en alguna matèria ho facin en totes, individualment les correlacions són ara menors en alguns casos. Així, la puntuació de castellà i de matemàtiques correlaciona en menor grau (0,59) i la resta es troben just per sobre de 0,63, a excepció de la correlació entre català i castellà (0,71), que presenta correlacions més elevades.

Nota: elaboració pròpia.

2040

6080

100

Noi Noia

excludes outside values

Català Castellà Matemàtiques

123

4

56 7

89 10

1112

13

1415

16

17

18

1920

2122

23 2425

26

2728 29

30

31

32

33

34

35363738 39

40

41

42

434445

4647

48

495051

5253

545556

5758

59

6061

6263 64

656667

6869

70

7172

7374

7576

77

78

79

80

81

82 8384

85

8687

88

89

90

91

92

93

94

95

96

97

98

99100

101

102

103

104

105

106107

108

109

110111

112113 114115

116

117

118

119

120

121122

123124

125

126127

128129 130131132

133134135

136

137 138139140

141

142143

144

145146

147

148 149

150151

152153154

155

156157

158159160

161162

163164165 166

167

168169

170171

172173

174

175176

177178179180

181

182

183184 185186

187

188

189

190

191

192193194 195196197

198

199

200

201

202203204205206

207

208

209210

211

212

213

214

215216

217

218

219

220

221

222

223224

225226

227

228229 230231232233

234235236

237238239240

241

242243244

245

246

247

248

249

250

251252

253254

255256257

258259

260

261

262263

264265266267

268269270 271

272

273274275276

277

278

279280

281

282283284

285286

287

288

289

290

291292

293294

295 296

297

298 299

300301

302303

304305

306

307308

309

310

311

312

313

314315316

317318

319

320

321

322

323324

325

326

327

328

329330331

332333

334335

336

337338

339

340

341

342

343

344

345346347348349350

351

352353

354

355356

357358359

360

361 362

363

364

365366367

368369 370

371372

373 374

375376

377378

379

380

381

382

383384385

386

387

388

389

390

391

392

393

394

395396

397

398

399400

401

402

403 404

405

406407 408409410 411412 413

414

415

416417

418419

420

421422

423424

425

426

427428429

430431

432

433

434435436

437

438

439

440441

442

443

444

445446

447448 449

450451 452 453

454455

456

457

458

459

460

461

462463

464

465

466467

468

469470

471472

473

474 475

476

477

478

479480

481

482

483

484

485

486

487488489

490491492

493494

495

496

497

498499

500501502503 504

505

506507

508

509

510511

512513514

515

516517

518

519520521

522523524

525526

527

528 529

530531

532

533

534

535536 537

538539

540541542

543544

545

546

547

548

549550

551

552 553

554

555

556557

558

559560

561

562

563 564565

566

567568569 570

571

572573

574

575

576577

578

579

580

581

582

583584

585586 587588

589

590

591592

593

594

595

596

597598599

600

601

602

603604605

606

607

608

609

610611

612613 614615

616

617

618619620

621

622

623

624625

626627

628629

630

631

632 633

634

635636

637

638

639

640 641

642643

644

645

646647648

649

650651

652

653

654 655656657

658659

660661662

663

664665666

667

668

669

670

671

672673

674675676

677

678

679

680

681682

683

684685

686687

688689

690691692

693

694695 696

697698

699700

701702

703704

705706

707708709 710

711712713

714

715

716717

718

719

720

721

722

723

724725

726727

728729730

731732

733734

735736

737

738

739

740

741

742

743744745

746

747

748749

750751752

753 754

755

756

757758

759

760761

762

763764

765766

767

768

769

770

771772773

774

775776

777778779

780

781

782783

784

785786

787

788

789790

791

792793794

795 796797

798799

800

801 802803

804805

806

807

808 809

810

811

812 813814

815816817

818819

820821

822

823824825

826 827828829

830831832833

834

835

836837

838

839

840

841842

843

844

845

846

847

848849

850

851

852853

854

855

856

857858 859

860861

862863864

865

866

867868

869870

871

872

873

874875

876877

878

879

880

881

882

883884885

886887

888

889

890

891 892893 894

895

896897898 899

900

901902903

904 905

906

907

908909910

911

912

913914

915

916

917

918

919

920921

922923

924

925

926

927

928 929930931

932933

934935 936

937

938

939

940941

942943 944

945

946947

948

949

950951

952

953

954955

956

957958959

960

961

962

963

964

965

966

967

968969970

971972

973974

975976

977

978979

980

981982

983

984985 986

987988989990991

992

993

994

995

996997

998

999

10001001

1002

1003

1004

100510061007

1008

1009

1010

1011

1012

10131014

1015

1016

1017 1018

1019

1020 1021

1022

1023

1024

1025102610271028

1029

1030

1031

10321033

10341035

103610371038

1039

104010411042

10431044

1045

10461047

1048

1049

10501051

10521053

1054

1055

1056

1057

1058

10591060

10611062

1063

1064

106510661067

1068

1069

10701071

1072

1073

10741075 10761077

10781079 1080

1081

10821083

1084

1085

1086

1087

10881089

1090

1091

1092

1093

1094

1095

1096

10971098

1099

110011011102

1103

1104

1105

1106

11071108

11091110

11111112

1113

1114

11151116

1117

1118

111911201121

1122

1123

112411251126

1127

1128

1129

113011311132

1133

11341135

11361137

1138

1139

114011411142

114311441145

1146

1147

1148

114911501151

1152

11531154

1155

1156

11571158

1159

11601161

11621163

1164

1165 1166

1167

1168

116911701171

11721173

11741175

1176

1177

1178

1179

11801181118211831184

1185

1186

11871188

1189

119011911192

1193

1194

1195

1196

1197

1198

1199

1200

1201120212031204

1205

1206120712081209

121012111212

12131214

121512161217

12181219

1220

12211222

122312241225

1226

12271228

12291230

1231

12321233

1234

1235

1236

12371238

1239

1240

12411242

12431244

1245 12461247

1248

12491250

1251

1252

1253

1254

1255

1256

12571258

1259

12601261

12621263

1264 1265

1266

12671268

12691270

1271127212731274

1275

1276

1277

127812791280

12811282

1283

1284

12851286

12871288

1289

12901291

12921293 1294

1295

1296

12971298

1299 13001301

1302

130313041305

1306

1307

1308

13091310

1311 1312

1313 1314

1315

1316

1317

1318

13191320

13211322

1323

13241325

13261327

13281329

1330

133113321333

1334 1335133613371338

1339

1340

1341

134213431344

1345

1346 13471348 1349

1350

1351135213531354

1355

1356 1357

1358

1359

1360 1361

1362

13631364

1365

1366

13671368

136913701371

1372

1373

13741375

1376

1377

1378

1379

1380 1381

1382

138313841385

13861387

13881389

1390

1391

1392

1393

13941395

13961397

139813991400

1401 1402

1403

1404

1405

1406

1407

14081409

141014111412

1413

1414

14151416

141714181419

1420

14211422

1423

1424 14251426

1427

1428

1429

14301431

1432

1433

1434

1435

1436

1437

1438

1439

1440

14411442

1443

144414451446

1447

14481449

14501451

14521453

14541455

145614571458

1459

1460

1461

14621463

14641465

1466

1467

1468

14691470

147114721473

1474

14751476

147714781479

1480

14811482

14831484

1485

148614871488

1489

1490

1491

1492

14931494

149514961497

1498

1499

1500

1501

1502

1503

15041505

15061507

1508

1509

15101511

1512

1513

1514

1515

15161517

151815191520

1521

1522

15231524

1525

1526

1527

15281529

15301531

1532

1533

1534

1535

1536

1537

15381539

1540

1541

15421543

15441545

15461547 154815491550

15511552

1553

1554

15551556

1557

1558

1559 156015611562

15631564

1565

1566

1567

1568

1569

15701571

157215731574

15751576

1577

1578

1579

1580

1581

1582

1583

1584

1585

1586

15871588

1589

1590

1591

1592

1593

1594

15951596

1597

1598

1599

1600

16011602

160316041605

16061607

1608

1609

1610

1611

1612

16131614

16151616

161716181619

1620 1621

1622

1623

1624

16251626

1627

16281629

1630

163116321633

1634

16351636 1637 16381639

1640

1641

164216431644

16451646

1647

1648

1649

165016511652

16531654

1655

1656

16571658

1659

16601661

1662

16631664

16651666

1667

16681669 1670

1671

1672

1673

16741675

1676

16771678

1679

1680

1681

1682

1683

1684

1685

1686

16871688

16891690

16911692

169316941695

1696

169716981699

1700

1701

17021703

1704

1705

1706

17071708

170917101711

1712

1713

1714 1715

1716

1717

1718

1719

1720

17211722

1723

17241725

17261727

1728

1729

1730

17311732

1733

1734

17351736

1737

173817391740

17411742

1743

1744

1745

174617471748

1749

17501751

1752

1753

1754

1755 1756

1757

1758

17591760

1761

1762

1763

1764

1765

1766

1767

17681769

17701771 1772

1773

1774

1775

1776

1777

1778

17791780 1781

17821783 1784

17851786

1787

1788

1789

1790

1791

17921793

179417951796

179717981799

1800

180118021803

1804

180518061807

1808

18091810

1811

1812

18131814

18151816

18171818

181918201821

18221823

1824

1825

1826

1827

1828 1829

1830

1831

1832

1833

1834

1835

1836

1837

1838

1839 18401841

18421843

1844

1845

1846

18471848

1849

185018511852 1853

1854

185518561857

18581859

1860

18611862

1863

1864

1865

1866

1867

1868

1869

18701871

1872

1873

18741875187618771878

1879

1880

1881

1882

1883

1884

1885

1886

1887

18881889

18901891

1892

18931894

18951896

1897

1898

1899

19001901

1902

19031904

1905

1906

1907

1908

1909

1910

1911191219131914

19151916

1917

1918

19191920 19211922

1923

1924

192519261927

1928

192919301931

1932

1933

1934

19351936

19371938 1939

1940

1941

1942

19431944

1945

1946194719481949

1950

1951

1952

19531954

1955

19561957

1958

195919601961

1962

19631964

196519661967

19681969

1970

1971

1972

1973

19741975

1976

1977

1978

1979

1980

19811982

1983

1984

1985

1986

19871988

1989

199019911992

1993

1994

1995

1996

1997

19981999

20002001

2002

2003

2004

2005

2006

20072008

20092010

2011

2012

2013

2014

2015

2016

201720182019

2020

2021

2022

20232024

2025

2026

2027

2028

2029

2030

2031

2032

2033

2034

2035

2036

2037

2038

2039

20402041

20422043

2044

2045

20462047

204820492050

20512052

2053

2054

205520562057

2058

20592060

2061

2062

2063

2064

2065

20662067

2068

20692070

2071

2072

2040

6080

100

Cat

alà

20 40 60 80 100Matemàtiques

1c. Puntuacions 6è primària en funció del sexe 1d. Correlació nivell agregat centre de primàriaFigura 2. Distribucions de les puntuacions de secundària: cohort que va iniciar ESO el curs 2008-2009

2a. Puntuacions 4t ESO 2b. Puntuacions estandarditzades 4t ESO

0.0

1.0

2.0

3.0

4Fu

ncio

ns d

ensi

tat 2

013

0 20 40 60 80 100

Anglès 2013 Matemàtiques 2013Castellà 2013 Català 2013

Func

ions

den

sita

t

0.1

.2.3

.4.5

Func

ions

den

sita

t 201

3

−6 −4 −2 0 2


2c. Puntuacions 4t ESO en funció del sexe 2d. Correlació nivell agregat centre de secundària


3.1.2. Cohort 2009-2010

Per a la segona cohort, la dels que van acabar la primària el curs 2009-2010, disposem d’informació per a un total de 59.329 alumnes a primària i un total de 57.954 alumnes que van finalitzar la secundària durant el curs 2013-2014. Per a aquesta cohort no mostrem gràfics que resulten redundants, atès que certs patrons es repeteixen. Malgrat això, sí que mostren les distribucions de les puntuacions.

Especial atenció mereix la distribució dels resultats d’anglès al final de la primària, atès que va ser la primera vegada que es va avaluar i, per tant, cal observar si la distribució torna a ser bimodal com en el cas de la secundària per a la cohort anterior. Els resultats de la figura

020

4060

8010

0

Noi Noia

excludes outside values

Català Castellà Anglès Matemàtiques

1

2

3

4 56

7

8

9

10

1112

13

14

15

1617

18

19

20

21

22

23

24

25

26

27

28

2930

31

32

33

34

35

36

373839

40

4142

43

44

4546

47

4849

50

51 525354

5556

57

58

59

60

61

62

63 64

6566

67

686970

71

72

73

74

75

7677

78 79

808182

8384

85

8687

88

8990

91 9293

94

95

96

9798

99

100

101

102

103 104

105

106

107108

109

110111112

113

114115

116

117

118

119

120

121122

123

124

125

126127

128129130131

132133

134135

136 137

138139

140 141

142

143

144145146

147

148 149

150

151

152

153

154

155

156

157

158

159

160

161

162163

164

165

166

167168

169

170

171172173

174

175

176

177178

179

181182183

184

185

186

187188

189

190

191192193

194

195196

197

198

199

200

201

202203

204205

206207

208

209210

211

212

213

214

215216217

218

219

220

221222223

224

225226

227

228

229 230231 232

233

234

235

236237238

239240241

242243244

245

246

247

248

249

250251

252

253254

255256

257

258

259260

261

262263

264

265

266267268 269 270

271

272

273

274 275276

277278 279

280

281282283 284

285286

287

288289

290

291

292

293

294295 296

297

298299

300 301302303

304

305

306

307

308

309310311

312

313

314

315316

317318 319320321

322

323324

325

326327328

329

330

331

332333

334

335336

337

338339

340

341

342343344345

346 347348

349

350351 352

353

354

355356

357358

359360

361

362

363364

365366

367

368369

370371

372

373374 375376

377

378

379380381

382383

384

385

386

387

388389

390

391392

393

394

395

396397

398

399

400401

402

403

404

405

406

407408

409

410 411

412 413

414

415

416

417

418

419

420

421

422

423

424

425

426

427

428

429

430

431432433434

435

436

437

438

439

440

441

442443 444

445

446

447448

449

450

451452 453

454

455456

457

458459

460

461 462

463

464465

466

467

468

469

470

471

472

473

474475

476477

478 479

480481

482

483

484

485

486

487

488

489

490491

492

493

494

495496

497

498

499 500

501

502

503

504

505

506

507508

509

510511

512

513

514515516

517518

519

520

521

522

523

524525

526

527

528529530 531532 533

534

535

536

537

538

539

540

541

542543544545

546

547

548549550

551

552

553 554

555

556557558

559 560

561562

563564

565

566

567

568569

570

571

572573

574

575

576

577

578

579

580

581582

583

584

585586

587

588

589590591

592593594

595

596

597

598599

600

601602603 604

605

606

607

608

609

610

611

612

613614

615

616617

618619

620621

622

623

624

625

626

627

628

629

630

631

632

633

634

635636

637

638639

640

641642

643

644

645 646647

648649

650651

652653654

655

656657658659

660

661662663

664 665

666

667

668

669

670

671672 673674

675

676

677

678

679

680

681

682

683

684685

686

687

688

689

690

691

692

693

694

695

696

697

698

699

700

701702

703

704

705

706

707

708

709

710

711712

713714

715

716717

718

719

720

721

722

723

724

725 726

727

728

729

730 731

732

733

734735 736

737738

739740 741

742

743744745 746747 748

749750

751

752

753

754755

756

757758

759

760

761762

763

764765766 767768

769

770

771

772

773774

775

776777

778779780

781

782

783

784

785

786787

788

789

790 791

792

793

794795

796797798

799800

801802

803

804

805

806

807

808

809

810

811

812

813

814815816

817

818819

820

821

822

823824

825826

827828

829830

831832

833

834835

836

837

838

839 840

841

842

843

844845846

847

848

849

850

851

852

853854

855

856857

858

859

860861

862

863

864865866867

868869

870

871

872

873

874

875876

877878

879880881

882883

884

885

886887

888 889890 891

892

893

894

895

896

897

898

899

900901

902903

904

905

906907

908

909

910

911912913914

915916

917

918

919

920

921

922

923

924

925

926

927

928

929930

931932

933 934

935

936

937

938939 940

941942 943

944 945

946947948

949

950

951952

953954

955956

957

958

959

960961

962963964

965966

967968

969

970971

972973

974

975976977

978

979980

981982

983

984

985

986987

988

989

990

991992

993

994

995

996

997

998999

1000

1001

1002

1003

1004

1005

1006

1007

1008

1009

4060

8010

0C

atal

à

20 40 60 80 100Matemàtiques

22 23

Base de dades


3c. Puntuacions 4t ESO 3d. Puntuacions estandarditzades 4t ESO

3.1.3. Cohort 2010-2011

Per a la tercera cohort considerada, la dels que van acabar la primària el curs 2010-2011, disposem d’informació per a un total de 62.289 alumnes a primària i un total de 59.967 alumnes que van finalitzar la secundària el curs 2014-2015. Per a aquesta cohort tampoc no mostrem gràfics que resultin repetitius. De nou s’observa que els nivells de competències assolits són força diferents a la secundària en comparació amb la primària. Alhora, les

0.0

1.0

2.0

3Fu

ncio

ns d

ensi

tat 2

010

0 20 40 60 80 100


0.2

.4.6

Func

ions

den

sita

t 201

0

−6 −4 −2 0 2


0.0

1.0

2.0

3.0

4Fu

ncio

ns d

ensi

tat 2

014

0 20 40 60 80 100


0.1

.2.3

.4.5

Func

ions

den

sita

t 201

4

−6 −4 −2 0 2



Figura 3. Distribucions de les puntuacions de primària/secundària: cohort que va iniciar ESO el curs 2009-2010

3a ens indiquen que torna a evidenciar-se una certa bimodalitat, que no existeix a la resta de matèries a la primària. El fet es corrobora en la figura 3b, estandarditzant els valors i, de nou, les puntuacions de secundària de matemàtiques tornen a presentar bimodalitat com en el cas de la cohort anterior. Els patrons tornen a repetir-se a secundària (figures 3c i 3d).


competències assolides en anglès i matemàtiques tornen a evidenciar una certa bimodalitat que no era present a la primària (vegeu la figura 4).

Figura 4. Distribucions de les puntuacions de primària/secundària: cohort que va iniciar ESO el curs 2010-2011

0.1

.2.3

.4.5

Func

ions

den

sita

t 201

1

−6 −4 −2 0 2


0.0

1.0

2.0

3.0

4Fu

ncio

ns d

ensi

tat 2

011

0 20 40 60 80 100



0.0

1.0

2.0

3.0

4Fu

ncio

ns d

ensi

tat 2

015

0 20 40 60 80 100


0.1

.2.3

.4.5

Func

ions

den

sita

t 201

5

−6 −4 −2 0 2



3.1.4. Cohort 2011-2012

Per a la darrera de les cohorts analitzades, els estudiants que van acabar la primària el curs 2011-2012, disposem d’informació per a un total de 65.736 alumnes a primària i un total de 61.270 alumnes que van finalitzar la secundària el curs 2015-2016. De nou, no mostrem resultats gràfics redundants. S’observa que els nivells de competències assolits són força heterogenis si es compara la secundària amb la primària. Alhora, les competències assolides en anglès i matemàtiques tornen a evidenciar una certa bimodalitat que tan sols s’havia observat en anglès a la primària (vegeu la figura 5).

24 25

Base de dades



3.2. Altres comparatives rellevants

La figura 6 mostra les distribucions de resultats agregats en l’àmbit de centre escolar de secundària per les competències assolides a quart d’ESO. Mentre que les puntuacions de català són bastant similars, malgrat que empitjoren per un cert nombre d’escoles situades al voltant de la mitjana per a la cohort del 2015, en relació amb els anys anteriors, els resultats de castellà tendeixen a experimentar el contrari. És a dir, la distribució del 2015 sembla que es desplaça cap a la dreta, amb la qual cosa mostra una millora en les puntuacions agregades. En relació amb l’anglès, s’observen diferències entre les diferents distribucions pertanyents a les diferents cohorts analitzades, de manera que es tendeix a la bipolaritat i a millorar en els cursos acadèmics més recents. Finalment, les distribucions relatives als resultats de matemàtiques, agregades en l’àmbit de centre escolar, empitjoren per a les cohorts que fan els exàmens el 2015 i 2016, tot i que cal assenyalar que mostra més homogeneïtat que les distribucions de les cohorts relatives als anys anteriors.

Figura 5. Distribucions de les puntuacions de primària/secundària: cohort que va iniciar l’ESO el curs 2011-2012

0.0

1.0

2.0

3.0

4Fu

ncio

ns d

ensi

tat 2

012

0 20 40 60 80 100


0.2

.4.6

Func

ions

den

sita

t 201

2

−6 −4 −2 0 2


0.0

1.0

2.0

3.0

4Fu

ncio

ns d

ensi

tat 2

016

0 20 40 60 80 100


0.1

.2.3

.4.5

Func

ions

den

sita

t 201

6

−6 −4 −2 0 2



Competències en català Competències en castellà

Competències en anglès Competències en matemàtiques


Figura 6. Comparativa de les puntuacions de secundària (4t ESO) per les diferents cohorts agregades en l’àmbit de centre escolar

0.1

.2.3

.4.5

−6 −4 −2 0 2Valors estandarditzats català secundària

2013 2014 2015 2016

0.1

.2.3

.4.5

−6 −4 −2 0 2Valors estandarditzats castellà secundària

2013 2014 2015 2016

0.1

.2.3

.4.5

−4 −2 0 2Valors estandarditzats anglès secundària

2013 2014 2015 2016

0.1

.2.3

.4

−4 −2 0 2Valors estandarditzats matemàtiques secundària

2013 2014 2015 2016

A continuació exposem les diferències entre centres públics i privats de secundària per a cadascuna de les competències a les proves relatives a quart d’ESO. Els resultats han estat degudament estandarditzats per poder ser comparats i s’han agregat en l’àmbit de centre escolar. En el cas de les proves de català, si es compara entre la primària i la secundària, cal fer constar que les distribucions es distancien encara més entre centres de titularitat pública (pb a la figura X) i privada (pv), alhora que els resultats dels alumnes en centres públics presenten més heterogeneïtat. És a dir, les distàncies entre les puntuacions assolides segons la titularitat dels centres (públic/privat) es fan més grans al llarg de la secundària.

26 27

Base de dades

Figura 7. Distribució de les puntuacions de català per centres escolars segons titularitat i cohort

Primària Secundària




En relació amb les proves de castellà, s’observa que s’amplien les diferències existents ja al final de la primària entre centres de titularitat pública i privada, alhora que a la secundària totes les distribucions passen a ser més heterogènies.

0.2

.4.6

−6 −4 −2 0 2Valors estandarditzats català primària

2009pv 2009pb 2010pv 2010pb2011pv 2011pb 2012pv 2012pb

0.2

.4.6

−6 −4 −2 0 2Valors estandarditzats català secundària


Figura 8. Distribució de les puntuacions de castellà per centres escolars segons titularitat i cohort

0.2

.4.6

−6 −4 −2 0 2Valors estandarditzats castellà primària


0.2

.4.6

−6 −4 −2 0 2Valors estandarditzats castellà secundària




Per concloure amb les proves de llengües, les distribucions relatives als resultats obtinguts en llengua anglesa evidencien, de nou, les diferències entre centres públics i privats, si bé sembla que les distribucions amplien les distàncies. Cal assenyalar que el 2009 no va haver-hi proves al final de la primària relatives a aquesta matèria.

Figura 9. Distribució de les puntuacions d’anglès per centres escolars segons titularitat i cohort

0.2

.4.6

.81

−6 −4 −2 0 2Valors estandarditzats anglès primària

2010pv 2010pb 2011pv2011pb 2012pv 2012pb

0.2

.4.6

.8

−4 −2 0 2Valors estandarditzats anglès secundària


En relació amb les puntuacions de les proves de matemàtiques, la situació és totalment diferent de les anteriors. Al final de la primària es pot observar que les distribucions són molt similars entre elles, si bé les diferències segons titularitat apareixen al final de la secundària. També cal fer constar que la distribució de l’escola privada no mostra tantes diferències com en el cas de les llengües. Així mateix, la distribució presenta més homogeneïtat dintre d’aquest tipus de centres escolars.

28 29

Base de dades


3.3. Comparativa de resultats després de la vinculació de dades

La taula 1 mostra les discrepàncies entre els valors mitjans referents a les distribucions originals i les que resulten després de fer les vinculacions de dades entre avaluacions de primària i secundària, és a dir, les diferències en puntuacions entre el total de la població i la mostra que fa el seguiment dels alumnes de sisè de primària a quart d’ESO (que anomenem vinculació a la taula 1). El nombre d’observacions de secundària que van poder ser vinculades per a la cohort 2009-2013 va ser del 79,2%; per a la cohort 2010-2014, un 78,5%, així com un 77,7% per a la cohort 2011-2015 i un 78,1% per a la cohort 2012-2016.

Tal com s’aprecia a la taula 1, el nombre d’alumnes de primària és superior al de secundària (al voltant d'uns 2.000 estudiants) per a cadascuna de les cohorts analitzades. En relació amb els percentatges no vinculats, al voltant del 20%, cal esmentar que vam decidir repassar manualment tots els registres no vinculats després de passar diversos algoritmes de vinculació. Ho vam fer així atès que vam detectar que els identificadors havien estat transcrits de manera incorrecta o diferent en algun dels anys o simplement s’havien introduït identificadors addicionals. Aquesta revisió va permetre afegir prop d’un 4% dels registres no vinculats. La resta simplement no constaven a les llistes de secundària o no havien fet totes les proves de primària.

Les raons per no poder vincular alguns registres serien quatre, principalment. La primera estaria relacionada amb els trasllats d’alguns alumnes a altres comunitats o països, atès que bona part dels registres no localitzats eren d’origen immigrant. La segona raó ve determinada

0.2

.4.6

.8

−6 −4 −2 0 2Valors estandarditzats matemàtiques primària


0.2

.4.6

−4 −2 0 2Valors estandarditzats matemàtiques secundària



Figura 10. Distribució de les puntuacions de matemàtiques per centres escolars segons titularitat i cohort

en el sentit contrari, és a dir, alumnes que són nous per raons d’immigració, provinents d’altres llocs. Una tercera causa és que simplement els alumnes van decidir, o se’ls va recomanar, repetir curs. En aquest sentit, atès que tenim diverses cohorts posteriors, en algun dels casos, vam intentar vincular dades amb aquestes cohorts posteriors, però certament amb poc percentatge d’èxit. Finalment, hi hauria alumnes que, malgrat l’obligatorietat de la secundària fins als 16 anys, quedarien no escolaritzats. En qualsevol cas, els alumnes no localitzats per qualsevol de les raons anteriors haurien de mostrar valors de nivells de competències inferiors a la primària. Per aquesta raó, les puntuacions mitjanes dels alumnes que han estat vinculats entre la primària i la secundària són superiors a la dels no vinculats.

Taula 1. Dades individuals. Comparativa vinculació i població original

Població

6è primària

Vinculació

6è primària

Població

4t ESO

Vinculació

4t ESO

Cohort 2009-2013

Cohort 2010-2014

Cohort 2011-2015

Català

Castellà

Matemàtiques

Anglès

76,84 (14,90)

74,65 (15,94)

78,02 (15,13)

---

79,54 (13,42)

77,40 (14,48)

80,79 (13,36)

---

76,59 (14,22)

76,04 (14,06)

68,38 (22,73)

69,81 (22,31)

78,95 (12,48)

78,05 (12,67)

72,08 (20,84)

73,68 (20,50)

Català

Castellà

Matemàtiques

Anglès

73,65 (15,78)

71,19 (16,12)

78,23 (20,82)

71,38 (20,82)

75,76 (14,76)

73,19 (15,33)

80,37 (14,39)

74,35 (19,57)

77,14 (13,77)

76,39 (12,44)

69,10 (19,55)

66,86 (21,89)

79,34 (12,19)

78,06 (11,33)

72,05 (18,20)

70,42 (20,43)

Català

Castellà

Matemàtiques

Anglès

77,19 (14,21)

73,58 (15,32)

80,91 (14,52)

80,59 (15,35)

79,06 (13,25)

75,45 (14,52)

82,71 (13,45)

82,17 (14,65)

76,29 (14,91)

75,15 (14,40)

69,28 (20,65)

68,66 (18,19)

78,30 (13,64)

77,06 (12,99)

71,18 (17,06)

72,37 (19,24)

Cohort 2012-2016

Català

Castellà

Matemàtiques

Anglès

79,67 (14,96)

76,62 (14,55)

80,27 (17,65)

74,30 (16,45)

81,65 (13,83)

78,43 (13,55)

82,39 (16,29)

76,45 (15,48)

76,90 (14,32)

76,62 (13,19)

68,30 (18,07)

71,17 (19,72)

78,61 (13,24)

77,91 (12,38)

70,29 (17,34)

73,48 (18,48)

Nota: es mostren valors mitjans i desviacions estàndard entre parèntesis.

30 31

Base de dades

3.4. Disseny de la mostra

Tal com hem comentat en l’apartat introductori, l’Idescat va seleccionar la mostra necessària de centres escolars atenent les característiques de l’estudi. Sobre un total de 1.057 centres (287.061 alumnes) del curs 2012-2013 es van excloure els que no complien els requeriments de manera acumulativa: 45 centres no presenten el nombre d’alumnes (hospitals, centres dependents de l’Administració de justícia, centres exclusius de formació professional, etc.), 4 no presenten grau de complexitat i 2 no aporten informació relativa a la participació (o no participació) en el programa eduCAT. Per tant, la població final va ser de 286.395 alumnes, conglomerats en 1.006 centres escolars. Per elaborar la mostra es van establir diferents estrats en què la mostra és representativa de la població. Els estrats es van correspondre amb la titularitat, la mida del centre (definida en termes de nombre d’alumnes), la participació en eduCAT i el grau de complexitat (social) del centre. Per definir una estratificació segons la mida del centre es va prendre el valor de tall de 240 estudiants, proper a la mediana. Finalment, constaven 36 combinacions d’estrats possibles, dels quals 8 es trobaven buides atès que els centres que abandonen són pocs. Per aquesta raó es van seleccionar complementàriament 25, 13 o 5 combinacions d’estrats (grups per als quals cal garantir representativitat estadística).

Per a cadascuna de les possibles estratificacions es van emprar vuit tipus de mostreig en funció de considerar els paràmetres com a mitjanes o proporcions amb dos tipus d’afixacions (proporcional o per variància mínima) per tal de garantir el menor error possible quan se seleccionés la mostra. Com que els alumnes es troben conglomerats en centres escolars, es van corregir els errors i les mostres efectives segons el factor de correlació intracentres.

El nombre d’estrats va ser finalment de cinc per al total de 1.057 centres escolars de secundària: abandonament del programa eduCAT (12 centres), centres privats que no van participar en el programa eduCAT (274), centres privats que sí que hi van participar (229), escoles públiques que no van participar en el programa eduCAT (182), centres públics que sí que van participar en el programa eduCAT (360). Finalment, d’aquests estrats van ser seleccionats 276 centres escolars (sobre un total de 1.057 centres), dels quals 122 no van participar en el programa eduCAT (grup de control en l’anàlisi empírica) i 154 que sí que ho van fer.

3.5. Enquesta als centres escolars de secundària

L’estudi empíric que es desenvolupa necessita una certa informació relacionada amb els centres per no assumir que, per exemple, una millora en el rendiment acadèmic prové del programa eduCAT, quan realment ha tingut lloc per una política adoptada pel centre escolar (per exemple, relativa als mètodes d’ensenyament, al professorat, a un canvi en la composició social de l’alumnat, etc.). Totes aquestes variables que reflecteixen canvis en les característiques dels centres podrien afectar el rendiment mitjà del centre en acabar la

secundària i no estarien relacionades amb el desenvolupament del programa eduCAT. Així mateix, en relació amb les tecnologies, tampoc no podem assumir que l’única incidència prové del programa eduCAT. Podria haver-hi centres escolars de secundària que, malgrat que no hagin participat en el programa i que no formin part del grup de control, haurien emprat noves tecnologies a les aules fora del programa. D’altra banda, alguns centres podrien haver destinat percentatges superiors de despesa en productes tecnològics.

Per totes aquestes raons, la recerca empírica exigeix dur a terme una enquesta als directors dels centres escolars i capturar totes les variacions durant el període de secundària que podrien haver tingut alguna conseqüència en el rendiment acadèmic mitjà dels estudiants de l’escola, així com conèixer de primera mà quin havia estat el desenvolupament del programa eduCAT. Aquí va resultar primordial invertir recursos per poder fer un seguiment de les respostes dels directors, i més tenint en compte la dimensió final de la mostra, decidida de manera conjunta amb l’Idescat.

En l’annex d’aquest informe mostrem l’enquesta que finalment es va adreçar en línia i en paper als directors i directores dels centres de secundària. Per elaborar l’enquesta vam tenir el suport del Sr. Jordi Vivancos, cap de l’Àrea de Tecnologies per a l’Aprenentatge i el Coneixement del Departament d’Ensenyament de la Generalitat de Catalunya, a qui agraïm la col·laboració.

L’enquesta conté preguntes relatives a tres blocs ben definits. En aquest sentit, és del tot rellevant preguntar als centres escolars sobre el desenvolupament del programa eduCAT sense que se sentin preguntats sobre el programa en si. Així s’evita el que es coneix en economia com a Hawthorne effect, és a dir, alteracions en les respostes (respostes incorrectes) o en el comportament en sentir-se preguntat o observat. Per tant, es feien preguntes sobre l’escola i les TIC sense preguntar directament sobre el programa. Nosaltres ja sabem quines escoles han participat, o no, en l’eduCAT.

En primer lloc, hi ha un bloc relatiu a la dotació i l'ús de les tecnologies al centre escolar sobre cadascun dels cursos que considerem, tot tenint en compte les cohorts sobre les quals disposem d’informació. En concret es pregunta sobre: el percentatge de despesa del centre dedicat a les TIC, si va haver-hi incidències en diversos àmbits (connectivitat, fiabilitat dels dispositius i qualitat dels llibres de text digitals), en quins cursos van ser introduïts els elements tecnològics de manera regular a les aules (ordinadors portàtils, tauletes, llibres electrònics i programari específic) i una pregunta final oberta en què havien d’indicar-se els usos habituals d’aquests dispositius.

El segon bloc de qüestions feia referència a preguntes sobre el professorat i la docència. Concretament, es preguntava sobre el nombre d’hores de mitjana que s’havia impartit formació específica en TIC al professorat en llengües i matemàtiques, la mitjana d’edat

32 33

Base de dades

del professorat en aquestes matèries i si s’havien produït canvis en la manera d’ensenyar (addicionalment calia especificar-los en cas afirmatiu). Finalment, el darrer bloc preguntava sobre característiques de l’alumnat: absentisme, estudiants d’origen estranger i abandonament dels estudis d’ESO.

L’enquesta es va enviar a tots els centres escolars de secundària de Catalunya a principi d’abril de 2016 i es va contractar un domini per tal que els directors de centre poguessin respondre en línia. A més, es va contractar personal de suport per respondre dubtes dels directors, encoratjar-los i tractar les respostes. En acabar el procés de recollida de dades de l’enquesta via paper o aplicació en línia, el total de respostes que van ser rebudes es va concretar en 693, de les quals 446 van respondre la versió completa de l’enquesta i 247 la versió reduïda (en què tan sols s’incorporaven les preguntes 1 i 3-8 del qüestionari que consta en l’annex). Atès que el nombre de respostes va superar el necessari, segons la mostra dissenyada per l’Idescat, vam procedir a comparar les característiques de la mostra final i la població. En aquest sentit, no s’observen diferències rellevants entre els centres escolars enquestats i el total de població de centres.

Figura 11. Percentatge de despesa en TIC segons curs acadèmic

3.2 35.5 26.8 15.8 9.8 8.9

4.1 37.1 26.5 15.1 8.5 8.7

4.8 37.8 28.4 13.5 9.8 5.7

5.0 38.9 25.2 14.6 10.3 5.9

6.4 36.4 21.1 14.4 11.2 10.5

7.1 35.0 20.1 14.2 11.4 12.1

12.1 35.5 19.5 12.8 9.2 11.0

0 20 40 60 80 100Segons curs acadèmic

2015−2016

2014−2015

2013−2014

2012−2013

2011−2012

2010−2011

2009−2010

Percentatges de despesa en TIC

0% 1−5% 6−10%11−15% 16−20% > 20%


En la figura 11 es pot observar com entre els cursos 2009-2010 i 2015-2016 ha disminuït en 9 punts (del 12,2% al 3,2%) el percentatge de centres que no destinen recursos del pressupost a la despesa en TIC. Tal com es mostra en la figura 11, el percentatge de despesa més habitual en TIC se situa entre l’1%-5% del pressupost (en aquest interval trobem entre un 35,1% i un 39% dels centres segons el curs). A continuació se situen els centres que destinen entre un 6%-10% de la despesa, que són un 19,3% (curs 2009-2010) i un 26,8% (curs 2015-2016) dels centres. Posteriorment se situa l’interval de despesa del pressupost de l’11%-15%, fet pel 12,8% dels centres el curs 2009-2010 i el 15,6% el 2015-2016 (en aquest cas augmenta el percentatge a mesura que avancen el cursos). En referència al percentatge de despesa del 16%-20% observem com passa del 9,2% (curs 2009-2010) al 8,5% (curs 2014-2015). Finalment, cal indicar que el percentatge de despesa superior al 20% té els nivells més elevats els dos primers cursos, un 11% el curs 2009-2010 i un 12,2% el curs 2010-2011, però després disminueix fins al 5,7% del curs 2013-2014 i, posteriorment, torna a augmentar en els dos últims anys (fins a arribar a un 8,9% dels centres). En resum, al llarg del període, el més habitual ha estat invertir en TIC entre l’1%-5% del pressupost i, seguidament, el 6%-10% (tots dos intervals suposen sempre, conjuntament, més de la meitat de les escoles).

34 35

Base de dades

Figura 12. Tipus de limitacions en l’ús de les TIC als centres

29.6 5.0 9.3 10.0 13.9 32.1

35.2 5.9 9.8 9.5 14.3 25.2

42.0 7.3 11.4 8.2 10.7 20.5

48.4 4.5 11.8 10.0 8.6 16.6

52.3 5.0 11.8 11.4 6.8 12.7

52.7 4.5 8.2 15.7 6.6 12.3

55.0 2.0 5.7 15.2 6.8 15.2


2015−2016

2014−2015

2013−2014

2012−2013

2011−2012

2010−2011

2009−2010

Tipus de limitacions en l’ús de les TIC als centres

Connectivitat Fiabilitat dispositiuQualitat llibres Formació docentsAltres No n’hi va haver


Com es pot observar en la figura 12, d’entre els factors que han dificultat l’ús de les TIC als centres, la connectivitat n’és la causa més freqüent, malgrat que n’ha disminuït la incidència al llarg dels cursos (ha passat d’un 55,1% el curs 2009-2010 a un 29,7% el curs 2015-2016). És a dir, el curs 2009-2010, un de cada dos centres tenia problemes de connectivitat i el curs 2015-2016, un de cada tres. S’observa també que la formació dels docents com a factor limitant va reduint-se significativament al llarg dels cursos (el curs 2009-2010 un 15,3% dels centres ho indiquen com a problema, mentre que aquest percentatge baixa al 9,8% el curs 2015-2016). Així mateix, s’observa com la fiabilitat dels dispositius ha variat al llarg del temps, si bé ha estat una incidència menor en tot el període considerat (el percentatge màxim de queixa és del 7,3% dels centres). Un fet similar succeeix amb la limitació pel que fa a la qualitat dels llibres electrònics, si bé els centres ho indiquen com un problema important (el percentatge de centres descontents arriba a l’11,8% el curs 2012-2013). Finalment, podem destacar que, conforme avancen els anys, el percentatge de centres que indiquen no tenir limitacions en l’ús TIC es dobla, i passa d’un 15,3% el curs 2009-2010 a un 32,2% el curs 2015-2016.


Figura 13. Percentatges d’utilització d’ordinadors

53.9 1.3 2.0 0.6 42.2

53.1 1.6 2.0 1.6 41.6

54.6 1.9 3.6 1.6 38.3

52.5 3.8 4.5 3.1 36.1


2012−2013

2011−2012

2010−2011

2009−2010

Percentatges d’utilització d’ordinadors

0% 25% 50% 75% 100%

Les figures de la 13 a la 17 mostren informació sobre l’ús que feien els centres de diferents elements TIC, en cadascun dels quatre cursos considerats. En els gràfics, 100% indica que un centre ha fet servir una determinada eina TIC en els quatre anys considerats. Per analogia, 50% vol dir que el centre ha fet servir ordinadors dos dels quatre anys considerats i 0%, que no n’ha fet servir mai. Val a dir que, en general, es nota una certa polarització en l’ús de les TIC, ja que els percentatges predominants es troben al 100% i al 0% (amb l’excepció de l’ús de tauletes, que ha estat molt minoritari).

En l’anàlisi de cada element TIC específic, en la figura 13 es mostra el percentatge d’utilització d’ordinadors com a eina habitual per al desenvolupament de les classes als quatre cursos de l’ESO per a les quatre cohorts analitzades. Com s’observa en la figura, l’evolució en el temps és força estable respecte al percentatge de centres que no en fan ús (52,9% del total de centres el curs 2009-2010 i 54,5% el curs 2012-2013). En canvi, augmenta significativament el percentatge de centres que fan un ús permanent de les TIC (passa del 35,7% el primer any al 41,7% el darrer). És molt menor, en tot el període, el percentatge de centres que fan un ús parcial dels ordinadors.

36 37

Base de dades

Figura 14. Percentatges d’utilització de portàtils al centre

40.9 2.3 4.5 2.8 49.5

36.4 4.1 4.1 4.7 50.8

35.1 3.8 6.0 6.4 48.8

40.3 3.8 7.1 9.8 39.0


2012−2013

2011−2012

2010−2011

2009−2010

Percentatges d’utilització de portàtils al centre

0% 25% 50% 75% 100%


En la figura 14 s’observa com la utilització de portàtils als centres en tots els cursos de l’ESO ha anat augmentant clarament fins a la cohort del 2011-2012 (va passar del 39,2% al 51%) i es va produir una petita disminució en la del 2012-2013 (49%). D’altra banda, la no utilització de portàtils en cap dels quatre cursos de l’ESO ha anat variant, d’un 40% en la cohort del 2009-2010, que ha disminuït 6 punts en la del 2010-2011 (34,8%), i ha augmentat en la cohort del 2011-2012 (36,1%) i en la del 2012-2013 (41%). Així mateix, es veu també una reducció dels que utilitzen els portàtils en un, dos o tres cursos de l’ESO. Es passa, en el cas dels que l’utilitzen només durant un any, del 3,7% al 2,2%; dels que només l’utilitzen dos dels quatre cursos, del 7,2% al 4,6%, i dels que l’utilitzen en tres de cada quatre cursos, del 9,8% al 2,8%.


Figura 15. Percentatges d’utilització de tauletes/iPads

89.5 2.3 3.8 1.5 2.9

92.9 2.3 2.2 1.2 1.5

95.3 2.0 1.5 0.4 0.7

96.5 2.0 1.0 0.3 0.1


2012−2013

2011−2012

2010−2011

2009−2010

Percentatges d’utilització de tauletes/iPads

0% 25% 50% 75% 100%

Com es pot observar en la figura 15, la utilització d’iPads/tauletes és bastant reduïda. Tot i això, es pot observar com ha anat augmentant el percentatge de centres que n’utilitzen durant algun dels quatre anys de l’ESO, de 3,5% en la cohort del 2009-2010 al 10,4% en la cohort del 2012-2013. Pel que fa al nombre de centres que no n’utilitzaven en cap dels quatre cursos, ha disminuït d’un 96,5% en la cohort del 2009-2010 a un 89,6% en la del 2012-2013.

38 39

Base de dades


Figura 16. Percentatges d’utilització de llibres electrònics

60.7 3.1 2.3 4.5 29.4

59.2 3.1 4.1 4.2 29.4

56.3 4.8 6.1 5.4 27.4

59.2 4.8 7.1 8.2 20.7


2012−2013

2011−2012

2010−2011

2009−2010

Percentatges d’utilització de llibres electrònics

0% 25% 50% 75% 100%

La figura 16 mostra com la utilització de llibres electrònics, durant els quatre cursos de l’ESO per a cada cohort, augmenta gairebé 9 punts, i passa d’un 20,6% en la cohort del 2009-2010 a un 29,5% en la cohort del 2012-2013. D’altra banda, el gràfic mostra un lleuger augment dels centres que no utilitzen, en cap dels quatre cursos de l’ESO, els llibres electrònics (el percentatge passa del 59,3%, en la cohort del 2009-2010, al 60,9% en la del 2012-2013).

Pel que fa als centres que utilitzen els llibres electrònics en un de cada quatre cursos disminueix d’un 4,7% en la cohort del 2009-2010 a un 2,9% en la del 2012-2013. El mateix succeeix en aquells casos que fan servir els llibres en dos dels quatre cursos (passa del 7,2% en la cohort del 2009-2010 al 2,3% en la cohort del 2012-2013) i els que en fan servir en tres dels quatre cursos (es redueix del 8,2% en la cohort del 2009-2010 al 4,3% en la del 2012-2013).


Figura 17. Percentatge d’utilització de software específic als centres

60.7 3.1 2.3 4.5 29.4

59.2 3.1 4.1 4.2 29.4

56.3 4.8 6.1 5.4 27.4

59.2 4.8 7.1 8.2 20.7


2012−2013

2011−2012

2010−2011

2009−2010

Percentatges d’utilització de llibres electrònics

0% 25% 50% 75% 100%

En la figura 17 s’observa com augmenta el percentatge de centres que utilitzen un software específic al centre durant els quatre cursos d’ESO. Així, s’incrementa en 10 punts el percentatge, que passa d’un 20,7% per als alumnes que van iniciar l’ESO el curs 2009-2010, a un 30% per a la cohort del 2012-2013. D’altra banda, els centres que no utilitzen cap software específic en els quatre cursos de l’ESO disminueixen, d’un 67,1% de la cohort del 2009-2010 a un 64,2% de la cohort del 2012-2013.

Percentatges significativament més baixos es constaten en el nombre de centres que només utilitzen un software en algun dels anys considerats.

40 41

Base de dades


Figura 18. Usos habituals dels dispositius

45.3 54.7

7.1 92.9

15.0 85.0

21.7 78.3

8.0 92.0

38.0 62.0

43.5 56.5

46.6 53.4


Accés llibres digitals

Recursos Internet

Recursos generats professorat

Creació alumnat

Cerca informació

Comunicació/col·laboració

Llibres digitals comercials

Avaluació

Usos habituals dels dispositius

No Sí

La figura 18 ens mostra els usos habituals dels dispositius. Els més comuns són els recursos oberts d’Internet (92,5%) i els menys habituals, les activitats d’avaluació (53,4%).

Entre aquests dos usos es troba la cerca d’informació (91,8%), els recursos generats pel professorat (85,2%), la creació de materials per l’alumnat (77,4%), les activitats de comunicació i col·laboració (61,4%), els llibres digitals comercials (56,4%) i l’accés a llibres digitals (54,6%).


Figura 19. Hores de formació del professorat

37.0 39.1 19.5 3.5 0.9

32.3 42.3 21.4 3.3 0.7

31.2 42.1 22.6 3.3 0.9

26.3 43.7 25.3 4.0 0.7

26.7 40.8 26.9 4.9 0.7

25.3 39.4 29.2 5.1 0.9

32.9 34.6 26.2 5.1 1.2


2015−2016

2014−2015

2013−2014

2012−2013

2011−2012

2010−2011

2009−2010

Hores de formació del professorat

Cap formació Fins a 15 h 16 h − 30 h31 h − 60 h > 60 h

Com mostra la figura 19, majoritàriament els centres van proporcionar fins a 15 hores de formació en TIC al professorat per curs. Així, la formació de fins a 15 hores va passar del 34,7% dels centres, el curs 2009-2010, al 43,8% el curs 2012-2013, però va disminuir progressivament a partir d’aquell curs, fins a un 38,9% el 2015-2016. Els centres que no van donar cap formació en TIC van constituir prop d’un terç del total, si bé amb un mínim del 25,3% el curs 2010-2011 i un màxim del 37,1% el curs 2015-2016. El percentatge de centres que proporcionen nivells de formació superior a les 15 hores s’ha reduït en el temps de manera important, en especial a partir del curs 2013-2014.

42 43

Base de dades


Figura 20. Franja d’edat mitjana del professorat

5.8 59.9 32.7 1.6

5.6 50.3 41.8 2.3

5.8 50.6 41.8 1.9

9.3 65.7 24.8 0.2


Matemàtiques

Català

Castellà

Anglès

Franja d’edat mitjana del professorat

25−35 36−45 46−55 56−65

La figura 20 mostra els percentatges d’edat del professorat per assignatures. Com mostra el gràfic, l’assignatura d’anglès té el percentatge més alt de professorat més jove, entre 25-35 anys (9,3%). La resta d’assignatures se situen en un percentatge de quasi el 6%. En les quatre assignatures hi predomina la franja d’edat 36-45 anys, en què la més nombrosa és la d’anglès (65,8%). La següent franja d’edat correspon a 46-55 anys, en què es troba el professorat de català i castellà amb un 41,9% i 41,6%, respectivament.

Finalment la franja entre 56-65 anys té una representació molt baixa, amb un màxim del 2,3%, que correspon al professorat de català.


Figura 21. Canvis en el procés d’ensenyament-aprenentatge

13.5 20.2 66.3

13.3 19.5 67.2

15.1 18.8 66.0

16.7 17.0 66.3

21.2 14.9 64.0

27.4 14.2 58.4

42.3 13.3 44.4


2015−2016

2014−2015

2013−2014

2012−2013

2011−2012

2010−2011

2009−2010

Canvis en el procés d’ensenyament−aprenentatge causades per l’ús de les TIC

No canvis Canvis no TIC Canvis TIC

La figura 21 indica quins canvis s’han produït en el procés d’ensenyament-aprenentatge en el temps. En tots el cursos, s’observa que més d’un 44,1% de centres declaren que han tingut canvis a causa de les TIC, però s’han produït menys canvis causats per les TIC durant el curs 2009-2010 (44,3%) i més en el curs 2014-2015 (66,2%). Pel que fa als canvis no produïts per les TIC, el percentatge se situa entre el 13,3% el curs 2009-2010 i el 20,3% el curs 2015-2016. Finalment, un 42,4% el curs 2009-2010 indica que no hi ha hagut canvis i es va reduint progressivament fins al curs 2015-2016 (13,8%). Per tant, els cursos recents han estat anys de canvis en el procés d’ensenyament-aprenentatge per a la pràctica totalitat de centres, ocasionats en bona mesura per la introducció de TIC.

44 45

Base de dades


Figura 22. Nivell d’absentisme als centres

30.5 62.9 5.0 0.7 0.7 0.2

29.1 64.1 4.0 1.7 0.7 0.2 0.2

29.3 64.3 3.3 0.91.7 0.2 0.2

31.2 62.6 3.5 1.2 1.2 0.2

32.9 59.3 4.7 1.4 0.9 0.5 0.2

33.1 57.2 6.4 1.4 1.2 0.5 0.2

34.3 55.3 6.9 1.7 0.9 0.2 0.7

0 20 40 60 80 100

Segons curs acadèmic

2015−2016

2014−2015

2013−2014

2012−2013

2011−2012

2010−2011

2009−2010

Nivell d’absentisme als centres

0% 1%−5% 6%−10% 11%−15%16%−20% 21%−25% > 25%

La figura 22 analitza el nivell d’absentisme, que és nul en gairebé un terç dels centres escolars. Quan hi ha absentisme, es dona en percentatges baixos (1%-5% dels alumnes). Així ho indiquen entre el 55%-64% dels centres (en funció dels cursos). Els nivells superiors d’absentisme afecten pocs centres, en especial per sobre del 10% d’alumnes (en cap dels cursos suposa més d’un 1,5%).


Figura 23. Percentatge de població d’origen estranger

5.7 43.7 17.5 12.3 8.4 8.4 4.0

5.9 41.1 19.1 12.5 7.6 8.8 5.1

5.9 41.0 17.2 13.3 9.3 8.1 5.2

6.2 38.9 19.1 12.4 8.9 8.9 5.7

7.4 39.0 19.1 11.9 7.7 9.4 5.5

9.2 36.9 19.2 12.7 8.2 8.5 5.2

9.7 34.8 18.9 11.3 7.8 9.0 3.1 5.4


2015−2016

2014−2015

2013−2014

2012−2013

2011−2012

2010−2011

2009−2010

Percentatge de població d’origen estranger

0% 1%−5% 6%−10% 11%−15%16%−20% 21%−30% 31%−40% > 40%

La figura 23 considera la població d’origen estranger. El gràfic ens mostra com gairebé no hi ha centres sense alumnes estrangers, en especial els darrers cursos considerats (conforme avancen els anys, el percentatge passa d’un 9,7%, el curs 2009-2010, al 5,7% el curs 2015-2016). El percentatge més important se situa en nivells entre 1%-5% de l’alumnat d’origen estranger (el percentatge de centres passa d’un 34,6% el curs 2009-2010 a un 43,8% el 2015-2016). La resta de nivells es manté força estable en el temps. El percentatge de centres en cada categoria acostuma a ser més baix a mesura que augmenta el percentatge d’alumnat d’origen estranger.

47

Estratègia d'estimació

46


Figura 24. Percentatge d’abandonament escolar als centres

24.1 51.7 10.8 5.4 5.7 1.9 0.5

21.5 50.7 12.5 5.7 5.9 2.8 0.9

22.6 49.3 10.4 8.3 4.7 2.4 2.4

23.8 47.6 9.9 7.8 6.1 3.1 1.7


Cohort 2012−2013

Cohort 2011−2012

Cohort 2010−2011

Cohort 2009−2010

Percentatge d’abandonament escolar als centres

0% 1%−5% 6%−10% 11%−15%16%−20% 21%−25% > 25%

La figura 24 mostra el percentatge d’abandonament escolar segons les cohorts considerades. Tal com indica el gràfic, el percentatge de no abandonament escolar és força estable (entre el 21,5% i el 24,1%). La majoria de centres tenen un abandonament de l’1% al 5% del total d’alumnes. El percentatge de centres en aquesta categoria ha augmentat lleugerament, d’un 47,5% en la cohort del 2009-2010 a un 51,8% en la del 2012-2013. Es donen en pocs centres nivells d’abandonament escolar més alts. Així mateix, el percentatge de centres en cada categoria acostuma a ser més baix a mesura que augmenta el percentatge d’abandonament escolar considerat.

4. Estratègia d’estimació

En aquest apartat es mostra l’estratègia d’estimació per obtenir els resultats. Atès que es vol avaluar una política pública, resulta molt rellevant aplicar tècniques economètriques que permetin inferir causalitat, és a dir, no només relacionar l’aplicació del programa eduCAT amb els resultats dels estudiants, sinó poder concloure que el programa va tenir un determinat efecte. De manera resumida, a continuació s’explica l’estratègia desenvolupada. Aquest resum pot ser útil especialment per als qui no tenen un coneixement profund de les tècniques economètriques.

En l’anàlisi empírica volem aplicar tècniques similars als experiments mèdics, és a dir, analitzar el grau d’èxit del programa eduCAT comparant dos grups: els que van participar al programa i els que no. Per fer-ho caldria haver-ho previst quan es va dissenyar i implementar el programa. Com que no ha estat així, hem d’intentar aplicar tècniques que permetin fer una anàlisi similar. Si comparem l’evolució del rendiment acadèmic dels alumnes als centres abans i després d’aplicar-se el programa podrem veure si precisament el programa ha contribuït a millorar-ne els resultats. És una tècnica economètrica anomenada diferències en diferències. Ara bé, per poder-se aplicar, calen dues condicions: d’una banda, que no hi hagi biaix de selecció en la participació en el programa (és a dir, que el grup que hi va participar i el grup que no ho va fer presentin característiques similars); d’altra banda, que les tendències en els resultats dels alumnes siguin paral·leles (així, qualsevol desviació de nivell és causada per la política analitzada). Malauradament, en el nostre cas no es dona cap de les dues condicions anteriors. Per tant, vam decidir aplicar una tècnica anomenada d’emparellament, en què es comparen individus que han seguit el programa amb individus que no l’han seguit i que presenten diverses característiques observables similars.

En aquest cas, es genera un grup amb el qual es poden comparar les persones que van participar en el programa. Així, s’intenta veure l’efecte del programa eduCAT en grups d’individus similars. Ara bé, seran similars en les característiques “observables”, és a dir, per a les quals tenim informació (com el sexe de l’alumne, el tipus de centre, etc.). Amb aquesta tècnica podem suposar causalitat, ja que comparem individus “iguals”, si bé amb la cautela que són “iguals” només en determinades característiques. A continuació, l’apartat 4.1 presenta l’estratègia economètrica en detall; l’apartat 4.2, l’equació a estimar i, finalment, l’apartat 4.3 mostra els problemes d’estimació existents i la resolució.

4.1. Estratègia economètrica

Ens plantegem l’anàlisi economètrica tenint present que disposem de dades d’estudiants pertinents a centres escolars abans i després de la implementació del programa eduCAT. La solució idònia passa per fer un experiment similar als que s’han dut a terme en ciències

48 49


experimentals o assajos clínics. Cal tenir present que els experiments en ciències socials, i específicament en educació, han guanyat molt de terreny durant els darrers anys. En conseqüència, es comparen escoles que han participat en el programa eduCAT (grup tractat) amb escoles que no hi han participat (grup control), i s’enregistra el comportament dels escolars de tots aquests centres escolars abans del programa i després.

El problema fonamental és que mai no observaríem el resultat contrafactual, és a dir, quina puntuació haurien tret els estudiants de centres escolars que no han participat en el programa eduCAT. En qualsevol cas, l’aleatorització (assignació aleatòria dels centres al programa) ens permetria estimar els efectes del tractament. Per tant, hi ha dues comparacions per fer: una abans i després del programa i l’altra, entre escoles amb programa i sense. Tècnicament, aquest mètode de la doble comparativa s’anomena diferències en diferències. La selecció d’escoles i l’assignació als dos grups s’hauria de fer a l’atzar per evitar biaixos de selecció.

Així doncs, el mètode d’estimació que, en principi, empraríem (diferències en diferències) requereix una assignació a l’atzar de les escoles per evitar biaixos de selecció. En el nostre cas, implica fer comparances entre el grup de control i tractament abans de la implementació del programa eduCAT.

En primer lloc, en la taula 2 mostrem quines van ser les taxes de participació que observem en el nostre estudi. Concretament, del 62% d’individus dins el programa, un 36% hi van entrar el segon any (curs 2010-2011) i un 26%, el curs acadèmic inicial. Majoritàriament, la modalitat adoptada va ser la A amb un 50% dels casos i un 10% van adoptar la modalitat B. Finalment, un 2% d’individus van estudiar a centres escolars que van abandonar el programa eduCAT.

Taula 2. Individus segons participació

eduCAT 2009-2010

eduCAT 2010-2011

eduCAT modalitat A

eduCAT modalitat B

Van abandonar eduCAT

Individus vinculats

0,25 (0,44)

0,36 (0,48)

0,50 (0,50)

0,10 (0,30)

0,02 (0,14)

236.753

Mitjana (desv.)

4.2. Equació a estimar

En aquesta secció exposem el model de diferències en diferències que estimaríem. Malgrat que ja hem esmentat el tema del biaix de selecció, primer presentem aquest primer model, que té en compte l’estructura de dades de panell. En concret, estimarem l’equació següent:

(1)

en què Pijt representen les puntuacions de cada centre individu i al centre escolar j en el període

t. El terme constant (αi0) indica la puntuació inicial de l’estudiant (en t = 0) i d

t representa

l’evolució del temps, ja que tenim dades de panell. E representa si l’escola ha participat en el programa eduCAT. Així, mentre λ representa els efectes del temps i γ les diferències inicials en les puntuacions segons la participació en el programa, l’associació del programa eduCAT amb el rendiment acadèmic en t =1 vindria capturada per δ. Llavors, x

it considera totes les

característiques individuals (edat i gènere) mentre que xjt són les característiques a nivell de

centre escolar (titularitat, grau de complexitat i grandària), que estan relacionades amb el rendiment acadèmic. m

i0 és una variable dicotòmica que representa els valors no vinculats

entre els dos exàmens oficials.

Un cop prenem les primeres diferències (restem els valors entre el període posterior i l’anterior per totes les parts de l’equació) la variable a explicar seria l’evolució de la puntuació de la prova al final de primària (sisè de primària) i de secundària (quart d’ESO), mentre que tots els valors que són fixos desapareixerien (el sexe de l’alumne, el tipus d’escola, etc.). Per tant, el model permetria observar els efectes de les variables que han variat en el temps i que hem pogut recollir a partir de l’enquesta. Així, cal assenyalar que els professors, els recursos dels centres escolars, la grandària de les classes, etc., malgrat que són rellevants si assumim que són invariables durant el període considerat, queden eliminats mitjançant la tècnica economètrica i, per tant, no cal que siguin introduïts a les regressions. Afortunadament aquest fet facilita molt el nostre cas, ja que disposem d’informació reduïda.

A continuació ho mostrem gràficament. Tal com succeeix en el nostre cas, disposem de dos períodes (t = 0 i t = 1) i partim d’una situació en què el grup de control i tractament presenten una tendència a disminuir, d’acord amb la complexitat superior de les proves de secundària, però en què el grup de control parteix de puntuacions superiors. El primer gràfic suposa que les tendències dels dos grups (control i tractament) són paral·leles en el temps. Llavors, prenent diferències, entre el resultat de secundària i el de primària i entre el grup tractament i el grup control, obtenim l’efecte del tractament: (N

T1-N

T0)-(N

C1-N

C0).

Evidentment, aquesta diferència seria l’efecte del tractament si podem assumir que les tendències són paral·leles; d’altra manera, estaríem sobreestimant l’efecte del tractament tal com succeeix en el segon gràfic.

50 51


Evolucions paral·leles Evolucions no paral·leles

Català Castellà


Figura 25. Evidència gràfica dels efectes d’un programa

Figura 26. Puntuacions mitjanes estandarditzades agregades en l’àmbit de centre escolar

Control

Efecte Tractament=

Notes

NC0

NT0

NC1

NT1

t0 t1

(NT1 NT0) (NC1 NC0)

Tractament

Temps

−.05

0.0

5.1

.15

.2(m

ean)

z_c

at

2009 2010 2011 2012 2013 2014 2015 2016cohort

control0 tractat0 control1 tractat1

Tractat/Control evolució competències català

Control

Notes

NC0

NT0NC1

NT1

t0 t1

Tractament

Tractament estimat

Temps

Efecte Tractament real

−.1

0.1

.2.3

(mea

n) z

_cas

t

2009 2010 2011 2012 2013 2014 2015 2016cohort


Tractat/Control evolució competències castellà

Per aquest motiu, mostrem de manera gràfica quina és l’evolució dels dos grups (control i tractament) en funció del temps. Malgrat que no tenim un elevat nombre de períodes disponibles, sembla que s’aprecien diferències en relació amb la tendència dels diferents continguts avaluats durant el període anterior a la implementació del programa. Per tant, podem afirmar que els dos grups no presenten tendències paral·leles i que la tècnica per emprar no pot ser la de diferències en diferències.

Matemàtiques Anglès


−.1

0.1

.2.3

(mea

n) z

_mat

2009 2010 2011 2012 2013 2014 2015 2016cohort


Tractat/Control evolució competències matemàtiques

−.1

0.1

.2(m

ean)

z_a

ng

2010 2011 2012 2013 2014 2015 2016cohort


Tractat/Control evolució competències anglès

4.3. Problemes de selecció dins el programa eduCAT

Malauradament, però, la participació en el programa eduCAT no va ser aleatòria, i no sabem les raons que hi van fer participar unes escoles sí i unes altres no. L’única informació disponible és que hi va participar un nombre més alt d’escoles de titularitat pública. Així doncs, en qualsevol cas, cal dur a terme una comparativa entre les característiques del grup de control i el de tractament en el període inicial per validar que els grups siguin estrictament comparables.

La taula 3 mostra si finalment hi va haver diferències en les puntuacions inicials mitjanes dels individus que pertanyen als centres escolars seleccionats dins el grup mostral, segons pertanyin al grup tractat (participació dins el programa eduCAT) o al grup assignat com a control (no van participar en el programa eduCAT). Aquesta descriptiva la repetim per a totes les cohorts de les quals disposem de dades. Tal com es pot apreciar, existeixen diferències estadísticament significatives en totes les puntuacions. Per tant, estem davant d’un problema que s’anomena biaix de selecció, ja que les escoles que hi van participar presentaven característiques determinades, en concret, una puntuació mitjana més baixa en totes les proves avaluades. Aquest fet complicarà força l’estratègia economètrica, que ens permet avaluar l’impacte del programa eduCAT, ja que els resultats dels models en diferències estarien esbiaixats.

52 53


Taula 3. Diferències en les puntuacions segons participació en el programa

Assignatura Tractat Control Diferència




Cohort que comença secundària 2007-2008




Població (t = 1) Català 2012Castellà 2012Anglès 2012Matemàtiques 2012

72,19 (14,78)73,39 (15,00)66,50 (22,13)62,96 (24,99)

73,97 (14,07)75,48 (13,84)70,02 (21,19)66,33 (24,19)

-1,78 ***

-2,09 ***

-3,52 ***

-3,37 ***

Individus vinculats (t = 0)

Català 2010Castellà 2010

75,38 (15,00)72,71 (15,47)

6,38 (14,34)73,95 (15,06)

-1,00 ***

-1,23 ***


Català 2011Castellà 2011Anglès 2011Matemàtiques 2011

78,79 (13,42)74,88 (14,63)81,57 (14,72)82,46 (13,58)

79,51 (12,98)76,37 (14,29)83,12 (14,49)83,11 (13,24)

-0,72 ***

-1,48 ***

-1,55 ***

-0,66 ***

Anglès 2010Matemàtiques 2010

73,41 (19,75)80,08 (14,52)

75,88 (19,18)80,84 (14,16)

-2,47 ***

-0,76 ***


Català 2009Castellà 2009Matemàtiques 2009

78,56 (14,03)76,33 (15,19)79,63 (14,01)

79,86 (13,19)77,75 (14,22)81,18 (13,12)

-1,31 ***

-1,43 ***

-1,55 ***

Població (t = 1) Català 2013Castellà 2013Anglès 2013Matemàtiques 2013No vinculat 2013

74,33 (15,06)73,84 (14,76)65,36 (22,93)64,40 (23,47)0,23 (0,42)

77,36 (13,85)76,79 (13,73)71,33 (21,89)69,74 (22,31)0,20 (0,40)

-3,03 ***

-2,96 ***

-5,97 ***

-5,34 ***

0,03 ***


76,52 (14,15)75,82 (12,68)65,53 (22,17)68,18 (19,76)0,22 (0,42)

78,18 (13,06)77,33 (11,96)69,08 (21,23)70,64 (19,10)0,20 (0,40)

-1,67 ***

-1,51 ***

-3,55 ***

-2,47 ***

0,02 ***


75,77 (15,07)74,46 (14,63)68,02 (20,87)67,87 (18,40)0,19 (0,39)

77,13 (14,59)76,26 (13,94)71,32 (20,11)69,95 (17,78)0,18 (0,38)

-1,36 ***

-1,81 ***

-3,30 ***

-2,08 ***

0,01 ***

Nota: mostrem la mitjana i desviació estàndard entre parèntesis. ***, ** i * representen les diferències

estadísticament significatives a l’1%, 5% i 10% entre el grup tractat i el de control per a cadascuna de les

cohorts.




Català 2012Castellà 2012Anglès 2012Matemàtiques 2012

1,38 (14,01)8,07 (13,72)75,87 (15,45)82,04 (16,55)

82,08 (13,53) 78,99 (13,25) 77,37 (15,48) 82,96 (15,85)

-0,71 ***

-0,91 ***

-1,50 ***

-0,92 ***


76,51 (14,52)76,09 (13,43)70,18 (20,02)67,58 (18,25)0,16 (0,37)

77,53 (13,97) 77,48 (12,75) 72,76 (19,11) 69,45 (17,72)

0,16 (0,37)

-1,02 ***

-1,39 ***

-2,59 ***

-1,87 ***

0,00

En l’àmbit de centre, les diferències també són ostensibles (vegeu la taula 4). Així, va haver-hi una participació alta de centres escolars públics amb una grandària superior a la del grup de control i amb disparitat segons el grau de complexitat del centre escolar.

Taula 4. Diferències en l’àmbit de centre escolar segons tractament:cohort 2009

Titularitat públicaGrandària centre ESOAlta complexitatMitjana complexitatBaixa complexitat

0,60 (0,49)***

296,94 (123,94)***

0,15 (0,36)0,11 (0,32)***

0,74 (0,44)***

0,36 (0,48)251,56 (127,77)

0,12 (0,32)0,24 (0,43)0,64 (0,48)

Nota: mostrem la mitjana i desviació estàndard entre parèntesis. ***, ** i * representen les diferències

estadísticament significatives a l’1%, 5% i 10% entre el grup tractat i el de control.

Tractat Control

Tanmateix, a mode d’exemple per a les assignatures de català i matemàtiques per a les dues primeres cohorts, testem de forma gràfica si les distribucions són diferents, ja que malgrat que són mitjanes molt similars podria ser que hi hagués heterogeneïtat en les distribucions. Tant els gràfics com els tests no paramètrics calculats (Kolmogorov-Smirnov per dues mostres) ens indiquen de nou que el grup de control actua de manera diferent del grup que va participar en el programa eduCAT (vegeu la figura 27). Malgrat que només es mostra per a aquestes dues cohorts per les puntuacions obtingudes en català i matemàtiques, hem procedit a calcular els tests per a totes les cohorts i totes les distribucions de resultats.

54 55


Figura 27. Comparativa distribucions de les puntuacions estandarditzades segons participació en el programa eduCAT

Català Matemàtiques


0.5

11.

5

−3 −2 −1 0 1Notes estandarditzades

2009no 2009si 2010no 2010si

0.5

11.

5

−2 −1 0 1Notes estandarditzades

2009no 2009si 2010no 2010si

Finalment, ens vam preocupar de si va existir una distribució geogràfica determinada en la distribució de centres que van participar en el programa. La figura 28 mostra una distribució geogràfica força similar entre el grup tractat i el de control.

Figura 28. Distribució geogràfica grups de control/tractament

Població

Població Mostra Idescat

Nota: els cercles verds corresponen a les escoles que hi van participar, mentre que els vermells formen part

del grup de control.

21 − 1005 − 214 − 53 − 42 − 31 − 20 − 1No data

Distribució geogràfica escoles eduCAT

19 − 1165 − 194 − 53 − 42 − 31 − 20 − 1No data

Distribució geogràfica escoles no eduCAT

56 57


La taula següent mostra quins són els resultats d’estimar les característiques que s’associen a la decisió dels centres de participar dins el programa eduCAT. Tal com pot apreciar-se, els factors que van influenciar en aquesta decisió van ser: la titularitat pública de l’escola, el grau de complexitat i la grandària del centre. D’altra banda, els resultats no sembla que estiguin associats a la participació un cop es tenen en compte la resta de característiques que van tenir incidència en aquesta participació.

Taula 5. Tractament en funció de característiques escolars: regressió lineal

La categoria base és l’alt grau de complexitat i la cohort de 2009. S’ha calculat una regressió logística amb

estructura de panell. ***, ** i * representen diferències estadístiques significatives a l’1%, 5% i 10%. No s’hi

han incorporat les puntuacions d’anglès, ja que aquesta competència no va ser avaluada per la primera

cohort, ni les de castellà, per evitar multicol·linealitat amb les de català.

Atesos els problemes esmentats anteriorment sobre el biaix de selecció, així com la violació del supòsit de tendències paral·leles, ens plantegem emprar tècniques d’estimació per emparellament (anomenades matching) per poder estimar l’equació (1). Explicat de manera senzilla, aquesta tècnica busca un grup de control idoni, és a dir, que s’assembli al grup tractat. Així, per a cada individu tractat es busca un individu de característiques similars que serveixi de control. En el procés, resulta determinant establir quines característiques es trien (el que anomenem observables). Per exemple, per veure si una beca millora el rendiment acadèmic, es comparen les puntuacions de grups d’individus molt similars en termes de gènere, condició socioeconòmica, residència, etc., en què l’única diferència observable és que uns han rebut beca i altres no. En el nostre cas, hem considerat característiques d’emparellament

Wald Chi2 (p-valor)

Titularitat públicaGrandària del centre

% NoiesMitjana d’edat

0,552 (0,16) ***

0,002 (0,00) ***

0,477 (0,43)0,637 (0,52)

Grau de complexitatBaix

Mitjà-0,762 (0,27) ***

-0,105 (0,20)

Cohort 2010Cohort 2011

1,719 (0,08) ***

1,713 (0,08) ***

3.069533,04 (0,00)

Puntuacions estandarditzades en t = 0Català

MatemàtiquesCastellà

0,148 (0,19)0,267 (0,17)-0,200 (0,16)

Individuals no vinculats

Constant

Grandària mostral (N · t)

-9,867 (6,16)0,143 (0,32)

les característiques observables que tenen relació amb el fet de la participació en el programa i que no estan determinades pel tractament, com ara la titularitat del centre, la grandària del centre escolar i el grau de complexitat. De fet, vam ser extremadament cautes, ja que vam obligar a un perfecte emparellament amb els individus de les mateixes característiques tot tenint en compte el gran nombre d’observacions que tenim individualment.

58 59

Resultats

5. Resultats

Els resultats d’estimar l’impacte del programa eduCAT a l’equació (1) mitjançant el mètode d’emparellament es mostren en la taula 6. En l’anàlisi s’han emprat dades individuals, amb un total de 299.604 observacions. Cal tenir present que els valors de la taula són els efectes del programa eduCAT sobre la mitjana de resultats de les proves en diferents competències. Totes les regressions consideren variables pel que fa a l’estudiant, el centre escolar (tant les subministrades pel Departament d’Ensenyament com a partir de l’enquesta pròpia feta pels investigadors), la cohort a la qual pertany cada individu, els resultats de les competències en la resta de matèries i els efectes fixos en l’àmbit de l’escola (que representa la idiosincràsia de cada centre).

Tal com es mostra en la taula 6, l’efecte del programa eduCAT resulta negatiu (i és estadísticament significatiu). És a dir, la implementació del programa va tenir conseqüències negatives en l’adquisició de competències de l’alumnat en totes les matèries avaluades. L’impacte és similar per a cada competència i s’estima al voltant de -0,21. Això suposa una reducció d’uns 3,7 punts en la nota mitjana obtinguda pels alumnes en el conjunt de proves de competències (en concret, la reducció és de 3,1 punts en català, 2,9 en castellà, 4,4 en anglès i 4,2 en matemàtiques). En termes relatius, el programa genera una disminució global de quasi el 5,1% de la nota mitjana (4,1% a català, 3,8% a castellà, 6,4% en anglès i 6,2% a matemàtiques). Per ordre de magnitud, el programa redueix més els resultats en l’avaluació de català (-0,220), seguit de castellà (-0,212), matemàtiques (-0,210) i, finalment, anglès (-0,204). Per tant, podem concloure que, d’una banda, el programa eduCAT ha incidit negativament en l’adquisició de competències dels alumnes a final de la secundària. D’altra banda, però, cal assenyalar que l’impacte no sembla gaire important en termes quantitatius.

Taula 6. Estimacions efectes del programa eduCAT mitjançant tècniques d’emparellament


Impacte del programa

Resta de competències

Variables individuals

Sí

Sí

Sí

Sí

Sí

Sí

Sí

Sí

NoisNoies

-0,257 (0,01) ***

-0,181 (0,01) ***

-0,222 (0,01) ***

-0,196 (0,01) ***

-0,232 (0,01) ***

-0,175 (0,01) ***

-0,229 (0,01) ***

-0,209 (0,01)

Variables escolarsCohort específica

Efectes fixos escola

SíSíSí

SíSíSí

SíSíSí

SíSíSí

*** Representa la significació estadística a l’1%.

-0,220 (0,00) *** -0,212 (0,00) *** -0,204 (0,00) *** -0,210 (0,00) ***

Taula 7. Estimacions efectes del programa eduCAT mitjançant tècniques d’emparellament: incorporació de la informació provinent de les enquestes

Impacte del programa -0,231 (0,00) *** -0,238 (0,01) ***

Informació de l’enquesta No Sí

N 198,778 118,421



Taula 8. Efectes heterogenis del programa eduCAT segons el nivell de competències de l’alumnat a sisè de primària

Enquestades


NoisNoies

-0,257 (0,01) ***

-0,181 (0,01) ***

-0,222 (0,01) ***

-0,196 (0,01) ***

-0,232 (0,01) ***

-0,175 (0,01) ***

-0,229 (0,01) ***

-0,209 (0,01) ***

Resta de competències

Variables individuals

Variables escolarsCohort específica

Efectes fixos escola

Sí

Sí

SíSíSí

Sí

Sí

SíSíSí

Sí

Sí

SíSíSí

Sí

Sí

SíSíSí

A continuació vam replicar la taula anterior per la mostra de centres escolars que van contestar les enquestes (693 centres). Tan sols mostrem els resultats per a les proves de competències en català, malgrat que el patró es va repetir per a la resta de competències. La primera columna mostra l’efecte del programa per a la mostra seleccionada sense incorporar cap informació provinent de l’enquesta. La segona columna afegeix aquesta informació. Tal com es pot observar en la taula 7, en tots dos casos, l’efecte és similar i alhora pràcticament idèntic al que es descriu en la taula 6. Aquest fet dona robustesa als resultats anteriors un cop es té en compte la informació addicional.

Un segon resultat interessant és saber si el programa eduCAT té un impacte diferent en funció del gènere dels estudiants. La taula 8 en mostra diversos resultats. En primer lloc, l’impacte és estadísticament significatiu tant en nois com en noies. En segon lloc, en totes les proves d’avaluació l’impacte és sempre més elevat en el cas dels nois que de les noies, en especial en català i anglès. En conseqüència, es constata que l’impacte negatiu és quantitativament menor en les noies.

60 61

Breus conclusions d’aquest informe

6. Breus conclusions d’aquest informe

Hi ha un debat sobre si l’ús de TIC a l’aula afavoreix l’aprenentatge dels estudiants, ja que l’evidència empírica internacional presenta resultats dispars, si bé predominen els estudis en què els programes d’introducció d’ordinadors a les escoles no genera cap efecte sobre el rendiment dels estudiants.

En aquest informe hem volgut participar en el debat analitzant l’impacte del programa eduCAT, relacionat amb el foment de l’ús de les TIC entre els estudiants de secundària a Catalunya. En breu, el programa eduCAT va aportar ordinadors i va millorar les eines TIC existents a les aules dels centres que van participar-hi. El programa va néixer el curs 2009-2010 com a EduCAT1x1 i va ser un projecte promogut i gestionat pel Departament d’Educació de la Generalitat de Catalunya.

En l’estudi es consideren els nivells de competències assolits pels estudiants de secundària a Catalunya. En concret, hem emprat dades de les proves del Consell Superior d’Avaluació del Sistema Educatiu corresponents als cursos següents de quart d’ESO: 2012-2013, 2013-2014 i 2014-2015. Així mateix, per tenir en compte la mateixa capacitat dels estudiants hem inclòs en l’anàlisi les avaluacions d’aquests alumnes quan cursaven sisè de primària: anys 2008-2009, 2009-2010, 2010-2011. Les proves fan referència a diferents competències assolides en llengües (català, castellà i anglès) i matemàtiques. Alhora, disposem de dades provinents d’una enquesta dissenyada per l’equip investigador, que van respondre 693 centres escolars, i que permeten conèixer amb més detall la implantació de les TIC als centres.

Els resultats de l’anàlisi economètrica mostren que el programa eduCAT va incidir negativament en l’adquisició de les competències analitzades, en una magnitud força similar per a cadascuna d’aquestes. Així, els alumnes en centres escolars que van implantar el programa han tingut, de mitjana, una reducció de tres punts en les proves de competències, que suposa una disminució del 5,1% de la nota mitjana. Per tant, s’observa un efecte negatiu del programa, si bé sembla que no és gaire important en termes quantitatius. Per gènere, l’impacte és menor en el cas de les noies que dels nois (especialment en català i anglès).

La implantació d’eines tecnològiques a les aules (catalanes i de la resta del món) no sembla que estigui en discussió. De fet, la tendència, en el temps, ha estat, i continua sent, incrementar l’ús d’ordinadors i altres eines relacionades amb les TIC als centres escolars. Per tant, en un context d’implantació i extensió de les TIC a les aules i entre l’alumnat, els resultats obtinguts obliguen a certes reflexions. En primer lloc, pot resultar rellevant el tipus de programa per aplicar: entrega d’ordinadors als alumnes o als centres, haver de compartir, o no, els ordinadors, ús d’altres eines TIC, etc. En segon lloc, serà important la manera d’implantar qualsevol programa. En aquest sentit, s’ha de tenir en compte tant quina és la situació inicial (disponibilitat d’ús de la xarxa TIC, condicions físiques dels centres, formació específica

del professorat, grau de compromís dels agents, etc.) com la manera com l’Administració impulsora aplica el programa. Finalment, no es pot donar per descomptat que un programa d’inversió en TIC tindrà èxit i, en conseqüència, cal monitoritzar apropiadament totes les accions empreses. En particular, la implantació de qualsevol programa ha de preveure un sistema d’avaluació que permeti saber l’efecte causal del programa. D’aquesta manera, es podran corregir efectes adversos que puguin sorgir i promoure accions que afavoreixin l’adquisició de competències i el procés d’ensenyament-aprenentatge.

Abans de concloure volem assenyalar les limitacions que presenta l’estudi. En primer lloc, les dades de les quals disposem no són experimentals, per tant, resulta més complicat demostrar la causalitat dels efectes observats. En relació amb aquest tema, la metodologia utilitzada permet inferir causalitat, però se sustenta en determinats supòsits. En segon lloc, hauria d’haver-hi més informació disponible en relació amb els alumnes i els centres escolars. Així, l’anàlisi de regressió plantejada pot no haver inclòs determinades variables o factors rellevants per manca d’informació sobre això. L’enquesta pròpia ajuda, en part, a reduir aquesta mancança, però no l’elimina. En tercer lloc, l’estudi ha calculat l’impacte sobre competències avaluades. Per tant, no es pot afirmar res quant a les conseqüències del programa avaluat sobre competències no avaluades (altres matèries), les competències no cognitives (entre d’altres, el treball en equip, la implicació de l’alumnat o les competències de recerca) o el grau d’assimilació de les noves tecnologies.

En qualsevol cas, l’estudi presentat és una primera aproximació que permet establir vincles entre l’aplicació d’un programa educatiu públic (l’eduCAT) i els resultats acadèmics dels estudiants, a partir del qual altres investigacions poden desenvolupar anàlisis complementàries.

62 63

Biografia

7. Bibliografia

Alonso-Cano, C., Romeu-Fontanillas, T. & Guitert-Catasús, M. (2014) Los Entornos 1x1 en Cataluña. Entre las expectativas de las políticas educativas y las voces del profesorado. Educar, 50(1), 0041-64. Angrist, J. & Lavy, V. (2002) New evidence on classroom computers and pupil learning. The Economic Journal, 112(482), 735-765. Area, M. (2010) El proceso de integración y uso pedagógico de las TIC en los centros educativos. Un estudio de casos. Revista de Educación, 352, 77-97. Banerjee, A.V., Cole, S., Duflo, E. & Linden, L. (2007) Remedying education: evidence from two randomized experiments in India. The Quarterly Journal of Economics, 122(3), 1235-1264. Barrera-Osorio, F. & Linden, L.L. (2009) The use and misuse of computers in education: evidence from a randomized experiment in Colombia. World Bank Policy Research WP Series, Núm. 4836. Barrow, L., Markman, L. & Rouse, C.E. (2009) Technology’s edge: the educational benefits of computer-aided instruction. American Economic Journal: Economic Policy, 1(1), 52-74. Beuermann, D.W., Cristia, J., Cueto, S., Malamud, O. & Cruz-Aguayo, Y. (2015) One Laptop per Child at home: Short-term Impacts from a Randomized Experiment in Peru. American Economic Journal: Applied Economics, 7(2), 53-80. Campuzano, L., Dynarski, M., Agodini, R. & Rall, K. (2009) Effectiveness of reading and mathematics software products: findings from two student cohorts. National Center for Education Evaluation and Regional Assistance, NCEE 2009-4041. Carrillo, P.E., Onofa, M. & Ponce, J. (2011) Information technology and student achievement: Evidence from a randomized experiment in Ecuador. Inter-American Development Bank WP, Núm. 223. Cristia, J., Ibarrarán, P., Cueto, S., Santiago, A. & Severín, E. (2012) Technology and child development: Evidence from the one laptop per child program. IZA DP Núm. 6401. CSASE (2016). Avaluacions del Consell. Barcelona: Consell Superior d’Avaluació del Sistema Educatiu. http://csda.gencat.cat/ca/arees_d_actuacio/avaluacions-consell/ De Melo, G., Machado, A. & Miranda, A. (2014) The impact of a one laptop per child program on learning: evidence from Uruguay. IZA DP, Núm. 8489. Dobbie, W. & Fryer Jr, R.G. (2011) Getting beneath the veil of effective schools: Evidence from New York City. National Bureau of Economic Research, Núm. 17632. Escardíbul, J.O. & Mediavilla, M. (2016) El efecto de las TIC en la adquisición de competencias. Un análisis por tipo de centro educativo. Revista Española de Pedagogía, 264, 89-107. Fairlie, R.W. (2005) The effects of home computers on school enrollment. Economics of Education Review, 24(5), 533-547.

Fairlie, R.W. & London, R.A. (2012) The effects of home computers on educational outcomes: evidence from a field experiment with community college students. The Economic Journal, 122(561), 727-753. Fairlie, R.W. & Robinson, J. (2013) Experimental evidence on the effects of home computers on academic achievement among schoolchildren. American Economic Journal: Applied Economics, 5(3), 211-240. Goolsbee, A. & Guryan, J. (2006) The impact of Internet subsidies in public schools. The Review of Economics and Statistics, 88(2), 336-347. Leuven, E., Lindahl, M., Oosterbeek, H. & Webbink, D. (2007) The effect of extra funding for disadvantaged pupils on achievement. The Review of Economics and Statistics, 89(4), 721-736. Machin, S., McNally, S. & Silva, O. (2007) New technology in schools: is there a payoff? The Economic Journal, 117(522), 1145-1167. Malamud, O. & Pop-Eleches, C. (2011) Home computer use and the development of human capital. The Quarterly Journal of Economics, 126(2), 987-1027. Mo, D., Swinnen, J., Zhang, L., Yi, H., Qu, Q., Boswell, M. & Rozelle, S. (2013) Can one-to-one computing narrow the digital divide and the educational gap in China? The case of Beijing migrant schools. World Development, 46, 14-29. Oosterbeek, H. & Ponce, J. (2011) The impact of computer use on earnings in a developing country: evidence from Ecuador. Labour Economics, 18(4), 434-440. Penuel, W.R. (2006) Implementation and effects of one-to-one computing initiatives: a research synthesis. Journal of Research on Technology in Education, 38(3), 329-348. Rouse, C.E. & Krueger, A.B. (2004) Putting computerized instruction to the test: a randomized evaluation of a “scientifically based” reading program. Economics of Education Review, 23(4), 323-338. Sigalés, C., Mominó, J., Meneses, J. & Badia, A. (2008) La integración de Internet en la educación escolar española: Situación actual y perspectivas de futuro. Barcelona, Universitat Oberta de Catalunya. Slater, H., Davies, N.M. & Burgess, S. (2012) Do teachers matter? measuring the variation in teacher effectiveness in England. Oxford Bulletin of Economics and Statistics, 74(5), 629-645. Vigdor, J.L., Ladd, H.F. & Martinez, E. (2014) Scaling the digital divide: home computer technology and student achievement. Economic Inquiry, 52(3), 1103-1119.

64 65

Annex. Enquesta adreçada als directors de centres escolars


Em dirigeixo a vostè amb la finalitat de sol·licitar la participació del seu centre escolar en una enquesta adreçada a les escoles de secundària de Catalunya. El qüestionari fa referència a la implantació de les TIC als centres escolars, ja que l’estudi analitza l’impacte de les TIC en el rendiment acadèmic dels estudiants de matemàtiques i llengües (a partir de les proves de competències que fa el Consell Superior d’Avaluació del Sistema Educatiu). Per aquest motiu, tan sols demanem la implementació en aquestes matèries. Els centres escolars han estat escollits aleatòriament per l’Institut d’Estadística de Catalunya (Idescat).

QÜESTIONARI DIRECCIÓ CENTRES ESCOLARS

PREGUNTES sobre les TIC: Aquest apartat de qüestions està dissenyat per avaluar elements relacionats amb les TIC. Hi ha preguntes adreçades als cursos de l’ESO i d’altres de relatives al conjunt del centre.

1. Especifiqui el “codi centre” numèric assignat pel Dept. d’Ensenyament:

2. Especifiqui, aproximadament, el % de despesa en TIC (pissarra digital, ordinadors, xarxa Wi-Fi, contractació de serveis informàtics, etc.) sobre el total de despesa al centre:

0% 1%-5% 6%-10% 11%-15% 16%-20% 20%Curs 2009-2010

Curs 2010-2011

Curs 2011-2012

Curs 2012-2013

Curs 2013-2014

Curs 2014-2015

Curs 2015-2016

Connecti-vitat

Fiabilitatdispositiu

Qualitat llibres

Formaciódocents

AltresNo n’hiha hagut

Curs 2009-2010

Curs 2010-2011

Curs 2011-2012

Curs 2012-2013

Curs 2013-2014

Curs 2014-2015

Curs 2015-2016

3. Especifiqui per al seu centre escolar quins considera que han estat els factors limitants per aplicar l’ús de dispositius digitals a les aules durant els cursos següents?

Ordinadors PortàtilsTauletes/

iPadsLlibres

electrònicsSoftwareespecífic

Cap enaquest curs

Curs 2009-2010 (1r ESO)

Curs 2010-2011 (2n ESO)

Curs 2011-2012 (3r ESO)

Curs 2012-2013 (4t ESO)


iPadsLlibres


Cap enaquest curs

Curs 2010-2011 (1r ESO)

Curs 2011-2012 (2n ESO)

Curs 2012-2013(3r ESO)

Curs 2013-2014 (4t ESO)


iPadsLlibres


Cap enaquest curs

Curs 2011-2012 (1r ESO)

Curs 2012-2013 (2n ESO)

Curs 2013-2014 (3r ESO)

Curs 2014-2015 (4t ESO)

4. Especifiqui en quin d’aquests cursos s’han utilitzat els dispositius següents com a eina habitual per al desenvolupament de les classes per la promoció que va iniciar 1r d’ESO el curs 2009-2010:



66 67



iPadsLlibres


Cap enaquest curs

Curs 2012-2013 (1r ESO)

Curs 2013-2014 (2n ESO)

Curs 2014-2015 (3r ESO)

Curs 2015-2016 (4t ESO)

Llibres de text digitals comercials

Recursos oberts d’Internet

Recursos generats pel professorat del centre

Accés a llibres de text digitals

Cerca i consulta d’informació

Activitats de comunicació i col·laboració

Activitats d’avaluació

Activitats creació dels alumnes (recerca, podcast, presentacions multimèdia...)

Especifiqui’n d’altres


8. En aquest període, quins han estat els usos habituals d’aquests dispositius al seu centre escolar? Marqui totes les respostes que corresponguin.

PREGUNTES sobre professorat i docència:

9. Quantes hores de formació específica en TIC ha rebut de mitjana el professorat de llengües (català, castellà i anglès) i matemàtiques a l’ESO?

Cap formació

Fins a 15 h 16 h -30 h 31 h - 60 h > 60 h

Curs 2009-2010

Curs 2010-2011

Curs 2011-2012

Curs 2012-2013

Curs 2013-2014

Curs 2014-2015

Curs 2015-2016

10. Quina és la franja d’edat en què se situa la mitjana d’edat dels professors de llengües i matemàtiques a l’ESO durant els darrers set cursos escolars (des de 2009-2010 fins a 2015-2016)

11. Especifiqui a quins cursos s’han produït canvis o no en la manera d’ensenyar a l’aula elsalumnes d’ESO:

12. En el cas d’haver-se produït canvis en la manera d’ensenyar, si us plau, especifiqui quins han estat:

25-35 36-45 46-55 56-65 > 60

Llengua catalana

Llengua castellana

Llengua anglesa

Matemàtiques

No s’hanproduït canvis

Canvis no causats

Canvis a causade les TIC

Curs 2009-2010

Curs 2010-2011

Curs 2011-2012

Curs 2012-2013

Curs 2013-2014

Curs 2014-2015

Curs 2015-2016

68

PREGUNTES sobre l’alumnat:

13. Especifiqui quin ha estat, aproximadament, el percentatge d’absentisme al conjunt de l’ESO al seu centre escolar segons el curs:

0% 1%-5% 6%-10% 11%-15% 16%-20% 21%-25% > 25%Curs 2009-2010

Curs 2010-2011

Curs 2011-2012

Curs 2012-2013

Curs 2013-2014

Curs 2014-2015

Curs 2015-2016

0% 1%-5% 6%-10% 11%-15% 16%-20% 21%-25% > 25%Curs 2012-2013

Curs 2013-2014

Curs 2014-2015

Curs 2015-2016

0% 1%-5% 6%-10% 11%-5% 16%-0% 21%-30%

31%-40%

> 40%

Curs 2009-2010

Curs 2010-2011

Curs 2011-2012

Curs 2012-2013

Curs 2013-2014

Curs 2014-2015

Curs 2015-2016

14. Especifiqui quin ha estat, aproximadament, el percentatge d’alumnat d’origen estranger a l’ESO al seu centre escolar segons el curs:

15. Especifiqui quin ha estat, aproximadament, el percentatge d’alumnes que no acaben l’ESO al seu centre escolar segons el curs:

Aquest estudi avalua l’impacte del programa eduCAT (de la Generalitat de Catalunya) en l’adquisició de competències dels alumnes de secundària. EduCAT va consistir en la introducció i ús d’ordinadors portàtils a les aules en el procés d’ensenyament-aprenentatge. El mètode d’anàlisi s’intenta assimilar als assajos clínics, amb un grup de tractament (centres escolars on s’implanta el programa) i un grup de control (on no s’implanta).

Els resultats mostren que la implantació de l’eduCAT va tenir conseqüències negatives en l’adquisició de competències de l’alumnat en totes les matèries avaluades (català, castellà, anglès i matemàtiques). L’impacte, però, no és quantitativament important: suposa una reducció d’un 5,1% en la nota mitjana obtinguda pels alumnes en el conjunt de proves. Aquest impacte negatiu va ser sempre més elevat en el cas dels nois que de les noies.

Un gra de sorra més en el procés de conèixer quins factors incideixen en l’aprenentatge i en l’avaluació de les polítiques públiques al nostre país.

Impacte del programa eduCAT en l’adquisició de ......L’estudi que teniu a les mans, sobre...

Documents

Transcript of Impacte del programa eduCAT en l’adquisició de ......L’estudi que teniu a les mans, sobre...