L’ús de proves objectives en l’avaluació del rendiment ... · tant proves d’assaig com...
36
0 L’ús de proves objectives en l’avaluació del rendiment acadèmic i les seves possibilitats per millorar l’aprenentatge en els estudiants de batxillerat . Emilio Manso Díez Curs 2008-2009
Transcript of L’ús de proves objectives en l’avaluació del rendiment ... · tant proves d’assaig com...
0
L’ús de proves objectives en l’avaluació del
rendiment acadèmic i les seves possibilitats
per millorar l’aprenentatge en els estudiants
de batxillerat .
Emilio Manso Díez
Curs 2008-2009
1
Índex.
1 Introducció............................................................. 4
1.1 Antecedents del tema objecte del treball ..........................................................5 1.2 Explicació del tema .......................................................................................... 7 1.3 Objectius i resultats proposats. ......................................................................... 9
2 Treball dut a terme............................................... 11
2.1 Metodologia emprada. .................................................................................... 11
Estudi 1. Avaluació continuada mitjançant PEM i resultats acadèmics................. 11 Estudi 2. Relacions entre les proves PEM i les d’assaig. ...................................... 13 Estudi 3. Creació d’un banc de preguntes . ...........................................................14
2.2 Desenvolupament del treball. ......................................................................... 14 2.3 Descripció dels recursos utilitzats . ................................................................ 20
3 Resultats obtinguts............................................... 22
3.1 Resultats. ........................................................................................................ 22 3.2 Presentació dels materials elaborats. ............................................................. 25 3.3 Guia didàctica per al professorat. .................................................................. 27
4 Discussió i conclusions...................................... 31
5 Bibliografia.......................................................... 35
6 Annexos............................................................... 35
2
3
Agraïments
Voldríem fer constar els següents agraïments: en primer lloc a l’alumnat que ha
viscut l’experiment. En segon lloc a les persones que han fet recerques en el mateix
camp com ara l’equip de la Universitat de Barcelona de Didàctica de la Geografia i la
Història a l’ensenyament secundari (DIGHES) dirigits per Cristòfol Trepat i també els
professors Josep Cantó Silva i Josep M. Olm Miras amb importants treballs sobre
proves objectives, les recerques dels quals han estat un punt de partida ineludible per la
nostra; també ha estat molt útil l’ajuda prestada generosament pels col·legues de
l’Institut José Clusa, Salvador Comas o Saturnino Álvarez, entre d’altres, que m’han
fet un cop de mà per elaborar els fulls de càlcul Excel. Finalment i molt especialment
el nostre agraïment per Jordi Pérez Sánchez , tutor d’aquesta recerca. A ell devem
l’inicial interès pel treball, l’orientació imprescindible en la redacció del projecte, la
supervisió en la seva realització i l’anàlisi estadística final que ha permès la redacció
de les conclusions.
4
1 Introducció
L’avaluació dels aprenentatges dels estudiants és un element decisiu en
qualsevol projecte educatiu. És més, és tant important que marcarà la forma d’aprendre
dels alumnes. L’avaluació té cinc missions importants: comprovar el grau d’assoliment
dels objectius educatius, decidir la progressió o no dels estudiants, mantenir l’equitat
ordenant els alumnes a partir dels seus aprenentatges, informar a la institució sobre la
marxa dels programes docents i, finalment, millorar l’aprenentatge.
Així, la selecció dels mètodes per avaluar els aprenentatges es converteix en un
repte important per qualsevol docent. Sabem que en funció del nivell de profunditat dels
objectius educatius (coneixements, comprensió, aplicació, anàlisi o síntesi i avaluació)
uns mètodes serien més adequats que d’altres.
Tradicionalment en l’ensenyament secundari l’avaluació dels aprenentatges es fa
mitjançant proves de subministrament ( d’assaig, etc.), on l’estudiant ha d’emetre una
resposta més o menys extensa. Contràriament, les proves de selecció, on l’alumne/a ha
de seleccionar una resposta, són molt poc utilitzades i, fins i tot, tenen mala premsa.
Com a professionals de l’ensenyament mitjà, no volem renunciar a l’ús de
proves de selecció, ja que són totalment objectives i tenen moltes possibilitats per
millorar l’aprenentatge dels estudiants. És per això que des de fa temps venim utilitzant
tant proves d’assaig com objectives en la modalitat de proves d’elecció múltiple
(PEM) en la nostra pràctica professional sempre amb la idea d’estudiar la relació entre
elles i les seves possibilitats per millorar l’equitat en els processos d’avaluació i en la
millora dels aprenentatges.
La present memòria exposa el treball fet en torn a les proves objectives
d’elecció múltiple ( PEM) en segon de Batxillerat utilitzades com a eina per a la millora
dels rendiments acadèmics en el procés d’aprenentatge en la matèria d’Història
d’Espanya.
Aquesta memòria està dividida en els apartats recomanats; no obstant hi hagut
un petit canvi. Ens semblava més adient posar, després dels objectius, la metodologia
emprada i a continuació el disseny del pla de treball. Molt més important és el següent:
ens ha semblat que el fonamental del treball són els materials elaborats ja que són els
5
que podran fer servir altres professors o professores. Donada la seva extensió els hem
posat en els annexos; per tant, les persones que vulguin poden anar directament a
aquests annexos per fer-se una idea ràpida de la feina feta o bé per treballar-ne
utilitzant-los.
En el projecte inicial hi havia un objectiu que finalment hem hagut de descartar.
Es tractava d’introduir el format de proves objectives anomenat Proves de
Correspondència Variable (Extending-Matching-Questions). L’experimentació s’havia
de portar a terme en l’assignatura d’Història de l’ Art, a segon de Batxillerat. Quan el
projecte es va redactar en la primavera del curs 2007-08 estava previst que donaríem
aquesta matèria el curs següent, cosa que finalment no va ocórrer per causes alienes a
nosaltres. És per això que aquest objectiu i l’estudi a què havia de donar lloc no han
pogut ser realitzats. Per tant, ens hem centrat en un objectiu principal: comprovar si l’ús
de PEM en l’avaluació continua fa millorar els resultats finals dels estudiants.
1.1 Antecedents del tema objecte del treball
La nostra preocupació pel tema de l’avaluació dels aprenentatges ens havia
portat a establir relacions professionals amb el professor Jordi Pérez de la Universitat
Pompeu Fabra, expert en el tema i especialment en proves objectives. Com a
conseqüència d’aquesta interacció, es va plantejar la idea d’introduir a l’ensenyament
secundari proves PEM per tal de estudiar la seva utilitat i eficàcia..
El professor Jordi Pérez , que ha estat el tutor i supervisor del nostre projecte,
actualment es responsable del Grup de Recerca Educativa en Ciències de la Salut
(GRECS) del Departament de Ciències Experimentals i de la Salut de la Universitat
Pompeu Fabra.
La seva recerca actual està centrada especialment en els temes de l’avaluació
dels aprenentatges dels estudiants, de l’aprenentatge actiu i del benestar psicològic dels
estudiants universitaris. Sobre temes docents, en els últims anys ha dirigit diverses tesis
doctorals, ha publicat diversos articles en revistes científiques, ha realitzat
intervencions en congressos d’educació i ha realitzat activitats formatives a professors
de diverses universitats espanyoles.. Durant l’any 2003 va impartir un taller sobre
6
proves objectives als professor responsables de les proves PAU. Aquest taller va estar
organitzat per l’Oficina de Coordinació i d’Organització de les PAU de Catalunya.
A partir d’aquest contacte, en cursos passats vam anar introduint les proves
objectives per les avaluacions en l’alumnat d’ESO. Eren proves sense gaire rigor i
molt secundàries en relació al conjunt d’exàmens . D’altra banda, només formaven part
de l’avaluació sumativa . Tot i això van significar un precedent important, sobre tot en
el coneixement de quina era l’actitud de l’alumnat quan realitzaven aquestes proves i
especialment en la comprovació de la necessitat d’entrenament i de pràctica continuada
com una condició important a l’hora de preparar i contestar de manera adequada
aquests tipus de proves.
El precedent més immediat i directe de la nostra recerca és la
investigació realitzada pel grup de recerca en Didàctica de la Geografia i la Història a
l’ensenyament secundari (DIGHES) del Departament de didàctica de les ciències socials
de la Universitat de Barcelona i dirigida pel professor Cristòfol Trepat ( Trepat, 2004).
En realitat, la investigació del DIGHES és el punt de partida de la nostra en la mesura
en què hem assumit una gran part dels seus plantejaments, objectius i metodologia, si
bé l’àmbit de exploració, les dimensions de la recerca, així com el disseny de
l’experimentació són diferents.
L’objectiu principal d’aquella recerca consistia en comprovar si el fer servir
PEM com a avaluació continuada millorava l’aprenentatge dels estudiants d’Història en
el batxillerat. La hipòtesi amb la que treballaven implicava una relació positiva i els
resultats van evidenciar que els estudiants que havien fet avaluació continuada amb
PEM tenien millor rendiment que els seus companys que, amb els mateixos professors,
no havien tingut aquesta avaluació continuada. Això passava tant a les avaluacions
finals d’Història del seu institut com a les proves PAU,.
Una vegada iniciada la investigació vam tenir coneixement de dues Llicències
d’estudis també directament relacionades amb la nostra. Una és la de Josep M. Olm
Miras que va fer una recerca el curs 2005-06 titulada “ Les proves d’elecció múltiple
com a instrument pedagògic de millora dels resultats dels aprenentatges matemàtics al
batxillerat.”. L’altra és la realitzada el curso 2006-07 per Josep Cantó Silva titulada
“Estudi, parametrització i elaboració sistemàtica de proves objectives”. Ambdues ens
han estat molt útils en aspectes de la nostra recerca especialment els relacionats amb la
7
definició, caracterització i manera d’elaborar els ítems de les proves objectives, en les
qüestions relatives a la tipologia de les proves d’assaig i de les proves objectives, en
els indicadors de qualitats dels ítems ( índex de dificultat, índex de discriminació, etc. )
així com en la funció de les proves objectives en relació a l’avaluació formativa.
Per tant, la nostra recerca ha estat continuació d’aquestes citades anteriorment
però sense pretendre ésser tan general ni tan àmplia; és una experiència en un institut
de secundària, a la manera d’un estudi de cas, centrat sobre tot en l’eficàcia en els
resultats acadèmics de l’ús de proves objectives setmanals com a part de l’avaluació
formativa.
1.2 Explicació del tema
La recerca s’ha proposat investigar la utilització de proves objectives d’elecció
múltiple (PEM a partir d’ara) en els processos d’aprenentatge i avaluació en
l’ensenyament secundari post obligatori ( batxillerat) en matèries de ciències socials.
S’ha fet en la matèria d’Història d’Espanya però amb la intenció d’aplicar les PEM, en
altres matèries de ciències socials com ara Història Contemporània general o
Geografia... o bé d’altres àrees. Com hem dit abans, la investigació s’ha realitzat en un
IES de Barcelona amb estudiants de segon de batxillerat.1
Aquestes proves no són habituals en l’àmbit de les ciències socials i, a més a
més, acostumen a tenir “mala premsa”, és a dir, es miren amb recel argumentant que no
avaluen coses fonamentals com la capacitat de síntesi , la redacció argumentada, la
crítica de documents, l’expressió escrita, etc. Es solen considerar especialment poc
compatibles amb la necessitat d’ensenyar, i per tant avaluar, habilitats o procediments
relacionats amb l’expressió oral i sobre tot amb l’escrita, imprescindibles en tot procés
d’aprenentatge. Per altra part condicionen o limiten la varietat de preguntes o bé la
seva formulació i en conseqüència també limiten la varietat de registres que l’alumne
es veu obligat a fer servir en les proves d’assaig . Els “tests”, es diu, també redueixen
les possibilitats de l´alumnat d’utilitzar recursos mentals o cognitius diferents en cada
persona. Per exemple, uns són bons en l’expressió escrita, malgrat la seva debilitat en
1 El nom de l IES i d’altres dades sobre l’alumnat no es cita directament per raons de confidencialitat.
8
els continguts o en el raonament adequat i d’altres a l’inrevés; uns son bons en
preguntes curtes, de contestació sintètica, i d’altres es defensen millor en el
desenvolupament ampli de temes; uns interpreten bé mapes o gràfics, d’altres no saben
què dir. La combinació de les variables pot augmentar la diversitat de tipus o models
d’alumnes en relació a com aprenen, com ho mostren i com s’enfronten a les proves..
Pensem que fonamentalment la posició crítica respecte a les proves objectives
prové de la creença que aquest tipus de proves només poden avaluar els nivells més
baixos de la taxonomia de Bloom (coneixements o comprensió). No obstant això, tenim
evidències (Pérez i Torrubia, 1981) de què amb proves objectives podem arribar a
avaluar objectius bastant complexos com els d’anàlisi i aplicació .
Òbviament, som conscients de qu en aquestes proves no podem arribar a
avaluar prou bé la capacitat de síntesi o d’avaluació dels estudiants i, per tant, hauríem
de fer servir d’altres tipus de proves com les de subministrament (assaig, portafolis,
etc.). L’ideal seria combinar els dos tipus de prova per treure’n el millor partit a cada
espècie. El que volem mostrar és que, malgrat els defectes que puguin tenir, els tests
tenen un seguit de mèrits que cal ressaltar i que la investigació tractaria de posar en
evidència .
Així doncs, la justificació de la recerca està directament relacionada amb
aquestes virtuts de les proves objectives ni que sigui en combinació amb les altres. Tant
usant-les en les avaluacions finals del trimestre o del curs com, especialment, en
l’avaluació formativa.
“Pedagògicament, l’avaluació formativa ve a constituir una constatació
permanent del nivell d’aprenentatge de cada alumne en cada unitat d’aprenentatge.
Aquesta constatació es pot portar a terme a través de procediments d’observació de
l’activitat discent o bé a mitjançant l’aplicació de proves amb caràcter freqüent i molt
específic. (...)
Les PEM poden ajudar a determinar el grau d’assoliment dels objectius
didàctics, de l’adequació de la metodologia docent i de la bona organització de les
experiències d’aprenentatge, això és, avaluació formativa. Així, quan una majoria
d’estudiants té un rendiment deficient respecte a preguntes equivalents d’un test
idòniament validat, cal que el professorat actuï a nivell per tal de corregir aquesta
tendència.” (Olm, 2007)
A més a més de l’avaluació formativa, però, les PEM es poden fer servir com a
part de les avaluacions sumatives.
9
Aquests exàmens “finals” poden ser els de final de trimestre o els de juny, o
quan el professorat ho decideixi o la matèria ho necessiti, per exemple aquells exàmens
basats en els objectius mínims establerts, els de competències bàsiques, els que es
facin servir per recuperació, etc.
Potser on millor es pot evidenciar aquesta utilitat seria en els exàmens de
selectivitat on les condicions de la correcció de les proves exàmens d’assaig i la
importància de la nota en relació a la possibilitat d’aprovar o simplement en
l’oportunitat o no d’accedir a certs estudis (nota de tall) fan molt més important la
necessària objectivitat en la correcció.
Efectivament, els que han tingut experiència com a correctors de proves de
selectivitat saben perfectament què difícil és ser objectius quan tens 150 o més,
exàmens per corregir en pocs dies, el que suposa un ritme de correcció intensíssim ( 6-
8-10 hores la dia) i com això genera un esgotament que es tradueix, vulguis o no, en
una gran diferència en la puntuació dels exercicis: no és la mateixa correcció a primera
hora que a mig matí o al vespre; tampoc és el mateix corregir i puntuar proves
d’alumnes amb bona lletra, que exàmens de lletra difícil o gairebé il·legibles. L’estat
d’ànim del corrector també pot influir .
Finalment, totes aquestes variables poden relacionar-se entre sí, amb el que
tindríem una gran disparitat en els resultats. Per tant, els tests (PEM) en aquest tipus de
proves com la de Selectivitat, seria on els seus “costos” valdrien la pena ser “pagats”
en benefici de la imprescindible objectivitat i per tant de l’equitat..
1.3 Objectius i resultats proposats.
En el nostre treball ens hem plantejat dos objectius de recerca i un més d’interès
educatiu que exposem a continuació:
1. Experimentar l’ús de proves objectives, en concret de PEM, per tal de
comprovar si la seva utilització en l’avaluació contínua, pot afavorir
l’aprenentatge de la Història en els estudiants de Batxillerat.
10
2. Establir la relació entre proves d’elecció múltiple (PEM) i proves de
subministrament (especialment d’assaig) en l’assignatura d’Història d’Espanya.
3. Generar i posar a disposició del professorat un banc de preguntes d’elecció
múltiple (PEM) de la matèria d’Història d’Espanya a partir dels objectius
didàctics previstos fent servir taules d’especificacions.
En referència als objectius 1 i 2 vam fer les hipòtesis següents.
1. Esperàvem que els estudiants amb avaluació continuada fent servir proves PEM
tindrien millors resultats acadèmics que el grup control que no havia tingut
aquestes proves en l’avaluació continuada.
2. Esperàvem una relació alta i positiva entre les proves PEM i les d’assaig.
11
2 Treball dut a terme
2.1 Metodologia emprada.
El projecte de recerca contemplava tres estudis: Determinar si l’avaluació
continuada mitjançant PEM millorava l’aprenentatge dels estudiants, determinar la
relació entre els resultats de les PEM i les proves d’assaig i, finalment, generar un pul o
banc de preguntes PEM per posar-les a disposició del professorat d’Història.
Estudi 1. Avaluació continuada mitjançant PEM i res ultats acadèmics.
Participants. Els participants a l’estudi han estat tots els estudiants matriculats en l’assignatura
d’Història d’Espanya de l’IES “X” 2de Barcelona. Aquests estudiants formen part de
dos grups classes amb un nombre de 19 pel grup experimental i 16 per grup control 3.
El grup experimental o control es va decidir per atzar i va correspondre al grup de
“ciències” ( els del Batxillerat científic i tecnològic) que era el més nombrós. El grup
control va resultar ser el de “lletres” ( Batxillerat de ciències socials i humanístic).
Variables d’estudi
La variable independent seria l’avaluació continuada mitjançant PEM amb dos
valors: realitzada vs no realitzada. Els estudiants del grup experimental tindran
avaluació continuada amb PEM i els alumnes del grup control no faran aquesta
avaluació continuada sinó un altra.
2. El nom de l’ IES no apareix per raons de confidencialitat. 3 En el projecte, fet durant el curs 2007-08 i per tant abans de la matriculació efectiva, es preveia un nombre al voltant d’unes 25-30 alumnes que finalment s’ha vist considerablement reduït, condicionant de forma important les possibilitats d’explotació estadística.
12
Com a variables dependents d’aprenentatge farem servir dues mesures: les
qualificacions sumatives de l’assignatura d’Història d’Espanya i les qualificacions
obtingudes en les proves d’Història en les proves PAU.
Així, les variables que hem fet servir en el nostre estudi són les següents:
- La nota mitjana obtinguda durant l’ESO (ESO) - La nota mitjana obtinguda durant el primer curs de Batxillerat (1r Batx). - La nota mitjana obtinguda durant el segon curs de Batxillerat (2n Batx). - La nota obtinguda durant les proves PAU en Història (PAU Història)
- La nota global en avaluació continuada durant el primer trimestre (A Cont. 1) - La nota global en avaluació continuada durant el segon trimestre (A Cont. 2) - La nota global en avaluació continuada durant el tercer trimestre (A Cont. 3) - La nota obtinguda en la primera PEM del primer trimestre (T1 PEM 1) - La nota obtinguda en la segona PEM del primer trimestre (T1 PEM 2 ) - La nota obtinguda en la primera PEM del segon trimestre (T2 PEM 1) - La nota obtinguda en la segona PEM del segon trimestre (T2 PEM 2) - La nota obtinguda en la primera PEM del tercer trimestre (T3 PEM 1) - La nota obtinguda en la segona PEM del tercer trimestre (T3 PEM 2) - La nota obtinguda en el primer assaig del primer trimestre (T1 ASS 1) - La nota obtinguda en el segon assaig del primer trimestre (T1 ASS 2 ) - La nota obtinguda en el primer assaig del segon trimestre (T2 ASS 1) - La nota obtinguda en el segon assaig del segon trimestre (T2 ASS 2) - La nota obtinguda en el primer assaig del tercer trimestre (T3 ASS 1) - La nota obtinguda en el segon assaig del tercer trimestre (T3 ASS 2) - La nota final obtinguda en l’assignatura (NOTA Final)
Procediment.
1. Per a l’avaluació continuada vàrem generar les preguntes per les proves
objectives PEM ( els tests setmanals, Annex 5). Alhora, es preparaven els
exercicis o qüestions a usar pel grup de control (Annex 3).
2. Una vegada cada setmana el grup experimental passava proves PEM, mentre que
el grup control feia l’avaluació continuada a la manera tradicional ( realització
d’activitats i exercicis).
13
3. També van generar noves preguntes per les PEM pels exàmens trimestrals.
Simultàniament, es redactaven les preguntes dels exàmens d’assaig. Al mateix
temps es feien els fulls de correcció per cada examen.
4. Dos cops al trimestre es feien exàmens idèntics als dos grups consistents en una
part de preguntes PEM i una part d’assaig (Annex 6).
5. Posteriorment, es feien les comparacions de resultats entre els dos grups
utilitzant la prova “t d’student”
Estudi 2. Relacions entre les proves PEM i les d’a ssaig. Participants. Els mateixos de l’estudi 1
Variables d’estudi
Els resultats de les 6 proves PEM i les 6 proves d’assaig.
Procediment.
1.- En primer lloc, vàrem fer Correlacions de Pearson entre els resultats de les
proves PEM i els de les proves d’assaig per cada sessió d’avaluació.
2.- Posteriorment, vàrem fer Correlacions entre les notes de les avaluacions
d’Història i d’altres indicadors acadèmics previs (ESO i 1r de Batxillerat) i
posteriors ( 2n de Batx. i PAU).
14
Estudi 3. Creació d’un banc de preguntes . Procediment.
Per cada tema de l’assignatura férem una bateria de preguntes PEM en funció
de cadascun dels objectius del tema. Cada pregunta es va ubicar en un quadre
d’especificacions segons l’estil d’aprenentatge o tipus de coneixement requerit.
2.2 Desenvolupament del treball.
En aquest apartat es detallen cadascun dels passos o tasques que hem hagut de
fer a mesura que s’anava fent la recerca.
1r. Els temes i els objectius
Es van establir les unitats temàtiques bàsiques per cadascuna de les quals
s’establirien uns objectius.
Donat que el temari de la matèria és molt ampli, es va decidir agrupar els temes
o lliçons de manera diferent a com habitualment venen dividits en el llibre de text que
feien servir a classe ,“Història” de l’editorial Barcanova. Finalment hem agrupat el
temari de la següent manera:
Tema 1 i 2 . Hispània romana i Visigòtica . L’edat mitjana Tema 3. L’edat Moderna 1492-1789 Tema 4 . La implantació del sistema liberal a Espanya (1808-1874 Tema 4 B. El Catalanisme al segle XIX. (1a part.) Tema 5 . Economia segle XIX Tema 5 B . El Moviment obrer al XIX Tema 6. La Restauració. De l’inici al “desastre” (1875-1898) Tema 7. Del ”desastre” a la segona República. Tema 8. Economia i societat 1898-1931 Tema 9. La segona república. Tema 10. Guerra civil Tema 11. Franquisme I. Política. Tema 12 . Franquisme II. Economia i Societat
15
Tema 13. La Transició. Tema 14. La democràcia consolidada.
Aquest temes o lliçons, desglossats en apartats, apareixen en l’annex 1.
La formulació dels objectius s’ha fet procurant que fossin al voltant de 10 i amb
formulacions àmplies, sense prejudici de una formulació més desglossada quan es
considerés necessari, com així ha estat fet en alguns temes. L’últim tema, “La
democràcia consolidada” del qual hi ha dossier per l’alumnat, en canvi no té fetes les
preguntes per manca de temps.
2n: Dossier de l’alumnat.
Per cada tema que s’anava desenvolupant, prèviament es feia un dossier per
l’alumnat on hi constaven els objectius del tema i, desprès, el tema desenvolupat
parcialment. Generalment eren esquemes dels grans apartats i subapartats. A sota de
cada apartat hi havia un espai en blanc a treballar de diferents maneres: omplir
esquemàticament els espais seguint les explicacions magistrals del professor; omplir
els espais fent esquemes o resums a partir del mateix llibre treballat per l’alumnat i
posteriorment corregit a classe; una tercera opció era la de contestar les preguntes o
exercicis del llibre i que els propis alumnes/as relacionessin cada exercici amb
algun dels apartats del guió.. En el annexos es presenta un model o exemple dels
dossiers lliurats a l’alumnat, en concret el del tema de “La Transició”. Annex 2
Si incorporem aquí aquest material com a part de la recerca és perquè l’alumnat
sabia que els grans apartats solien coincidir amb els objectius i, per tant, que de cada
un d’ells es farien les preguntes o ítems de les PEM . També les preguntes de les
proves d’assaig normalment es referien a algun dels grans apartats del dossier. Hi ha
una segona raó; en el grup control l’avaluació continuada es feia a base d’exercicis
diversos que normalment implicaven realitzar i treballar els dossiers, com per
exemple per fer una explicació oral a classe, amb el dossier al davant a manera de
“xuleta”, d’un dels apartats del dossier. Les diverses modalitat d’activitats o
exercicis apareixen en els annexos ( Annex 3)
16
3r. Quadres d’especificacions.
De cada tema es van fer unes plantilles pels quadres d’especificacions on es
van anar ubicant les diferents preguntes possibles seguint un doble criteri: ubicació en
relació a l’objectiu que pretenia avaluar; ubicació en relació al tipus de pregunta, es a
dir, en funció de la competència o habilitat que la pregunta requeria.
Cada pregunta respon a un estil d’aprenentatge, és a dir que està relacionada
amb un nivell de profunditat dels objectius educatius : coneixements, comprensió,
aplicació, anàlisi o síntesi i avaluació, seguint la taxonomia de Bloom abans esmentada.
Hem simplificat aquesta classificació seguint la recerca de C. Trepat ( Trepat, 2009)
que havia establert en la investigació que va dirigir. Segons aquesta, els graus de
qualitat en la manifestació del coneixement històric es poden agrupar en tres blocs:
coneixement-informació, comprensió-aplicació i síntesi-avaluació . A continuació
reproduint l’esquema on això queda reflectit.
Grau de qualitat en la manifestació del coneixement històric Coneixement-informació
• Cronologia • Identificació de fets històrics • Localització de fets històrics • Identificació de noms i conceptes històrics
Comprensió i aplicació
• Aplicació de vocabulari històric • Identificació de causes i efectes • Establiment de relacions conceptuals • Identificació d’idees principals en fonts establint-ne relacions • Identificació i explicació de continuïtats i canvis
Síntesi i avaluació
• Identificació de diferents interpretacions o de diverses emissions de judicis de valor
Hi ha un annex amb tots els quadres d’especificacions per temes: Annex 4.
17
A cada quadre d’especificacions consten els objectius del tema formulats només
amb l’encapçalament o amb el número ; les preguntes de cada objectiu agrupades en la
triple classificació esmentada. Cada pregunta té un No que és el que li correspon en el
“banc de preguntes”. Finalment, les preguntes ( amb el seu No del banc ) que
efectivament havien sortit en alguna de les proves. Si una pregunta havia sortit repetida
en les proves setmanals i en les proves trimestrals, queda assenyalada amb negreta.
4t: Banc de preguntes.
De cada tema es formulaven diferents preguntes per cada objectiu i així s’anava
generant el banc de preguntes que es mostra a l’ Annex 1 Per cada objectiu es
procurava fer diverses preguntes. El nombre de preguntes per objectius varia segons la
complexitat de l’objectiu - entre d’ altres raons- i en cada tema hi unes poques
preguntes encara per formular, cosa que es fa constar en el mateix arxiu. També és
important fer constar que algunes preguntes podien servir per diferents objectius,
donada la seva formulació.
La funció del banc és la de tenir un dipòsit de preguntes per poder-les anar fent
servir en diferents cursos, per tant, no totes les preguntes formulades sortien en les
proves objectives, només algunes i escollides a l’atzar
5è: Les proves PEM setmanals ( “test 5”).
Cada setmana, el divendres generalment, es feia una prova objectiva PEM o
test. Només la feia el grup experimental i sempre sobre la matèria explicada o
treballada a classe durant aquest període de temps. Cada test setmanal constava de 5
preguntes escollides a l’atzar entre els diferents objectius que s’havien desenvolupat,
aquella setmana. El test era corregit i lliurat als alumnes/as el següent dilluns per tal
d’assabentar-se de la nota i comentar les preguntes. Això era una part important en el
procés d’avaluació contínua, a més que l’alumnat podia anar acumulant experiència
en la manera de preparar la matèria i les pròximes proves, etc.
18
Cada examen de PEM setmanal abans que fos realitzat per l’alumnat, era testat
per part d’algun dels professors col·legues en el Departament de Socials de l’Institut,
amb la finalitat de revisar la formulació de les preguntes, la seva coherència i la seva
pertinença.
Totes les proves objectives setmanal són a l’Annex 5.
El grup control no tenia aquesta avaluació continua basada en tests PEM, però sí
havia de fer exercicis regularment com a part de la seva avaluació continuada. Aquests
els havia de fer tothom però només els eren demanats a alguns estudiants de forma
aleatòria. Al llarg del trimestre s’assegurava que cada alumne/a del grup control havia
estat requerit i/o se li havia corregit al menys dos dels diferents tipus d’exercici que es
demanaven. Aquests exercicis o activitats han tingut contingència sobre la qualificació
trimestral de l’assignatura. Els diferents tipus i característiques dels exercicis o de les
activitats pel grup control són a l’ Annex 3.
6è: Els exàmens trimestrals.
Dos cops al trimestre, a la cinquena setmana i a la desena aproximadament, tots
els estudiants d’ambdós grups han realitzat els exàmens trimestrals (per l’avaluació
sumativa). Cadascun constava d’una primera part, la prova objectiva de 15 preguntes
PEM, i una segona part que era una prova d’assaig de 3 preguntes sobre el temari
explicat. Ambdues eren part del mateix examen, igual pels dos grups, l’experimental i
el grup control. D’aquesta manera buscaven que les comparacions posteriors fossin
correctes, és a dir, basades en idèntiques proves. El “test 15” durava 25 minuts, la prova
d’assaig uns 55-60 minuts.. Per poder-ho fer, s’agafaven 20 minuts del temps d’esbarjo
i la classe anterior o posterior.
Els exàmens trimestrals es feien sempre un a continuació de l’altre, sense que els
alumnes dels dos grups poguessin tenir el més mínim contacte. No es permetia la sortida
de l’aula fins que el professor el donava per acabat i sortia cap a l’altra classe on tenia
lloc el següent examen en l’altre grup. No era permesa l’entrada de cap alumne en
l’examen que es feia a continuació.
Les preguntes dels exàmens trimestrals en les proves PEM eren 15, escollides
tant entre les que ja havien sortit en els tests setmanals com de noves, de les que es
trobaven a disposició en el banc de preguntes.
19
Per tal que els alumnes del grup control, els que no havien fet proves de PEM
setmanals (“tests 5”,) tinguessin condicions similars al del grup experimental,
disposaven, en un arxiu de la intraweb del centre, de tots els tests 5 o P.O. setmanals
que havia anat fent l’altre grup. Podien mirar-los, realitzar-los, preguntar sobre ells i,
abans dels exàmens trimestrals, es comentaven un dia en classe, si no tots els ítems, si
una part considerable. La raó és òbvia, un factor o variable que podia intervenir era la
falta d’assaig o experimentació continuada en aquest tipus de proves PEM en les quals
el grup control també havia de participar ni que fos només en els exàmens trimestrals.
La part de l’examen de preguntes obertes o d’assaig tenia una estructura similar
en tots els exàmens trimestrals. Sempre havia una pregunta (la de més puntuació)
consistent en comentar una font històrica, seguint el model establert en les proves de
Selectivitat. Una segona pregunta solia ser el desenvolupament, redactat o
esquemàticament, segons el cas d’un apartat genèric del dossier treballat a classe. La
tercera solia ser preguntes relatives a aspectes més parcials i de resposta més tancada,
com ara omplir mapes conceptuals, definir conceptes, ubicar o associar personatges a
fets històrics, desenvolupar un esquema que se’ls presentava fet a mitges, etc.
Per tal d’evitar l’efecte halo i de les expectatives sobre la investigació, es van
prendre les mesures necessàries per garantir la correcció anònima de les proves d’assaig
(en corregir, no sabíem si un estudiant pertany al grup control o a l’experimental).
Els exàmens trimestrals, tant els tests com les proves d’assaig, eren comentats
posteriorment a classe.
A l’Annex 6 es troben les proves PEM i d’assaig fetes al llarg del curs.
L’arxiu està precedit per un quadre on s’especifica el temari que entrava a cada examen
trimestral.
7è. La puntuació o valoració de les diferents proves.
Les PEM setmanals (test 5) que només les feia el grup experimental i els
exercicis i activitats d’avaluació contínua que només els feia el grup control, han tingut
un pes del 20% en la nota trimestral, en cada grup i respectivament.
20
Els exàmens trimestrals han valgut la resta, és a dir el 80%. Dintre dels exàmens
trimestrals, els test 15 i la prova d’assaig, valien cadascun el 50%. de la nota de
l’examen
Tots els test 5 feien nota mitja entre si .Els dos exàmens trimestrals feien nota
mitja entre si ; les dues notes mitges així obtingudes valien com hem dit abans el 20% i
el 80 % respectivament.
En diversos arxius Excel es van anar introduint els resultats els resultats de
cadascuna de les PEM setmanals i també de les trimestrals, tant les d’assaig com les
PEM. A partir d’aquest arxius es van obtenir les dades imprescindibles per l’anàlisi
estadística final feta amb el programa estadístic SPSS.
8è. L’avaluació final .
No hi ha hagut examen final en què hagués de participar tot l’alumnat. La nota
final era la mitjana de les trimestrals. Si algun alumne/a no arribava al 4,9 de mitjana
havia de presentar-se a un examen final que no era comú per a tots els suspesos. Cada
alumne/a tenia una part de la matèria a recuperar segons la nota que hagués obtingut en
cada trimestre, tot i que la majoria es van examinar del temari del segle XX, per tal de
facilitar, en cas d‘aprovar, el repàs pels temes de Selectivitat.
9è. Anàlisi estadística.
En acabar el procés docent de l’assignatura i de les proves de PAU, es van
realitzar proves estadístiques fent servir el paquet SPSS. Per a la comparació entre
grups hem fet servir la prova t d’Student i per establir les relacions entre les proves
d’assaig i les PEM, la correlació de Pearson.
2.3 Descripció dels recursos utilitzats .
Material utilitzat.
- PEM de 5 preguntes per l’avaluació continuada durant cada trimestre
21
.Una prova PEM cada setmana durant les 8 de cada trimestre en què es van
poder realitzar les proves. Les altres dues setmanes de cada trimestre han estat
ocupades pels exàmens trimestrals . En total s’han fet 24 proves setmanals amb un
total de 120 preguntes.
- PEM de 15 preguntes i prova d’assaig de 3 preguntes per cadascuna de les dues
avaluacions sumatives previstes per cada trimestre. En total 6 exàmens dividits en
dues parts, una el test de 15 preguntes; l’altra una prova d’assaig amb tres preguntes
- Resultats de les avaluacions trimestrals i de la final fetes pel equip docent de
l’institut.
22
3 Resultats obtinguts
3.1 Resultats. Estudi 1. La taula 1 presenta les mitjanes i les desviacions típiques de les nostres
variables d’estudi. També es mostren els valors de t d’Student i la seva significació
estadística en la comparació entre grups.
Taula 1 Mitjanes i desviacions típiques ( entre parèntesi) dels dos grups d’estudi.
EXPERIMENTAL
n= 18
CONTROL
n = 16
t
ESO 1r Batx. 2n Batx.
6,57 (1,2) 6,31 (1,1) 6,37 (1,2)
6,46 (0,9) 6,46 (1,2) 7,00 (1,3)
0,26
- 0,35 -1,43
PAU Història
5,67 (1,1) n = 3
8,12 (0,6) n = 4
-3,66*
A Cont. 1 A Cont. 2 A Cont. 3
5,14 ( 1,7) 4,41 ( 1,6) 4,11 (1,5)
5,10 (1,4) 4,75 (1,2) 5,72 ( 1,2)
0,05
- 0,67 - 3,45 *
T1 PEM 1 T1 PEM 2 T2 PEM 1 T2 PEM 2 T3 PEM 1 T3 PEM 2
4,91 ( 2,1) 6,24 (1,7) 5,04 ( 1,7) 4,07 (2,1) 5,72 (1,8) 4,73 (2,1)
5,27 (2,0) 6,06 (1,8) 5,87 (2,1) 4,96 (1,6) 5,48 (2,0) 4,73 (1,7)
- 0,50 0,29 -1,24 -1,36 0,35 -0,01
T1 ASS 1 T1 ASS 2 T2 ASS 1 T2 ASS 2 T3 ASS 1 T3 ASS 2
4,58 (1,9) 4,92 (1,8) 4,70 (1,7) 4,57 (1,5) 5,18 (1,5) 4,42 (1,5)
5,93 (1,9) 5,63 (1,7) 5,98 (1,7) 6,06 (1,8) 6,63 (1,7) 4,90 (1,7)
-2,03* -1,17
-2,21* -2,56* -2,60* -0,84
NOTA Final
4,85 (1,2)
5,54 (1,3)
-1,56
23
* p < 0,05
Podem observar que el grup control presenta notes superiors al grup
experimental en els resultats globals d’aprenentatge del batxillerat així com en la nota
fina, tot i que les diferències no van arribar a ser significatives. Així, també en la prova
PAU, els estudiants del grup control presentaren de forma significativa millors
qualificacions que els del grup experimental.
També es pot veure que en les proves PEM no apareixen diferències
significatives entre els dos grups, en dos casos el grup experimental presenta notes més
altres i en quatre el control.
Finalment, el grup control sempre va obtenir qualificacions superiors en les
proves d’assaig i en quatre casos de forma significativa.
Estudi 2.
En la taula 2 es presenten les correlacions de Pearson entre els resultats de les
proves PEM i els de les d’assaig en cada sessió d’avaluació.
Taula 2 Coeficients de correlació de Pearson entre resultats de proves PEM i d’assaig 1T PEM1-1T ASS 1 1T PEM2-1T ASS 2 2T PEM1-2T ASS 1 2T PEM2-2T ASS 2 3T PEM1- 3T ASS 1 3T PEM2- 3T ASS 2
0,66 *** 0,67 *** 0’60 *** 0’33 * 0’30 0’62 ***
* p < 0,005; *** p < 0,001
24
Podem observar que les correlacions són altes ( majors de 0’30) i positives . En
5 casos, aquestes correlacions van ser significatives.
En la taula 3 es mostren les correlacions entre les notes obtingudes durant
l’experiència, tant en proves PEM com en proves d’assaig, amb d’altres indicadors de
rendiment global (ESO, 1r de Batx., 2on de Batx. i PAU).
Taula 3. Correlacions entre les notes d’Història i d’altres indicadors acadèmics
ESO 1r batx. 2n batx. PAU Història
1T PEM1 1T PEM2 2T PEM1 2T PEM2 3T PEM1 3T PEM2
0’15
0,39*
0,14
0,3
0,12
0,39*
0’41*
0,43*
0,48**
0,36*
0,50**
0,57**
0’54**
0,41*
0,54**
0,49**
0,55**
0,62**
0,26
0,27
0,40
0,39
0,29
0,34
1T ASS1 1T ASS2 2T ASS1 2T ASS2 3T ASS1 3T ASS2
0,28
0,53*
0’42*
0,46*
0,41*
0,45*
0,56**
0,71**
0,63**
0,43*
0,48**
0,48**
0,53**
0,67**
0,72**
0,53**
0,60**
0,58**
0,72
0,86*
0,62
0,96*
0,82*
0,74
n = 7
* p < 0,05; ** p < 0,01; *** p < 0,001
25
Podem constatar que sempre es van obtenir valors positius. També observem
que la relació va ser més alta amb els expedients globals durant el batxillerat que durant
l’experiència. Finalment, la relació entre els resultats durant l’experiència i els
indicadors globals va ser més alta en les proves d’assaig que en les proves PEM.
Estudi 3.
En referència als resultats de l’estudi 3, el banc de preguntes és a l’annex 1.
donada la seva extensió. Consta de 425 preguntes a una mitjana de 30 per tema.
Cada tema està dividit en parts: 1r, Objectius, 2n, Notificació, advertint del significat
del colors en diferents preguntes i d’altres particularitats com la numeració en el banc i
en quadre d’especificacions i les respostes correctes assenyalades; 3r, les preguntes
numerades correlativament però agrupades per objectius i 4t, la Taula d’especificacions
en cada tema.
3.2 Presentació dels materials elaborats.
Donada l’extensió dels materials elaborats hem preferit posar-los als annexos per tal
de simplificar aquesta memòria i facilitar la seva lectura i utilització. No obstant aquesta
ubicació, és important ressaltar que és la part fonamental de la recerca donat que és
pot fer servir directament per professors i professores.
A continuació enumerem els diferents annexos referents a aquest apartat . 3.2 Els
annexos són numerats segons han anat apareixent al disseny del pla de treball; aquí els
presentem per ordre d’importància i utilitat pel professorat.
Annex 1. “Objectius i banc de preguntes”.
Com el seu nom indica inclou, per cadascun dels temes, els objectius i les
preguntes que s’han generat per cada objectiu. Al començament de cada “banc de
preguntes” hi ha una nota on hi ha unes consideracions referents a aspectes com ara,
el nombre de preguntes per cada objectiu, les preguntes que han sortit efectivament
en cada prova, bé setmanal bé trimestral, les preguntes per formular, etc.
26
Annex 5. “Proves objectives setmanals”.
En cada prova setmanal s’especifica el temari que entrava, que sempre era el
treballat a classe la setmana anterior. També consta la numeració de cada prova en
un doble sentit : núm. en relació al trimestre i núm. correlatiu en relació a totes les
proves que s’anaven fent. Totes les preguntes tenen la resposta correcta marcada.
Al final hem posat un exemple complet de PEM on hi ha el full de respostes que
l’alumnat havia d’omplir; el full de preguntes lliurat ( en dos models A i B) ,
òbviament sense la resposta marcada; les plantilles per la correcció de cadascun
dels dos models ( A i B) que hi havia en cada prova i, finalment, el full amb la
resposta marcada del model A . Recordem la raó dels dos models: evitar que es
copiessin els uns als altres. En les primeres setmanes hi va haver fins a tres models
però després es va demostrar que amb dos era suficient donat l’escàs nombre
d’alumnes. La prova és exactament la mateixa però amb l’ordre de les preguntes
canviat.
Annex 6. “Proves trimestrals; P.O. i d’assaig”
Al principi d’aquest Annex s’especifica el temari corresponent a cadascuna de
les dues proves trimestrals. Primer apareix la prova PEM de 15 preguntes ( amb
resposta correcta marcada) i a continuació la prova d’assaig de 3 preguntes. Cada
pregunta té la puntuació màxima sobre 5, donat que després es sumava a la
puntuació, també sobre 5 obtinguda en la prova objectiva. La raó és que formaven
part del mateix examen dividit en aquestes dues parts.
Annex 2 “Exemple de dossier per l’alumnat”
Annex 3. “Activitats d’avaluació contínua pel grup control”
Aquestes activitats són un ventall d’exercicis de tota mena que es podien
utilitzar i que en la pràctica s’anaven alternant i repetint, més o menys, en cada
tema.
Annex 7. “ Variants de les preguntes en les proves PEM”
27
3.3 Guia didàctica per al professorat.
Els materials aquí presentats tenen una finalitat doble: per una part fer-los servir
tal com apareixen . Això té uns inconvenients ja que han estats pensats a partir d’un
llibre de text concret, que és el que s’ha fet servir durant aquest curs. La divisió
temàtica i les fonts que hi apareixen no sempre coincideix amb altres.
Malgrat tot, creiem que és un inconvenient fàcil de superar ja que l’altre vessant
de la utilització d’aquest materials consisteix en fer-los servir com a base perquè
cada professor/a els adapti a les seves condicions particulars. Aquesta seria la utilitat
ideal de la feina feta, millorar-la, afegint-hi ampliacions o modificacions, adaptant-
la a les condicions específiques de cada centre o bé, si menys no, servint de punt de
partida per noves experiències. A continuació descriurem els passos elementals a
manera de guia didàctica.
1.- Orientacions sobre els objectius i el material de treball a classe ( llibre de
text i , en el seu cas, dossier per l’alumnat).
El professor/a abans de iniciar el tema dóna un full amb els objectius. En cas
de disposar d’un dossier per l’alumne, també serà distribuït.
L’alumnat és informat de com es desenvoluparà el tema, és a dir , la manera o
maneres de treballar-ho, fent èmfasi en els objectius o, en el seu cas, en els grans
apartats del dossier ja que seran la font de les preguntes pels exàmens del tema i a la
seva vegada facilitaran l’estructuració de la matèria que s’ha d’aprendre i per tant
la preparació de les proves, tant les objectives com les d’assaig.
2.- Proves d’entrenament.
Abans de fer qualsevol prova és gairebé imprescindible fer assajos previs,
especialment si abans no han fet aquest tipus de proves. En aquests exàmens de
prova s’explica amb detall el funcionament i les recomanacions bàsiques como ara:
- Les proves objectives són de 5 preguntes que apareixen al full corresponent..
28
- Cada pregunta té una resposta correcta i només una. Les altres són els anomenats
distractors.
- Com que hi ha diverses modalitats de preguntes s’ha d’explicar amb cura aquella
que presenti alguna dificultat (Ver annex 7 ) bé presentant un examen ja contestat
on hi hagi les diverses modalitats o comentant directament l’arxiu de l’annex 7.
- S’explica el full de respostes: on, i com s’assenyala la resposta escollida; si alguna
pregunta no és contestada s’ha de fer constar a l’espai reservat per això mateix
(en Blanc) . Finalment, s’explica la fórmula per obtenir la nota afegida en el mateix
full de respostes.
- És recomanable comentar algunes estratègies per respondre com ara: en cas de
dubte, deixar la pregunta sense contestar ( en blanc) perquè així no descompta
puntuació. Contestar amb dubtes, i no diguem a la babalà, és molt perjudicial i,
malgrat els advertiments, moltes vegades només s’aprèn desprès d’ uns quants
exàmens “ fracassats” per jugar a l’atzar. És molt útil posar diversos exemples de notes
obtingudes a partir de diverses combinacions d’encerts, errors i preguntes en blanc com a
continuació veurem.
3.- Informació sobre la puntuació de les proves.
- La puntuació de cada prova PEM de 5 preguntes varia ràpidament cap a munt o cap
a baix en l’escala de 10 . Exemples :
- Alumne/a A 3 encerts; 2 errors 0 en blanc; Nota = 5 - Alumne /a B 2 encerts; 3 errors 0 en blanc Nota = 2’5 - Alumne/a C 2 encerts; 0 error 3 en blanc Nota = 4
- Alumne/a D 4 encerts; 0 errors 1 en blanc Nota = 8
- Alumne/a E 4 encerts; 1 error; 0 blanc Nota = 7’5
- L’alumnat ha de ser informat que la nota dels test 5 o P.O. setmanals és
acumulativa i que una prova amb molt baixa nota és fàcilment contrarestada amb les
següents amb nota alta. Per això, el millor és fer-los saber que la nota del exàmens
setmanals és l’acumulativa i que s’obtindrà al llarg de tot el procés al final de cada
trimestre.
29
- La nota acumulada de les proves setmanals té un pes ponderat en la nota final del
trimestre. La ponderació que s’ha seguit en aquesta experiència és del 20% ;
mentre que la resta, el 80% és la nota de les mitjanes dels dos exàmens trimestrals.
Òbviament aquesta és una ponderació que cada professor/a pot decidir canviar
quan comenci el curs.
- La puntuació de les dues parts dels exàmens trimestrals és el 50% la part de
preguntes PEM i 50 % la part d’assaig. També aquesta ponderació pot variar en
altres experiències.
4.- La posada en pràctica de les proves objectives.
- Es preparen les proves seleccionant les preguntes que entraran en la prova
corresponent . La selecció es farà a l’atzar entre els diferents objectius i/o entre les
preguntes que entren en el temari de la prova.
- Abans de passar-les als alumnes es testen amb algun col·lega del Departament per
detectar algun error o imprecisió .
- Sempre és faran dos models d’exàmens per evitar que es copien els uns als altres.
Es suficient amb la variació de l’ordre de les preguntes. Si el grup és molt nombrós
es poden fer tres models. La única complicació és a l’hora d’introduir les notes en
els fulls de càlcul.
- L’alumnat rep els fulls de preguntes i els de respostes grapats en un petit dossier (
sobre tot en les P.O. de 15 preguntes). Cap per avall per tal de què tots comencin
alhora quan el professor doni l’ordre. La duració establerta s’ha de complir
seriosament, girant de nou els fulls que seran recollits després.
5.- La correcció de les proves.
- Es fa amb un plantilla transparent ( veure final de l’annex 5 on hi ha on exemple)
que permet la correcció fàcil i ràpida. . L’altra manera és introduir les respostes de
cada alumne en la plantilla construïda precisament per això en els fulls de càlcul. El
full de càlcul és més ràpid i precís però, de cara a l’alumnat, és més fàcil mostrar
encerts i errors de cadascú utilitzant la plantilla transparent.
30
- Si malgrat les revisions s’ha evidenciat alguna pregunta defectuosa es treu de la
puntuació fent les correccions precises en la aplicació de la fórmula.
- . La facilitat de la correcció facilita donar els resultats immediatament; això permet
comentar-los a la classe següent, cosa que és molt útil i forma part del procés
d’aprenentatge.
- . Les proves setmanals poden ser penjades en pàgines web del centre per poder ser
treballades a casa. Això requereix una condició, disposar d’una àmplia bateria de
preguntes per poder-les variar en següents experiències o en les provés trimestrals
on el temari serà el mateix que el que ha anat entrant en les setmanals. Una part de
les preguntes de les P.O. trimestrals poden ser repetides, és a dir, que ja hagin sortit
en les proves setmanals.
Gairebé tot el material està pensat per ser utilitzat pel professorat. A l’alumnat,
no obstant, se li ha facilitat de cada tema un dossier per treballar, que com abans
hem explicat, li servirà com a orientació important en el seu aprenentatge dintre del
qual està la preparació dels exàmens, tant els d’assaig com els de proves objectives.
Aquestes després de realitzades quedaven penjades en la intraweb del centre com un
eina que els podia servir per repassar el temari i especialment per adonar-se’n dels
encerts i els error comesos.
31
4 Discussió i conclusions
A partir dels diferents estudis i dels seus resultats voldríem fer algunes reflexions i
establir algunes conclusions.
En primer lloc, i en referència al nostre primer estudi, vàrem constatar que els dos
grups d’estudi no eren comparables respecte a la qualitat acadèmica. Tal com posen de
manifest els seus resultats globals previs (1r de batxillerat) o posteriors (2n de
batxillerat), el grup control era acadèmicament millor que el grup experimental. Aquesta
observació també estaria avalada amb el clar millor resultat en les proves PAU, tot i que
el nombre d’estudiants era molt reduït. També la nostra experiència empírica com a
docents havia anat corroborant aquesta diferència. Aquest fet hauria tingut una gran
repercussió sobre el resultat esperat en la nostra investigació.
Teníem la hipòtesi de què el grup experimental obtindria millors resultats
acadèmics que el control en l’aprenentatge de la matèria d’ Història. Aquest efecte no
ha estat així possiblement perquè els grups no eren comparables. Tanmateix, podem
deduir un efecte beneficiós de l’avaluació continuada del grup experimental,
especialment en el resultat en les proves PEM. Mentre que sempre en les proves
d’assaig es posava en evidència la millor qualitat del grup control (en quatre casos de
forma significativa) aquest efecte desapareixia en els resultats de les proves PEM. Aquí
el resultat era semblant entre els dos grups. Així, podem deduir un efecte beneficiós en
el resultat de les proves PEM del grup experimental, possiblement degut a l’avaluació
continuada amb aquestes proves.
En referència al nostre segon objectiu, havíem pronosticat una relació positiva i alta
entre els resultats de les proves PEM amb les d’assaig. Així ha estat. Els resultats (taula
2) mostren una alta relació entre ambdós tipus de proves. Considerem aquest fet bastant
rellevant ja que, tot i que és molt habitual, donaria valor a la nostra percepció de què les
proves objectives i en concret les PEM poden ser útils per avaluar resultats
d’aprenentatge de la Història.
32
També estem satisfets en trobar una relació positiva entre els resultats en els nostres
exàmens d’Història amb d’altres indicadors globals de rendiment acadèmic con serien
els previs (ESO i 1r de batxillerat) o els posteriors (2n de batxillerat i PAU).
En aquest cas, hem observat una més gran relació entre els indicadors generals amb
el resultat de les proves d’assaig que el trobat amb les PEM. Possiblement això podria
ser explicat perquè els indicadors globals estan basats en resultats que majoritàriament
provenien d’avaluacions fetes amb proves d’assaig. Les proves PEM han estat molt poc
usades en l’ESO i en el Batxillerat. També, les proves de PAU es basen en proves
d’assaig i no pas en les PEM.
Per últim, voldríem apuntar algunes consideracions relatives a les limitacions
de la recerca, així com a possibles propostes per futures experiències:
En primer lloc, tal com hem comentat, els grups eren bastant diferents i, per
tant, de comparació difícil. Malgrat això, hem pogut arribar a conclusions prou clares
sobre el benefici de l’avaluació continuada amb proves PEM, cosa que corrobora, ni que
sigui a escala modesta, la mateixa proposta de l’estudi de l’equip de C. Trepat ja
esmentat.
Tampoc els grups eren gaire nombrosos, cosa que sense dubte limitaria la
validesa de la recerca. Tot i així, hem treballat amb tota la població matriculada en la
nostra assignatura. Òbviament, seria desitjable que en futures experiències els grups
fossin més homogenis i comparables, cosa més fàcilment d’aconseguir si la recerca és
més amplia en nombre d’instituts.
En segon lloc, una limitació també important, és haver fet la comparació entre
un grup experimental que feia avaluació continuada basada en PEM setmanals i un altre
que la feia de forma tradicional (activitats, exercicis). Potser hagués estar millor, per
veure l’efecte de l’avaluació continuada sistemàtica i regular com són les proves PEM
setmanals, que el grup control no hagués tingut cap mena d’avaluació continuada. Això
planteja problemes ètics que vam preferir obviar.
33
Finalment, el tercer objectiu de la recerca, la creació del banc de preguntes,
necessita també certes consideracions.
Ha estat la tasca més àrdua i difícil. Ha consumit gran part del temps dedicat al
treball i, a més a més, gran part de les preguntes no han format part de cap prova ja
que només entrava un percentatge petit.
Aquest treball només es completaria si, en experiències posteriors, s’anés
comprovant la validesa de la resta de les preguntes, posant-les a prova i comprovant els
seus índexs de dificultat, de discriminació, etc. però especialment, afinant la seva
validesa en relació a la formulació correcta seguint els criteris per l’elaboració d’aquests
tipus de preguntes. En el present treball no ha estat possible, entre d’altres coses, perquè
és una feina a realitzar en equip, tant pel temps que necessita com, sobretot, per la
necessitat de contrastar entre col·legues la pertinença de cada pregunta. Nosaltres
només fèiem una provatura amb les preguntes de cada prova amb algun company del
Departament de socials, recurs que considerem insuficient.
Les notes obtingudes en les diferents proves setmanals han tingut un
percentatge d’insuficients massa elevat, el que pot ser explicar per diverses raons. Una,
òbviament, ha d’estar relacionada amb la formulació de les preguntes que,
probablement, no sempre ha estat prou acurada. Estem segurs que hi ha altres raons com
el molt baix nivell del conjunt de l’alumnat del curs experimental com corroboren les
dades estadístiques, no només de la matèria d’Història sinó del conjunt de les
assignatures que tenien. Deu haver altres raons que en aquests moments se’ns escapen,
però això no treu la necessitat de rectificar allò que hem detectat com a deficient.
També s’han fet els quadres d’especificacions que era un dels altres objectius.
No sense problemes . En aquest cas els relacionats amb les dificultats d’ubicar
correctament cada pregunta en un tipus de coneixement o estil d’aprenentatge. Moltes
vegades ha estat realment difícil situar un pregunta on pertocava .
34
Per acabar, les conclusions a les que hauríem arribat amb el nostre estudi seríem
les següents:
1. L’avaluació continuada mitjançant proves PEM tindria una repercussió positiva en
les avaluacions sumatives que facin servir proves PEM.
2. Hem observat una alta relació entre resultats acadèmics obtinguts en proves PEM i
proves d’assaig.
3. Hem determinat que existeix una relació alta entre el resultat d’aprenentatge en
l’assignatura d’Història i el resultat global d’indicadors acadèmics, tant anteriors com
posteriors.
4. Hem observat que les relacions del punt anterior eren més altes en les proves d’assaig
que en les PEM
Confiem que el nostre treball i els seus resultats puguin servir per a millorar
l’avaluació dels processos docents en el Batxillerat i, en última instància, afavorir
l’aprenentatge dels nostres estudiants.
35
5 Bibliografia
- Arboix, E., Barà, J., Ferrer, F., Font,J., Forns, M., Mateo, J., Monreal, P.,Pérez, J. i
Sangrà, A. (2003) Marc general per l’avaluació dels aprenentatges dels estudiants.
Barcelona: Agència per a la Qualitat del Sistema Universitari de Catalunya.
- Cantó Silva, Josep (2007) . Estudi, parametrització i elaboració sistemàtica de
proves objectives. Memòria de recerca per llicència d’estudis del Departament
d'Educació de la Generalitat de Catalunya . Curs 2006-07.
- Olm Miras, Josep M. (2006). Les proves d’elecció múltiple com a instrument
pedagògic de millora dels resultats dels aprenentatges matemàtics al batxillerat.
Memòria de recerca per llicència d’estudis del Departament d'Educació de la
Generalitat de Catalunya . Curs 2005-06.
- Prats, J. i Trepat, C. (2003). Història. Ed. Barcanova. Barcelona.
- Pérez, J. i Torrubia, R. (1981). Proves de rendiment acadèmic. Monografies
pràctiques, nº3. Departament de Psicologia Mèdica. Bellaterra: Universitat
Autònoma de Barcelona.
- Sans Martín, A., Trepat, C. ( 2002) La evaluación de la historia en el bachillerato.
La evaluación en historia con pruebas de corrección objetiva. Algunas implicaciones
didácticas. Enseñanza de las ciencias sociales.Revista de investigación. Nº 1, 69-81.
- Trepat, C. ( 2004) L’avaluació de correcció objectiva com a eina de millora en
l’aprenentatge de la història. Memòria de recerca del grup DIGHES. Barcelona :
Universitat de Barcelona. Departament de didàctica de les ciències socials.
6 Annexos
Tots els annexos estan en un document a part. Preguem es dirigeixin allí per poder
llegir-los. Les fonts utilitzades pels exàmens han estat trets de llibre de text,
“Història” de l’editorial Barconava.
![LES PROVES D’ELECCIÓ MÚLTIPLE · 2009. 3. 11. · 2000]. Cal tenir present, a més, que les PEM, amb l’ajut de les noves TIC, poden contribuir decisivament a la motivació de](https://static.fdocuments.ec/doc/165x107/5fe350971a0fb60b4620af90/les-proves-daelecci-m-2009-3-11-2000-cal-tenir-present-a-ms-que.jpg)
