Proves PISA: les hipòtesis darrere de l'error en la mostra de Catalunya
El nou curs escolar començarà amb aules que es poden quedar buides per la vaga i amb un buit que ja és segur: el dels resultats dels alumnes catalans a l'informe PISA. No es podran comparar amb els d'altres edicions perquè es va superar el límit d'alumnes que l'OCDE permet excloure de la mostra, tot i que el Ministeri sí que publicarà les dades de Catalunya.
A l'espera que la consellera d'Educació aporti més informació dilluns sobre les possibles causes de l'errada, encara són moltes les preguntes que queden obertes. Les explicacions que ha donat fins ara no convencen els experts i, en alguns punts, xoquen amb les dades.
Qui controlava les proves?
Un cop l'OCDE determina quins centres educatius faran les proves PISA i el Consell Superior d'Avaluació del Sistema Educatiu revisa la mostra, són els centres —a Catalunya, 51— els que fan la selecció dels alumnes i comuniquen quins són susceptibles de quedar-ne exempts perquè tenen necessitats educatives especials o no tenen prou domini de la llengua.
Aquesta llista l'ha de validar el Consell Superior d'Avaluació del Sistema Educatiu, que és l'òrgan del Departament d'Educació que coordina les principals avaluacions educatives a Catalunya.
Segons diversos experts consultats per TV3, la revisió podria no haver estat prou rigorosa, i és en aquest punt on es va perdre l'oportunitat de corregir la mostra a temps.
"Passen només uns dies entre la comunicació dels alumnes exclosos i la realització de les proves", explica Francesc Pedró, catedràtic de Ciències Polítiques de la Universitat Pompeu Fabra i exresponsable de polítiques educatives a l'OCDE.
Si Educació hagués reaccionat amb rapidesa, les exclusions s'haurien pogut minimitzar
Segons Pedró, hauria calgut revisar amb més deteniment per què s'havien exclòs determinats alumnes i, si hagués estat necessari, ampliar la mostra amb més estudiants dels centres seleccionats per compensar les exclusions.
L'OCDE designa, a més, centres substituts en cas que alguna mostra falli.
El Departament és qui centralitza les mostres i, abans d'enviar-les a Madrid, hauria de supervisar que es compleixen els criteris de selecció i exclusió
Les alarmes no van saltar fins que la llista d'alumnes, amb el 23,2% d'exclosos, va arribar al Ministeri d'Educació i a l'empresa que subcontracta l'OCDE per fer les proves.
El Ministeri va alertar de la incidència el Consell Superior d'Avaluació mentre s'estaven fent els exàmens, quan encara s'hauria estat a temps de rectificar, però es desconeix quin seguiment en va fer.
Qui coneixia l'errada?
En aquest punt del procés, s'obre un altre dels grans interrogants: fins on va arribar la informació dins el Consell Superior d'Avaluació. És una de les qüestions que haurà d'aclarir la investigació encarregada per la conselleria al març d'aquest any, quan va saber que l'OCDE havia decidit retirar Catalunya del rànquing.
Una de les hipòtesis, segons els experts consultats, és que els tècnics que van rebre l'avís no en van informar les responsables polítiques de l'organisme.
En aquell moment, eren Mercè Andreu, directora general d'Innovació, Digitalització i Currículum, i que assumia la responsabilitat del Consell, i Josefa Beltrán, secretària de Millora Educativa, d'on depèn aquest òrgan. Totes dues van renunciar al càrrec sis mesos després de les proves.
L'altra hipòtesi és justament la contrària: que els tècnics sí que van informar les responsables polítiques de l'errada, però que aquestes no hi van actuar.
El que queda clar, segons Joan Mateo, catedràtic emèrit de la UB i que va presidir el Consell durant dotze anys, és que va faltar supervisió, tant en la revisió dels alumnes exclosos com en la correcció d'aquesta errada un cop es va comunicar.
D'error tècnic, no n'hi ha. Hi va haver un error humà.
Com es va acompanyar els centres seleccionats?
Un altre dels llocs per entendre per què es van excloure tants alumnes és la reunió que Educació va mantenir l'11 de març del 2025 amb els 51 centres seleccionats.
"Ens consta que la informació que van rebre els centres sobre els criteris d'exclusió era molt interpretable i poc precisa", assegura Jordi Satorra, president de l'Associació de Directius de l'Educació Pública de Catalunya (AXIA).
Dels 591 alumnes que en van quedar fora, 6 van ser per discapacitat física, 92 per domini insuficient de la llengua, i la gran majoria, 493, per discapacitat cognitiva, conductual o emocional.
Els centres educatius no van tenir l'acompanyament necessari del Consell durant tot el procés
I un altre punt clau: les instruccions que van rebre els centres no especificaven que el percentatge d'alumnes exclosos no podia superar el 5% perquè l'OCDE considerés vàlids els resultats.
Segons les fonts consultades, la manca d'informació, sumada a una prova d'unes quatre hores --amb només dos descansos de 5 i 20 minuts--, podria haver portat els centres a interpretar que podien deixar fora els alumnes amb dificultats per seguir el ritme, i afavorir així una sobreexclusió.
"Les tasques d'informació i coordinació que ha de fer el Departament amb els centres de la mostra són clau", insisteix Pedró. Fins al punt, posa com a exemple, que en alguns països es fan simulacres i entrenaments.
Segons dades d'Educació, el curs 2024-25, quan van tenir lloc les proves, hi havia detectats 86.340 alumnes amb necessitats educatives especials per una discapacitat o un trastorn de l'aprenentatge, un 6,24% del total.
Fins i tot si s'hagués considerat que cap d'aquests alumnes podia fer les proves, queden molt lluny del 23,2% d'estudiants que finalment es van excloure.
Un canvi de responsabilitat enmig de PISA
La manca de supervisió es va donar en un moment de transició en l'organisme responsable de controlar i supervisar les proves.
El Consell Superior d'Avaluació, que fins aquell moment n'era l'encarregat, estava en procés de desaparèixer per deixar pas a l'Agència d'Avaluació i Prospectiva de l'Educació, que va començar a funcionar el 7 de juliol.
"Amb un Consell en hores baixes i una Agència que encara no estava en marxa, hi va haver una certa falta de control", apunta Mateo.
Les dades posen en dubte l'explicació d'Educació
Pendents de conèixer els resultats de la investigació d'Educació, les explicacions que la conselleria ha donat fins ara no satisfan cap de les fonts consultades.
En la compareixença al Parlament del juliol, Niubó va atribuir l'error de la mostra a la coincidència dels exàmens PISA amb les proves de final d'etapa de quart d'ESO.
Segons la consellera, "podria haver generat confusió als centres sobre els criteris que calia fer servir i que s'haguessin traslladat a les proves PISA criteris d'exempció propis de les proves catalanes".
Hi ha, però, molt poques diferències en els criteris per excloure alumnes entre les dues proves. L'única distinció rellevant és respecte al domini de la llengua.
Les proves catalanes autoritzen excloure els alumnes que porten menys de dos anys escolaritzats en català. En canvi, PISA només permet eximir els que fa menys d'un any que estudien en la llengua de la prova.
La hipòtesi de la confusió de criteris tampoc se sosté amb les dades. En les proves de final d'etapa de quart d'ESO que es van fer l'abril del 2025 –al mateix temps que PISA– en van quedar exempts el 9,7% dels alumnes, una proporció molt inferior al 23,2% dels que es van excloure a l'avaluació internacional.
De fet, segons constata la síndica de greuges de Catalunya, només l'any 2024 els alumnes que no van fer les proves va superar el 10%.
Arran de les incidències detectades, la institució ha obert una actuació d'ofici i ha demanat al Departament informació detallada sobre els 51 centres de la mostra, les característiques de l'alumnat exempt, la documentació que van rebre els centres i una còpia de l'informe de les diligències que s'han obert per aclarir els fets.
Antecedents d'errors a les proves PISA
Que les dades d'un país quedin fora de les comparacions internacionals de PISA és una situació excepcional, però n'hi ha alguns precedents.
El cas més similar és el de l'Argentina. En les proves del 2015, l'OCDE va detectar problemes en la mostra arran d'una reestructuració a l'educació secundària. En van quedar fora molts centres, fins al punt que només es va arribar als 69% dels previstos, i les dades van quedar compromeses.
També hi ha hagut casos de participació insuficient al Kazakhstan i a Malàisia el 2015, i al Regne Unit el 2003.
S'ha registrat, a més, algun cas d'error en els materials de la prova. Va passar al Estats Units el 2006 en els exàmens de lectura, i no es van publicar les dades d'aquesta matèria.
Quines conseqüències tindrà?
El Departament d'Educació ha convocat una roda de premsa per a aquest dilluns, amb la consellera, per explicar les novetats del proper curs escolar.
L'última vegada que Niubó va donar explicacions sobre PISA va ser el 27 de juliol al Parlament, i s'espera que pugui aclarir si ja s'ha tancat la investigació i si es depuraran responsabilitats.
Els experts consultats coincideixen a pensar que, al marge de fins a quin punt el Departament era coneixedor de l'errada, no se'n va preveure l'abast.
Catalunya es queda així sense una fotografia fiable en una de les principals proves educatives internacionals: no podrà comparar-se amb altres sistemes ni amb ella mateixa. I això passa després de registrar els pitjors resultats de la seva història en l'última edició.
Però més enllà de les dades, assenyalen els experts, l'errada també posa en entredit la confiança en l'administració per avaluar i gestionar el sistema educatiu.
