Caro direttore,
Ringraziamo il dott. Andrea Gavosto per i puntuali commenti e ci riserviamo un successivo intervento di risposta sui temi sollevati. Vorremmo invece concentrare qui l’attenzione su un problema in particolare.
Quello che ci ha colpito di più nel Terzo Rapporto sulla scuola in Italia 2011 della FGA, è “la flessione dei risultati di apprendimento nel passaggio dalle scuole elementari alla media”. Proprio così: a parere dei ricercatori della FGA, le conoscenze misurate dai test Timss tra il 2003 (IV elementare) ed il 2007 (III media), diminuirebbero, anziché aumentare. Nel completo sbigottimento di fronte ad un risultato così straordinario e contro intuitivo, siamo andati a cercare conferma delle affermazioni nei dati del rapporto. In effetti un impietoso grafico (che riportiamo sotto) fotografa il dramma ben evidenziato e ripreso dai più importanti organi di informazione: “L’Italia è il Paese con il calo degli apprendimenti più netto fra elementari e medie” (Il Sole 24 Ore, 29 novembre 2011).
E questo non riguarderebbe solo l’Italia, ma anche altri paesi (addirittura Inghilterra e Stati Uniti). Ci saremmo aspettati una crescita, benché minima, ma una crescita. Questo è quanto abbiamo verificato personalmente attraverso una ricerca in Lombardia, alcuni anni or sono, applicando una metodologia di indagine analoga a quella dell’Ocse (che usa il modello di Rasch, e non i modelli IRT, per costruire le scale di misura degli apprendimenti), che ha coinvolto centinaia di classi e oltre 3.000 studenti delle scuole medie (http://www.irer.it/Rapportifinali/2003c009RapportoFinale.pdf).
Un risultato analogo di crescita (non solo tra IV ed VIII grado, ma fra tutti i gradi della scuola primaria e secondaria), si può poi trovare nei report dell’organizzazione Nwea (http://www.nwea.org/) per gli Stati Uniti, che da anni studia lo sviluppo delle conoscenze in matematica, scienze e lingua per gli studenti americani: mai è stato osservato un “calo degli apprendimenti” tra un grado ed il successivo (questo ovviamente in media, mentre a livello del singolo studente può capitare). Orbene, i risultati della Fondazione Agnelli appaiono preoccupanti anche per gli Stati Uniti: le conoscenze in matematica e soprattutto in scienze si riducono tra il IV e l’VIII grado.
Pur nella diversità delle fonti, dei metodi e delle popolazioni indagate negli studi citati, una contraddizione empirica e logica così forte ci è apparsa strana, ma se accettiamo questo risultato, è innegabile che la scuola media sia “l’anello debole del sistema scolastico italiano, il vaso di coccio … tra l’eccellenza delle nostre scuole elementari e la divaricazione successiva…” come evidenzia La Repubblica (29 novembre 2011). Tutto ciò contribuisce a dare sempre più fiato alla vox populi che la scuola elementare sia eccellente, mente la scuola media sia da buttare; un’interpretazione rispetto alla quale Gori, fin dalle sue prime esperienze in qualità di presidente del Comitato tecnico scientifico dell’Invalsi, negli anni 2000-2004, ha messo in guardia gli stessi ricercatori dell’Invalsi a più riprese.
All’opposto, la lettura dei dati da noi riportata (che peraltro risulta metodologicamente analoga a quella utilizzata dai commentatori in altri paesi: per gli Usa si veda http://4brevard.com/choice/international-test-scores.ht m), pur evidenziando qualche problema in più per le medie italiane, mostra come anche per le elementari non si possa parlare di eccellenza. Dalla tabella riportata nel precedente intervento si può ad esempio notare che la distanza tra l’Italia e l’eccellente Singapore è pari ad un centinaio di punti, sia per la IV elementare che per la III media, e 100 punti rappresentano un “sigma” in entrambe le scale di misure dei due test (il che significa che la distanza dal punto di eccellenza sarebbe all’incirca la stessa). Se si vuole avere un ulteriore elemento di dubbio rispetto alla vox populi, si consideri che il valore mediano delle conoscenze di matematica dei 12 paesi riportati in tabella è rispettivamente 524 (IV elementare) e 508 (III media): orbene la distanza dell’Italia rispetto a tali valori è pari a -21 e -28, due valori che se da un lato evidenziano qualche problema in più per le medie, non fanno pensare certo ad un’“eccellenza” delle elementari.
Ma riconosciamo che, per quanto ci si voglia sforzare ad indorare la pillola e leggere i dati in altro modo, il vostro risultato: “calo degli apprendimenti” chiaro e netto tra la IV elementare e la III media, depone decisamente contro la scuola media. Tuttavia vi facciamo notare quanto segue a pag. 32 del rapporto Timss 2007 (Chapter 1, International Students Achievement in Mathematics), ricerca dalla quale avete tratto i vostri dati:
“TIMSS used item response theory (IRT) methods to summarize the achievement for each grade on a scale with a mean of 500 and a standard deviation of 100. The TIMSS mathematics scales for the fourth and eighth grades were established based on the 1995 assessments and the methodology enables comparable trend measures from assessment to assessment within (e non between come è stato inteso nel rapporto della Fondazione Agnelli; corsivo nostro, nda) each grade. It should be noted that the results for the fourth and eighth grades are not directly comparable (corsivo nostro, nda). While the scales for the two grades are expressed in the same numerical units, they are not directly comparable in terms of being able to say how much achievement or learning at one grade equals how much achievement or learning at the other grade. That is, achievement on the TIMSS scales cannot be described in absolute terms (like all such scales developed using IRT technology). Comparisons can only be made in terms of relative performance (higher or lower), for example, among countries and population groups as well as between assessments (corsivi nostri, nda)”.
Da quanto riportato è evidente che le differenze calcolate dalla FGA sono a dir poco discutibili, in quanto hanno sottratto entità espresse in unità di misura non omogenee (a differenza di quanto si può fare con le scale “linkate” con modelli di Rasch). Questo ci fa tirare un sospiro di sollievo (perché la sorpresa in noi provocata dai vostri risultati era a dir poco dirompente), rispetto alla validità dei precedenti risultati della ricerca scientifica in ambito nazionale ed internazionale.
Ribadiamo pertanto che le uniche comparazioni corrette possibili sono quelle rispetto ai livelli medi (mediani, o massimi o di rango) del gruppo di paesi partecipanti a tutte e tre le indagini, separatamente per le due scale. Da tale confronto, emerge chiaramente una mediocrità del sistema scolastico italiano in tutti i gradi indagati, anche se forse qualche elemento di preoccupazione in più per la media, ci può essere. Ma fare la sottrazione tra valori appartenenti a scale diverse non ha nessun senso: le conoscenze tra la IV elementare e la III media crescono in tutti i paesi del mondo, il problema è la differenza tra i tassi di crescita.
Speriamo vivamente che sui temi sollevati nel nostro precedente intervento, ed in particolare sulla centralità della “misura”, sia possibile aprire un dibattito scientifico quanto prima onde evitare di cadere nei rischi evidenziati nell’uso dei dati derivanti da test: la questione dei tassi di crescita si potrà seriamente affrontare solo con scale di Rasch.
