Uso e abuso dei risultati delle indagini internazionali
di Bruno Losito
1. Nelle ultime settimane sono stati frequenti sulla stampa i riferimenti agli esiti delle indagini comparative internazionali alle quali il nostro paese partecipa per giustificare le scelte di politica scolastica annunciate dal Ministro dell'Istruzione. Si potrebbe pensare che finalmente anche nel nostro paese le decisioni politiche vengono adottate sulla base degli elementi conoscitivi che la ricerca valutativa mette a disposizione dei decisori politici. Potrebbe sembrare, dopo anni di disinteresse e di malcelata sopportazione (in fondo le indagini internazionali hanno spesso messo in evidenza le carenze del nostro sistema scolastico), che - anche sulla spinta dei processi di integrazione europea - i nostri decisori politici e i loro sostenitori abbiano maturato una nuova consapevolezza sull'utilità e sulla validità di queste indagini.
In realtà le cose non stanno esattamente così. Il più delle volte i riferimenti alle indagini valutative sono imprecisi, spesso scorretti, a volte decisamente strumentali. Nel migliore dei casi ci troviamo di fronte ad una incapacità di leggere i risultati di queste indagini, a conferma della profonda mancanza di cultura della valutazione che caratterizza il nostro paese. E purtroppo questo avviene anche all'interno del mondo accademico, a volte anche in quella parte del mondo accademico più vicina ai problemi dell'educazione e della scuola.
2. Proviamo a fare alcuni esempi.
L'esempio forse più eclatante lo ha fornito lo stesso Ministro, con le sue dichiarazioni sulla presunta peggiore qualità degli insegnanti meridionali rispetto ai loro colleghi del Nord del paese, giustificata sulla base dei risultati del progetto PISA. Il Ministro ha successivamente smentito di aver mai sostenuto posizioni del genere, non ha mai smentito di aver fatto riferimento a PISA.
Chi ha prestato un minimo di attenzione a questo progetto, sa che non sarebbe possibile basare sui suoi risultati una valutazione degli insegnanti. In PISA, come del resto in tutte le indagini internazionali e nazionali condotte nel nostro paese, gli studenti delle scuole meridionali ottengono sì risultati mediamente più bassi dei loro colleghi delle scuole del Nord del paese e della media nazionale. Ma non abbiamo alcun elemento per poter affermare che tali differenze di risultato siano causate da una diversa qualità degli insegnanti. Gli strumenti di rilevazione utilizzati in PISA non consentono di raccogliere informazioni sufficienti sugli insegnanti, anzi in PISA non viene neanche utilizzato un questionario insegnanti, coerentemente con il disegno di campionamento adottato in questa indagine (gli studenti selezionati per la somministrazione frequentano classi diverse all'interno delle scuole campionate).
Un secondo esempio. Da quando il ministero ha annunciato l'intenzione di ritornare al maestro unico nella scuola elementare, da versanti opposti sono stati invocati i risultati delle indagini internazionali realizzate a livello di scuola primaria o per sostenere che è assurdo cambiare l'organizzazione dell'unico livello del nostro sistema di istruzione che dà buona prova di sé nel confronto con gli altri paesi o, al contrario, per sostenere che da sempre questo si verifica, anche quando c'era ancora il maestro unico. Dimenticando, da parte di chi sostiene questa seconda interpretazione, che, nei quasi quarant'anni trascorsi tra le prime indagini comparative realizzate dall'IEA nei primi anni settanta e le attuali rilevazioni, gli obiettivi e i curricoli della scuola primaria sono profondamente cambiati (i programmi dell'ottantacinque non sono certo assimilabili a quelli del '55). E che è forse da questa prospettiva (compiti e curricoli della scuola primaria) che andrebbe affrontata la discussione.
È interessante rilevare che, proprio a partire dalla diversa possibile lettura dei risultati delle indagini che interessano la scuola elementare, si assiste ad alcuni tentativi volti a rileggere i risultati di queste indagini, per smentire che essi dimostrerebbero una presunta buona qualità (nella comparazione internazionale) di questo livello scolastico. Ne è un esempio il recente articolo del prof. Ricolfi sulla "Stampa" (25 settembre), in cui si sostiene che non è vero che la nostra scuola elementare raggiunge buoni risultati e che, anzi, i risultati "precipitano" quando si passa dalla lettura alla matematica e alle scienze.
In realtà, le indagini internazionali non dicono affatto questo. In PIRLS (comprensione della lettura) la media italiana è pari a 551 contro una media internazionale di 500.
In TIMSS 2003 gli studenti italiani si collocano al di sopra della media internazionale in scienze (punteggio medio Italia = 516; media internazionale = 489) e un po' al di sopra della media internazionale in matematica (punteggio medio Italia = 503, media internazionale 495).
I dati di TIMSS 2007 verranno resi noti a dicembre. Per l'Italia non è ancora possibile effettuare una comparazione nel tempo perché nel 1995, pur avendo partecipato all'indagine, non siamo stati in grado di raggiungere i livelli minimi di partecipazione richiesti e, quindi, non siamo stati inseriti nella comparazione internazionale.
3. Si tratta di esempi di un uso non legittimo dei risultati delle indagini internazionali e anche, in buona misura, di una conoscenza superficiale degli stessi. In particolare, non si tiene conto del fatto che queste indagini hanno obiettivi di tipo comparativo e che i loro risultati si riferiscono ad alcune caratteristiche dei sistemi scolastici considerati nel loro insieme e che, quindi, soltanto in parte sono funzionali a comprendere e a spiegare i fattori che determinano, ad esempio, le differenze presenti al loro interno. Ci danno un quadro dei livelli di rendimento degli studenti, soltanto in parte ci consentono di darne una spiegazione, se non a livello di macrosistema. E sono proprio queste indicazioni a livello di macrosistema che i decisori politici sembrano non prendere in considerazione. I risultati di PISA, ad esempio, ci dicono che nel nostro paese le differenze tra scuole sono molto rilevanti, mentre sono complessivamente al di sotto della media internazionale le differenze all'interno delle scuole. Questo vuol dire che siamo di fronte ad un sistema in cui la qualità delle scuole è molto differenziata, ma che all'interno delle singole scuole gli studenti ottengono risultati relativamente omogenei. Qualcuno potrebbe prendere la palla al balzo per utilizzare questo dato in funzione della valutazione delle scuole e per individuare quali siano le migliori scuole a cui finalmente i genitori possono decidere di iscrivere i propri figli. Il problema è che queste differenze sono spiegate in larghissima misura non da variabili relative all'organizzazione delle scuole e della didattica, ma piuttosto dall'effetto congiunto delle origini socio-economico-culturali e del tipo di scuola. Questo vuol dire che nel nostro sistema scolastico gli alunni si indirizzano verso diversi tipi di scuola (licei, tecnici, professionali) in funzione delle proprie condizioni familiari, nell'ambito di un sistema di canalizzazione precoce che influisce negativamente sul loro rendimento. In PISA i paesi che ottengono risultati migliori sono quelli i cui sistemi scolastici sono di tipo comprensivo e all'interno dei quali le scuole godono di una maggiore autonomia. Ma di questo tipo di risultati i responsabili delle nostre politiche nazionali non sembrano tenere conto.
4. È anche vero che i risultati delle indagini internazionali vanno considerati con attenzione anche da parte di chi pensa di poterli utilizzare "contro" le scelte dei decisori politici.
Un esempio, anche in questo caso, per cercare di chiarire. A fronte della discussione che si è sviluppata nello scorso anno riguardo ai percorsi di formazione iniziale degli insegnanti (SSIS e corso di laurea in scienze della formazione primaria) è circolato nelle facoltà di scienze dell'educazione/della formazione un documento a difesa dei corsi di laurea quadriennali che è stato votato e fatto proprio da molti Consigli di Facoltà. Nella premessa a questo documento si faceva esplicito riferimento ai risultati di PISA per dimostrare la qualità di questi corsi (secondo lo schema "buoni risultati = buoni insegnanti"). A parte il riferimento a PISA e non a PIRLS, che sarà sicuramente stato frutto di un refuso, si tratta di una tesi non suffragata in alcun modo dai dati. A parte che anche PIRLS non consente una valutazione di questo tipo (e neanche di segno opposto), se anche tutti i laureati nei corsi di scienze della formazione primaria dalla loro istituzione ad oggi effettivamente insegnassero nella scuola elementare, rappresenterebbero comunque una percentuale assai limitata degli insegnanti, tale da non consentire alcuna inferenza interpretativa quale quella effettuata.
5. Ho riportato questi esempi, di segno opposto, perché le ricerche valutative sono uno strumento fondamentale per conoscere le caratteristiche del nostro sistema scolastico e per individuare i problemi da affrontare in funzione di un suo miglioramento. A condizione che i loro risultati non vengano distorti. E a condizione che si cominci a discutere anche delle caratteristiche di queste indagini, per individuarne appieno non solo gli aspetti positivi, ma anche alcuni limiti. E per evitare comparazioni non legittime tra i risultati delle diverse indagini. Ad esempio, è necessario tenere conto di quali siano i paesi che partecipano a ciascuna delle indagini, prima di confrontarne i risultati. Le medie internazionali, infatti, oltre ad essere una misura relativamente grezza, sono anche il risultato delle caratteristiche e della numerosità dei paesi che partecipano alle rilevazioni. Comparare i risultati medi conseguiti dagli studenti italiani in indagini cui partecipano gruppi di paesi diversi ha poco senso. Così come è necessario ragionare sui quadri concettuali che guidano le rilevazioni (che cosa intendono rilevare e perché) e le strumentazioni che esse utilizzano.
Purtroppo ci manca la possibilità di confrontare i risultati di questi indagini con quelli di rilevazioni nazionali, non essendo utilizzabili ancora i dati delle rilevazioni effettuate negli ultimi anni dall'Invalsi, per i più volte denunciati problemi di validità e di attendibilità di tali rilevazioni.
A maggior ragione ci serve (in primo luogo ai responsabili delle politiche scolastiche, ma non solo) uno sforzo di approfondimento e di analisi, non pregiudizialmente viziato da intenti politici o, peggio, da convinzioni che definire ideologiche rischia di essere un eufemismo.
1. Nelle ultime settimane sono stati frequenti sulla stampa i riferimenti agli esiti delle indagini comparative internazionali alle quali il nostro paese partecipa per giustificare le scelte di politica scolastica annunciate dal Ministro dell'Istruzione. Si potrebbe pensare che finalmente anche nel nostro paese le decisioni politiche vengono adottate sulla base degli elementi conoscitivi che la ricerca valutativa mette a disposizione dei decisori politici. Potrebbe sembrare, dopo anni di disinteresse e di malcelata sopportazione (in fondo le indagini internazionali hanno spesso messo in evidenza le carenze del nostro sistema scolastico), che - anche sulla spinta dei processi di integrazione europea - i nostri decisori politici e i loro sostenitori abbiano maturato una nuova consapevolezza sull'utilità e sulla validità di queste indagini.
In realtà le cose non stanno esattamente così. Il più delle volte i riferimenti alle indagini valutative sono imprecisi, spesso scorretti, a volte decisamente strumentali. Nel migliore dei casi ci troviamo di fronte ad una incapacità di leggere i risultati di queste indagini, a conferma della profonda mancanza di cultura della valutazione che caratterizza il nostro paese. E purtroppo questo avviene anche all'interno del mondo accademico, a volte anche in quella parte del mondo accademico più vicina ai problemi dell'educazione e della scuola.
2. Proviamo a fare alcuni esempi.
L'esempio forse più eclatante lo ha fornito lo stesso Ministro, con le sue dichiarazioni sulla presunta peggiore qualità degli insegnanti meridionali rispetto ai loro colleghi del Nord del paese, giustificata sulla base dei risultati del progetto PISA. Il Ministro ha successivamente smentito di aver mai sostenuto posizioni del genere, non ha mai smentito di aver fatto riferimento a PISA.
Chi ha prestato un minimo di attenzione a questo progetto, sa che non sarebbe possibile basare sui suoi risultati una valutazione degli insegnanti. In PISA, come del resto in tutte le indagini internazionali e nazionali condotte nel nostro paese, gli studenti delle scuole meridionali ottengono sì risultati mediamente più bassi dei loro colleghi delle scuole del Nord del paese e della media nazionale. Ma non abbiamo alcun elemento per poter affermare che tali differenze di risultato siano causate da una diversa qualità degli insegnanti. Gli strumenti di rilevazione utilizzati in PISA non consentono di raccogliere informazioni sufficienti sugli insegnanti, anzi in PISA non viene neanche utilizzato un questionario insegnanti, coerentemente con il disegno di campionamento adottato in questa indagine (gli studenti selezionati per la somministrazione frequentano classi diverse all'interno delle scuole campionate).
Un secondo esempio. Da quando il ministero ha annunciato l'intenzione di ritornare al maestro unico nella scuola elementare, da versanti opposti sono stati invocati i risultati delle indagini internazionali realizzate a livello di scuola primaria o per sostenere che è assurdo cambiare l'organizzazione dell'unico livello del nostro sistema di istruzione che dà buona prova di sé nel confronto con gli altri paesi o, al contrario, per sostenere che da sempre questo si verifica, anche quando c'era ancora il maestro unico. Dimenticando, da parte di chi sostiene questa seconda interpretazione, che, nei quasi quarant'anni trascorsi tra le prime indagini comparative realizzate dall'IEA nei primi anni settanta e le attuali rilevazioni, gli obiettivi e i curricoli della scuola primaria sono profondamente cambiati (i programmi dell'ottantacinque non sono certo assimilabili a quelli del '55). E che è forse da questa prospettiva (compiti e curricoli della scuola primaria) che andrebbe affrontata la discussione.
È interessante rilevare che, proprio a partire dalla diversa possibile lettura dei risultati delle indagini che interessano la scuola elementare, si assiste ad alcuni tentativi volti a rileggere i risultati di queste indagini, per smentire che essi dimostrerebbero una presunta buona qualità (nella comparazione internazionale) di questo livello scolastico. Ne è un esempio il recente articolo del prof. Ricolfi sulla "Stampa" (25 settembre), in cui si sostiene che non è vero che la nostra scuola elementare raggiunge buoni risultati e che, anzi, i risultati "precipitano" quando si passa dalla lettura alla matematica e alle scienze.
In realtà, le indagini internazionali non dicono affatto questo. In PIRLS (comprensione della lettura) la media italiana è pari a 551 contro una media internazionale di 500.
In TIMSS 2003 gli studenti italiani si collocano al di sopra della media internazionale in scienze (punteggio medio Italia = 516; media internazionale = 489) e un po' al di sopra della media internazionale in matematica (punteggio medio Italia = 503, media internazionale 495).
I dati di TIMSS 2007 verranno resi noti a dicembre. Per l'Italia non è ancora possibile effettuare una comparazione nel tempo perché nel 1995, pur avendo partecipato all'indagine, non siamo stati in grado di raggiungere i livelli minimi di partecipazione richiesti e, quindi, non siamo stati inseriti nella comparazione internazionale.
3. Si tratta di esempi di un uso non legittimo dei risultati delle indagini internazionali e anche, in buona misura, di una conoscenza superficiale degli stessi. In particolare, non si tiene conto del fatto che queste indagini hanno obiettivi di tipo comparativo e che i loro risultati si riferiscono ad alcune caratteristiche dei sistemi scolastici considerati nel loro insieme e che, quindi, soltanto in parte sono funzionali a comprendere e a spiegare i fattori che determinano, ad esempio, le differenze presenti al loro interno. Ci danno un quadro dei livelli di rendimento degli studenti, soltanto in parte ci consentono di darne una spiegazione, se non a livello di macrosistema. E sono proprio queste indicazioni a livello di macrosistema che i decisori politici sembrano non prendere in considerazione. I risultati di PISA, ad esempio, ci dicono che nel nostro paese le differenze tra scuole sono molto rilevanti, mentre sono complessivamente al di sotto della media internazionale le differenze all'interno delle scuole. Questo vuol dire che siamo di fronte ad un sistema in cui la qualità delle scuole è molto differenziata, ma che all'interno delle singole scuole gli studenti ottengono risultati relativamente omogenei. Qualcuno potrebbe prendere la palla al balzo per utilizzare questo dato in funzione della valutazione delle scuole e per individuare quali siano le migliori scuole a cui finalmente i genitori possono decidere di iscrivere i propri figli. Il problema è che queste differenze sono spiegate in larghissima misura non da variabili relative all'organizzazione delle scuole e della didattica, ma piuttosto dall'effetto congiunto delle origini socio-economico-culturali e del tipo di scuola. Questo vuol dire che nel nostro sistema scolastico gli alunni si indirizzano verso diversi tipi di scuola (licei, tecnici, professionali) in funzione delle proprie condizioni familiari, nell'ambito di un sistema di canalizzazione precoce che influisce negativamente sul loro rendimento. In PISA i paesi che ottengono risultati migliori sono quelli i cui sistemi scolastici sono di tipo comprensivo e all'interno dei quali le scuole godono di una maggiore autonomia. Ma di questo tipo di risultati i responsabili delle nostre politiche nazionali non sembrano tenere conto.
4. È anche vero che i risultati delle indagini internazionali vanno considerati con attenzione anche da parte di chi pensa di poterli utilizzare "contro" le scelte dei decisori politici.
Un esempio, anche in questo caso, per cercare di chiarire. A fronte della discussione che si è sviluppata nello scorso anno riguardo ai percorsi di formazione iniziale degli insegnanti (SSIS e corso di laurea in scienze della formazione primaria) è circolato nelle facoltà di scienze dell'educazione/della formazione un documento a difesa dei corsi di laurea quadriennali che è stato votato e fatto proprio da molti Consigli di Facoltà. Nella premessa a questo documento si faceva esplicito riferimento ai risultati di PISA per dimostrare la qualità di questi corsi (secondo lo schema "buoni risultati = buoni insegnanti"). A parte il riferimento a PISA e non a PIRLS, che sarà sicuramente stato frutto di un refuso, si tratta di una tesi non suffragata in alcun modo dai dati. A parte che anche PIRLS non consente una valutazione di questo tipo (e neanche di segno opposto), se anche tutti i laureati nei corsi di scienze della formazione primaria dalla loro istituzione ad oggi effettivamente insegnassero nella scuola elementare, rappresenterebbero comunque una percentuale assai limitata degli insegnanti, tale da non consentire alcuna inferenza interpretativa quale quella effettuata.
5. Ho riportato questi esempi, di segno opposto, perché le ricerche valutative sono uno strumento fondamentale per conoscere le caratteristiche del nostro sistema scolastico e per individuare i problemi da affrontare in funzione di un suo miglioramento. A condizione che i loro risultati non vengano distorti. E a condizione che si cominci a discutere anche delle caratteristiche di queste indagini, per individuarne appieno non solo gli aspetti positivi, ma anche alcuni limiti. E per evitare comparazioni non legittime tra i risultati delle diverse indagini. Ad esempio, è necessario tenere conto di quali siano i paesi che partecipano a ciascuna delle indagini, prima di confrontarne i risultati. Le medie internazionali, infatti, oltre ad essere una misura relativamente grezza, sono anche il risultato delle caratteristiche e della numerosità dei paesi che partecipano alle rilevazioni. Comparare i risultati medi conseguiti dagli studenti italiani in indagini cui partecipano gruppi di paesi diversi ha poco senso. Così come è necessario ragionare sui quadri concettuali che guidano le rilevazioni (che cosa intendono rilevare e perché) e le strumentazioni che esse utilizzano.
Purtroppo ci manca la possibilità di confrontare i risultati di questi indagini con quelli di rilevazioni nazionali, non essendo utilizzabili ancora i dati delle rilevazioni effettuate negli ultimi anni dall'Invalsi, per i più volte denunciati problemi di validità e di attendibilità di tali rilevazioni.
A maggior ragione ci serve (in primo luogo ai responsabili delle politiche scolastiche, ma non solo) uno sforzo di approfondimento e di analisi, non pregiudizialmente viziato da intenti politici o, peggio, da convinzioni che definire ideologiche rischia di essere un eufemismo.
