DUE O TRE COSE SUL PROGETTO VALeS
Apprendiamo da fonti di stampa che l'8 febbraio il ministro Profumo ha presentato ufficialmente il sistema di valutazione VALeS (che in latino significa stammi bene! ) con il quale “si offre alle istituzioni scolastiche ed ai dirigenti scolastici del primo e del secondo ciclo di partecipare alla definizione di un processo che lega la valutazione ad un processo di miglioramento” (dal sito del ministero).
L'adesione al progetto da parte delle scuole è per il momento ancora volontaria, ma tutti gli atti del ministero (sia Gelmini che Profumo) e i documenti di indirizzo generale vanno nella direzione di far diventare obbligatoria la somministrazione dei test. E del resto nel decreto semplificazioni il governo ha ricompreso le prove Invalsi nell'ambito dell'attività ordinaria delle scuole.
Il cuore del progetto VALeS e la principale novità rispetto all'approccio “tradizionale” dell'Invalsi sta nel fatto che gli apprendimenti saranno valutati con il metodo del “valore aggiunto” , che si pretende consenta di depurare i risultati dei test dalle condizioni al contorno. “I modelli di valore aggiunto consentono di confrontare le scuole a parità di condizioni (…) evitando che queste si avvantaggino – o siano penalizzate – da quanto non è sotto il loro diretto controllo” (sempre dal sito del ministero).
Ed è proprio questa proposizione che ci poniamo l'obiettivo di contestare in questa sede.
Come è noto, da molto tempo una larga corrente di scienziati sociali sta cercando di sviluppare strumenti per misurare su base quantitativa le performances degli insegnanti . Un approccio molto diffuso usa i risultati conseguiti dagli studenti negli anni passati per simulare i punteggi seguenti e successivamente sottrarre i punteggi simulati da quelli effettivamente conseguiti per stimare il “valore aggiunto” dell'insegnante.
Se ci focalizzassimo unicamente sulle misure di tipo puntuale per la valutazione delle scuole e degli insegnanti non potremmo tener conto della qualità del percorso scolastico precedente degli alunni né dei fattori di tipo non scolastico che influenzano la loro performance. Questi fattori sono altamente correlati con le caratteristiche strutturali delle famiglie , quali il gruppo etnico o il reddito. Ne risulta che molta parte della variabilità nei punteggi medi delle scuole è causata da questa disuguaglianza nei “punti di partenza” che difficilmente può essere tenuta sotto controllo dagli insegnanti.
Ad esempio una ricerca negli Stati Uniti (Fryer e Levitt, 2004) [1] ha mostrato che all'inizio della scuola dell'infanzia (Kindergarten) i bambini neri hanno punteggi del 25% più bassi di quelli bianchi. Le misurazioni basate sull'approccio del valore aggiunto permettono di superare in parte questo problema, e per questo motivo hanno avuto una forte diffusione, specialmente negli Stati Uniti (nella città di Los Angeles i nomi degli insegnanti appaiono sul sito web dell'amministrazione comunale insieme ai rispettivi punteggi di valore aggiunto).
Anche tra i fautori della valutazione, vi è comunque un intenso dibattito sui benefici effettivi che queste misure possono produrre sui processi educativi.
Chiariamo innanzitutto che l'impiego di test standardizzati per misurare le competenze degli studenti permette di osservare solo una frazione, probabilmente non la più importante, dell' outcome educativo degli insegnanti e delle scuole.
Ovviamente dovremmo anche essere sicuri che il test somministrato sia in grado (anche con la non piccola limitazione a cui abbiamo appena accennato) di misurare effettivamente i costrutti “qualità della scuola” e “qualità dell'insegnante”, il che è assai lontano dall'essere una certezza (Amrein Bearsdley, 2008 [2] ; Kupermintz, 2003 [3] , Garrison 2011 [4] e la bibliografia ivi citata). Quest'ultimo autore sostiene che basarsi in modo fondamentale sui risultati dei test semplifica in modo eccessivo il costrutto “efficacia dell'insegnante”.
Né bisogna trascurare che occorre validare il metodo basato sui test con altre misurazioni della qualità dell'insegnamento ottenute in modo indipendente. Sotto questo profilo le evidenze disponibili, per quanto scarse, non sono molto rassicuranti (Harris e Sass, 2009 [5] ): uno studio che ha confrontato le misure del valore aggiunto degli insegnanti con le valutazioni dei presidi ha trovato correlazioni piuttosto basse (da 0,18 a 0,32). Anche Rothstein (2010 [6] ) mostra con uno studio basato su dati della North Carolina che le misure convenzionali di valore aggiunto sono tutt'al più assai debolmente collegate agli effetti di lungo periodo dell'educazione.
Il contributo delle misure di valore aggiunto al miglioramento della qualità dell'educazione dipende in buona parte dalle proprietà statistiche di queste misure , che sono ricavate dall'impiego di modelli statistici molto complessi ed afflitti da una notevole fragilità. In primo luogo distorsioni ed imprecisioni nella rilevazione del valore aggiunto del singolo studente possono condurre a classificare in modo errato un insegnante, il che pone profondi problemi etici e assai probabilmente causa risposte degli insegnanti agli incentivi diverse da quelle attese. Questi errori di rilevazione (imprecisioni ed errori di campionamento) sono presenti anche nelle misurazioni di tipo puntuale, ma vengono amplificati nel calcolo del “valore aggiunto” dal fatto che questo è basato sulla variazione nei punteggi ottenuti ai test da un anno all'altro. Di conseguenza le stime del valore aggiunto degli insegnanti sono instabili da un anno all'altro. Una ricerca statunitense (McCaffrey, Sass, Lockwood e Mihaly, 2009 [7] ) trova che la percentuale di insegnanti che viene classificata nel 5% più alto in due anni successivi varia dal 28 al 50%. Inoltre una quota compresa tra il 4 e il 15% degli insegnanti classificati nel 5% più alto passa addirittura nell'anno successivo al 5% più basso.
In secondo luogo le stime del valore aggiunto sono fortemente condizionate dalla specificazione del modello statistico utilizzato per fare le predizioni. Harris, Sass e Semykina (2010 [8] ) trovano che la correlazione tra le misure ottenute a partire da diverse specificazioni dello stesso modello base è assai bassa, solo 0,27.
Oltre ai rischi connessi all'eccesso di variabilità delle misure e della fragilità dei risultati rispetto alle assunzioni impiegate per la modellizzazione, vi è un ulteriore rischio connesso all'uso delle misure di valore aggiunto e dei test più in generale, che potremmo chiamare effetto della norma sul comportamento . Come scrive Angela Martini (2008 [9] ): “la loro introduzione concentra l'attenzione degli insegnanti su alcune aree curricolari, quelle delle materie oggetto della valutazione, e all'interno di queste su determinati contenuti, con una restrizione del curricolo effettivamente insegnato, o, peggio, ad esercitare direttamente gli alunni sugli argomenti oggetto dei test ( teaching to the test ).
Inoltre è dubbio che piani di retribuzione legati al miglioramento dei livelli di apprendimento degli alunni (il cosiddetto merito) siano efficaci: uno studio recente condotto negli Stati Uniti (Springer e al., 2010 [10] ) conclude “ Overall we found no effects of teacher incentives on students achievements”.
Cercando di trarre una conclusione prudenziale, (Harris 2011 [11] ) possiamo affermare che i test standardizzati, anche nella versione del “valore aggiunto”, siano misure povere dell'apprendimento degli studenti, e che debbano essere combinate con altri approcci, più diretti, di osservazione delle pratiche di insegnamento.
Ma c'è di più. Mai come ora il “sapere” è uno strumento di “potere” e si sta realizzando, sul tema della valutazione della scuola (ed anche dell'università), un'impostura in funzione della quale il “potere” si traveste da “sapere” , e le sue scelte politiche vengono mascherate da una pretesa oggettività e necessità tecnica . Il governo Monti (il governo dei professori) esprime questa linea con straordinaria coerenza e lucidità. E si tenga presente, più in generale, che Monti sfrutta anche la circostanza che l'aspetto “tecnico” delle scelte politiche richiama nel profondo il mito ottocentesco e novecentesco della scienza e della tecnica come fonti di progresso, e quindi il loro carattere ontologicamente positivo.
Occorre squarciare questo velo di falsa coscienza .
Ogni sistema “serio”, come si dice in gergo accademico, dovrebbe avere dietro una teoria [12] , almeno a maglie larghe. Nel nostro caso, trattandosi di “valutazione”, sembrerebbe necessario aver costruito dapprima una forma, anche debole, di teoria dei valori (si badi che questa non serve all'economia capitalistica di mercato, perché il rapporto tra i prezzi di due merci esprime, da sé, il rapporto tra i rispettivi valori). Ma se il mercato non c'è, in effetti, e noi invece vorremmo indurlo artificiosamente, sembra proprio che una teoria dei valori sia necessaria. A noi rimane il dubbio che una techné che sia valida per tutte le stagioni sia, in fondo, una mistificazione [13] .
Veniamo al punto principale. Ciò che è veramente importante, a ben pensare, non è il processo di identificazione dei valori, quanto il processo del loro porsi. Questione che fu magistralmente trattata da Nietzsche nella Volontà di potenza [14], a cui poi si rifà lo stesso Heidegger nel Nichilismo europeo :
“Con ciò é detto che l'essenza dei valori ha il suo fondamento in forme di dominio (corsivo dell'Autore). I valori sono riferiti per essenza al dominio (corsivo dell'Autore) [15] ”
Se siamo d'accordo con Nietsche ed Heidegger, ne segue, per così dire geometricamente, che istituire un sistema di valutazione significa, in ultimo, istituire un sistema di dominio (governo?). Pertanto istituire un sistema di valutazione è un problema politico che presuppone la discussione aperta [16] dei suoi fondamenti, per giungere, se ci riusciamo, attraverso meccanismi di democrazia procedurale, alla condivisione di un alto sottoinsieme di elementi da parte del più ampio numero cittadini.
Se la valutazione è anzitutto un “porre valori”, e il “porre valori” non è altro che un modo di estrinsecarsi della volontà di potenza, ovvero di instaurare un dominio (pitagorico, d'accordo, ma sempre dominio, anche se degli aristoi) allora la domanda vera é : chi domina chi? Posto diversamente, vittime e aguzzini sono due lati della stessa medaglia, questi non si danno senza quelle. Pertanto, il sistema di valori da porre a base della valutazione, in un ordinamento realmente repubblicano, è molto, molto più esteso e profondo dei test curricolari somministrati dalle cliniche internazionali del sapere-potere quali PISA etc. Che ne sanno questi di inclusione, accoglienza, sviluppo armonico della personalità, tolleranza, supporto, educazione al rispetto degli altri, ovvero degli aspetti relazionali che servono davvero per produrre una “ buona scuola ”? (ed anche una buona società).
Una valutazione repubblicana non può originarsi se non da un grande dibattito pubblico, che ripristini la scuola statale al suo rango di organo costituzionale, come scrisse Piero Calamandrei [17] :
l'uomo non può essere libero se non gli si garantisce un'educazione sufficiente per prendere coscienza di sé, per alzar la testa dalla terra per intravedere, in un filo di luce che scende dall'alto in questa sua tenebra, fini più alti.
[1] Fryer, R.J. Jr e Levitt S.D. (2004), Understanding the Black-White Test Score Gap in the First Two Years of School , The Review of Economics and Statistics, 86, 2, pp. 447-464.
[2] Amrein-Bearsdley A. (2008), Methodological Concerns About the Education Value Added Assessment System , Educational Researcher, 37, 2, pp. 65-75.
[3] Kupermintz H. (2003), Teacher Effects and Teacher Effectivness: A Validity Investigation of the Tennessee Value Added Assessment System , Educational Evaluation and Policy Analysis, 25, 3, pp. 287-298.
[4] Garrison M. (2011), On the Origin and Political Significance of Test-Based Teacher Evaluation and Compensation , Journal of Inquiry and Action in Education, 4, 1, pp. 48-67.
[5] Harris D.N. e Sass T.R. (2009), What Makes for a Good Teacher and What Can Tell? , National Center for the Analysis of Longitudinal Data in Education Research, Working Paper n. 30, Washington, D,C., Urban Institute.
[6] Rothstein J, (2010), Teacher Quality in Education Production: Tracking, Decay and Student Achievement , The Quarterly Journal of Economics, 125, 1, pp. 175-214.
[7] McCaffrey D.F., Sass T.R., Lockwood J.R. e Mihaly K. (2009), The Intertemporal Variability of Teacher Effect Estimates , Education Finance and Policy, 4, 4, 572-606.
[8] Harris D.N., Sass T.R. e Semykina A. (2010), Value-added models and the measurement of teacher productivity , Unpublished manuscript, Tallahassee, FL., Florida State University.
[9] Martini A. (2008), L'accountability nella scuola , Fondazione Giovanni Agnelli, Programma Education, Working Paper n. 8.
[10] Springer M. et alii (2010), Teacher Pay for Performance: Experimental Evidence for the Project on Incentives in Teaching , National Center on Performance Incentives, Vanderbilt University, Nashville, TN.
[11] Harris D. N. (2011), Value Added Measures and the Future of Education Accountability , Science, 33, 6044 (August), pp. 826-827.
[12] Sull'importanza della teoria per la misurazione dei fenomeni non vale la pena insistere più di tanto: basti ricordare la relazione strettissima tra la Contabilità nazionale ed la dottrina economica di impostazione keynesiana. Ancora, lo sferzante giudizio di Tjalling Koopmans sul metodo NBER di misurazione del ciclo economico ( Measuremet without theory ).
[13] Sulla questione della neutralità della scienza, per tutti, si veda Cini, M. (1976) L'ape e l'architetto , Feltrinelli, Milano. Per una rassegna della letteratura concernente il problema della tecnica nel mondo contemporaneo, tra gli altri, Galimberti, U. ( 1999), Psiche e techne. L'uomo nell'età della tecnica , Feltrinelli, Milano.
[14] Vedi ad esempio il frammento n. 73 in Nietsche, F. (2005), La volontà di potenza. Scritti postumi per un progetto, Newton, Milano, con Introduzione di Jean-Michel Rey, cura e traduzione di Giulio Raio. Edizione integrale dei Frammenti postumi (da 1 a 471) che formano il “quaderno 11” del volume VIII dell'edizione critica dei Nachgelassen Fragmente, curata da Giorgio Colli e Mazzino Montinari, Berlin, 1967 sgg.
[15] Heidegger, M. (2003), Il nichilismo europeo , Adelphi, Milano, pag. 100. Edizione originale Der europaische Nihilismus , Verlag Gunther Neske, Pfullingen.
[16] Vedi Popper, K. (1995), La logica della scoperta scientifica, Einaudi, Torino
[17] Calamandrei, P. (2008), Per la scuola , Sellerio editore, Palermo, pag. 27.
