UNIVERSITÀ/ Indicatori di valutazione: il merito c’è, il “sistema perfetto” no

- Andrea Bonaccorsi

Alcuni malfunzionamenti nel sistema di valutazione della ricerca non possono indurre a rinunciare agli indicatori: l’Asn ha impresso una svolta decisiva

leonardo uomovitruviano 1cultura 1490arte1280
Leonardo Da Vinci, Uomo Vitruviano (1490)

L’articolo di Scirè sul Sussidiario del 16 settembre riporta l’attenzione sul tema del reclutamento universitario, anche alla luce di recenti iniziative giudiziarie.

Lo fa attribuendo alla valutazione della ricerca la responsabilità delle disfunzioni del sistema, portando a supporto il recente articolo di Baccini et al. su Plos One. L’articolo ha ricevuto un’attenzione mediatica dovuta non tanto alla sua originalità quanto al fatto che corrisponde a un luogo classico della rappresentazione degli italiani, sempre pronti a sfuggire in modi fantasiosi alle leggi e alle regole.

Non è un caso che sia stato subito ripreso da Gian Antonio Stella, un importante giornalista che sullo stereotipo della casta ha costruito una notevole fortuna professionale ma che sulle vicende universitarie ha talora scritto senza controllare di prima mano le fonti.

Cosa scoprono Baccini e coautori? Che il numero delle citazioni ad autori italiani da parte di autori italiani è aumentato a partire dal 2010 molto più che in altri paesi. Gli italiani quindi hanno iniziato a citare massicciamente se stessi (autocitazioni) e i colleghi italiani (club di citazioni), evidentemente allo scopo di aumentare i propri indicatori citazionali introdotti dall’Anvur per la valutazione della ricerca. In altre parole, quando in un sistema si pone un incentivo ad un certo comportamento e si utilizzano degli indicatori per monitorarlo, gli agenti si adeguano, cercando di massimizzare la probabilità di raggiungere il livello richiesto dagli indicatori. Benvenuti nel mondo reale, verrebbe da dire. Che gli agenti siano sensibili agli incentivi è un’acquisizione delle scienze sociali empiriche da molto tempo. Che si impegnino in attività di “strategizing” sulla base di indicatori, anche questa non è una novità.

Dov’è allora l’interesse dell’articolo di Plos One? Nell’idea che una volta creati gli indicatori si determini un adeguamento irreversibile e peggiorativo, una caduta inevitabile e disastrosa in un mondo di manipolazione, contrario al disinteresse e all’ethos dei ricercatori. Se gli indicatori corrompono la qualità morale dei ricercatori, meglio eliminare gli indicatori.

Su questa idea Scirè rilancia una rappresentazione dell’università italiana ben nota: consorterie di accademici potenti utilizzerebbero gli indicatori quantitativi per proseguire impuniti una spartizione di posti senza alcun rispetto del merito.

Credo che entrambe le tesi siano fondate su generalizzazioni indebite.

In primo luogo, è vero che l’introduzione di indicatori quantitativi da parte dell’Anvur ha modificato i comportamenti dei ricercatori. In gran parte in meglio, va detto: internazionalizzazione, selezione delle riviste scientifiche migliori, introduzione della peer review in riviste (soprattutto nelle aree sociali e umanistiche) che ne erano prive. E certamente anche in modo indesiderato: eccesso di autocitazioni e club di citazioni. È possibile ridurre l’incentivo a questi comportamenti opportunistici? Sì, è possibile. Ad esempio eliminando le autocitazioni dal calcolo degli indicatori o monitorandone attentamente la frequenza, come molte commissioni di abilitazione hanno già iniziato a fare. Oppure utilizzando strumenti di analisi delle reti per identificare clique di citazioni fatte al solo scopo di aumentare gli indicatori. Se gli agenti sono sensibili agli incentivi, si possono disegnare gli incentivi in modo da tenere conto dei comportamenti appresi, inclusi quelli indesiderati.

In secondo luogo, i sistemi vanno sempre valutati in modo comparativo. L’Abilitazione scientifica nazionale ha reso continuo il processo di reclutamento (in passato i concorsi avvenivano a ondate), ha reso più trasparenti criteri e indicatori, ha previsto una rotazione continua delle commissioni per limitare la persistenza nel tempo di posizioni di responsabilità. Ha di fatto aumentato il costo dei comportamenti accademici arbitrari e baronali, nonché delle collusioni sistematiche per la spartizione.

Li ha forse eliminati del tutto? Certamente no, e non avrebbe potuto farlo. Se una comunità accademica (e ve ne sono ancora) ha una struttura che detiene il controllo centralizzato delle carriere sulla base di principi di affiliazione indipendenti dal merito scientifico, certamente apprenderà ad utilizzare gli indicatori ai propri fini. Ma lo farebbe con qualunque sistema: anche se per paradosso le cattedre fossero estratte a sorte, troverebbero il modo di far tornare i conti delle consorterie.

Ma allo stesso tempo chi ha subìto trattamenti ingiustificati ha oggi a disposizione un sistema di criteri e indicatori sulla base dei quali può far valere le proprie ragioni, in passato semplicemente ignorate. Gli studiosi hanno a disposizione dati sui quali studiare gli esiti delle abilitazioni e confrontarli con il passato e con altri paesi. E, sia detto per inciso, i primi studi quantitativi mostrano un effetto esattamente opposto a quello denunciato da Scirè: con la Asn il favoritismo delle commissioni è diminuito e, nei confronti internazionali, è diventato molto inferiore rispetto a paesi confrontabili rispetto alle procedure di abilitazione, come la Spagna.

D’altro lato nel medio termine le comunità chiuse e familistiche sono destinate a perdere peso rispetto alle comunità scientifiche (che sono la grande maggioranza, in tutte le discipline) che invece accettano la competizione basata sul merito e usano gli indicatori come uno strumento. Si tratta di pensare in modo dinamico il funzionamento delle istituzioni.

Gli indicatori sono uno strumento necessario per il governo democratico di sistemi pubblici ad alta complessità. Vanno usati con cautela, studiati a fondo, corretti se e quando serve, con un approccio empirico e aperto.

Prendiamo un esempio diverso. La sanità pubblica italiana vive da oltre due decenni sulla base di sistemi dettagliatissimi di indicatori che regolano il rimborso per singole categorie di prestazioni. Questo sistema è immune da comportamenti opportunistici e dalla manipolazione? Purtroppo no: se l’ospedale riceve per un parto cesareo un rimborso molto maggiore rispetto al parto naturale i ginecologi convinceranno le madri ad accettare l’intervento chirurgico, anche se non necessario. È questa una ragione sufficiente a eliminare un sistema basato su indicatori? No. Piuttosto occorre fare della buona ricerca, scoprire i comportamenti opportunistici e mettere in essere strumenti di mitigazione, come in sanità accade con le linee guida sulla appropriatezza. Così è nella valutazione della ricerca.

P.S. Vorrei dare agli amici Baccini e De Nicolao una buona notizia. Per anni è stato detto che l’Italia avrebbe dovuto imitare la Francia nel campo della valutazione della ricerca, eliminando l’Agenzia di valutazione. In Francia in effetti l’Agenzia è stata eliminata e sostituita con un Consiglio per la valutazione. È notizia di questi giorni che il governo francese sta proponendo una legge per la primavera 2020 nella quale verrà aumentata l’autonomia delle università e parte dei finanziamenti sarà allocata secondo le performance di ricerca. Sulla base di quali indicatori? Di quelli predisposti dal Consiglio per la valutazione, come ha chiarito la ministra della Ricerca. Se davvero gli indicatori producono danni irreversibili, allora bisogna subito intervenire per salvare il sistema francese della ricerca.

© RIPRODUZIONE RISERVATA