Ricerca: distorsioni con questa valutazione

Facendo seguito all'articolo di Alberto Mantovani "Ricerca impossibile senza valutazione" del Corriere della Sera del 3/11/12 che si trova qui alcune dovute precisazioni.

Siamo tutti stati promotori di un qualche sistema di valutazione della ricerca. Il nostro problema italiano è che poi tutto si traduce in un sistema di burocratizzazione della ricerca che dice ben poco della qualità  e purtroppo dice poco anche sulla quantità: ad esempio, si conta il numero dei prodotti della ricerca ovvero delle pubblicazioni, senza neanche tener conto della loro lunghezza (sic!) Svalutando la qualità si rischia di far scappare i nostri ricercatori migliori verso lidi migliori: in Italia resteranno e saranno promossi solo i più produttivi che quasi sempre non sono i migliori!

Vorrei qui analizzare, ad esempio, l'indicatore detto numero medio di prodotti della ricerca.

 1. Introducendo questo indicatore si rischia di far passare che un maggior numero di prodotti è un bene e al contrario un minor numero (anche rispetto ad una media del settore) è un male con il risultato d'incentivare la quantità di prodotti a dispetto della qualità dei singoli prodotti. Anche se il numero medio di prodotti è una metrica valida per tutte le aree disciplinare l'introduzione di questa voce nella valutazione ha come probabile "side effect" appunto quello di dequalificare i ricercatori: le istituzioni di ricerca andranno a scegliere persone "produttive" anche se non sono le più valide (proprio il contrario di quello che dovrebbero fare).

 2. Non credo si possa evitare il "peer review" se si vuole valutare seriamente la ricerca (in quanto la ricerca è un lavoro creativo) anche se con l'ausilio di molti indici e combinazioni di questi, elaborati nel rispetto delle specificità. Suppongo che sia necessario approfondire la questione degli indici, affiancando alla "produttività scientifica" altri indici che possiamo pensare di elaborare con l'aiuto di esperti autorevoli: come valutare la ricerca è un argomento di ricerca! Penso sia sempre necessario - oltre a raffinare una qualche analisi mediante l'ausilio di indici meno rozzi di quelli adottati - eseguire una valutazione "peer review" su lunghi periodi. 

3. Ad esempio, in particolare, non mi sembra corretto denominare "produttività scientifica" un criterio basato sulla enumerazione dei prodotti. Non è infatti corretto affermare che il numero di prodotti abbia una correlazione con la quantità di lavoro impiegata per produrli e possiamo avere (gruppi di) persone maggiormente produttive con un inferiore numero di prodotti. Inoltre, ovviamente, redarre un singolo prodotto potrebbe richiedere maggior lavoro e tempo che non redarne molti. Infine, se non rapportato al numero medio di autori non mi sembra un dato produttivo significativo. La produttività in economia mi sembra sia definita, in prima approssimazione, come il rapporto tra la quantità di output e le quantità di uno o più input utilizzati per la produzione, dunque, nel nostro caso, almeno numero di lavori, il numero di pagine e il numero di autori deve esser coinvolto. Ad esempio, per ogni ricercatore o meglio  gruppo di ricerca che comprende diversi settori potrebbe - al limite - aver qualche significato:

a = somma sui settori del numero di lavori diviso la media del settore/numero di settori
b = somma sui settori del numero di pagine diviso la media del settore/numero di settori
c = somma sui settori del numero di autori diviso la media del settore/numero di settori

ab/c = indice di "produzione scientifica" del gruppo di ricerca

Faccio notare che anche questo indice dovrebbe esser innanzi tutto valutato statisticamente su un campione significativo e che con settore intendo un ambito ragionevolmente omogeneo (non quello ministeriale!).

In conclusione, ritengo che, contrariamente a quanto sostenuto da Alberto Mantovani nel succitato articolo, una valutazione pseudo-automatica, come dice lui "imperfetta" e quindi sommaria, basata su errori, è peggio che l'assenza di valutazione.