E’ stato ampiamente dimostrato, credo, sia in questa lista, sia da paesi che hanno “bocciato” il sistema degli indici bibliometrici che una valutazione vera della ricerca (e dei singoli ricercatori) deve per forza passare per la valutazione da parte di “un numero significativo di persone competenti” di un percorso completo. Mi ricordo di averne parlato con colleghi del CNRS francese alcuni anni fa che mi dicevano che l’avevano bocciato al CNRS. (cf http://www.cnrs.fr/comitenational/archives/cpcn/seancepleniere/2005/releve_c... ) Infatti, come avete fatto notare anche voi e come descritto in questo rapporto, non solo sfavorisce la “pluridisciplinarietà” e “le discipline emergenti” lasciando “tematiche molto (e qualche volta troppo) mature” ma va contro la “presa di rischi” importantissima per la ricerca : questa infatti “può condurre a un abbassamento del “rendimento” [di un ricercatore] per più anni prima di permettere progressi significativi” (e uno può anche partire in una direzione, lavorarci per tanto per poi capire che la direzione era sbagliata, e questo non vuole dire che non è bravo nella ricerca, al contrario!). Il rapporto CNRS indica che questi indici bibliometrici possono soltanto costituire elementi di apprezzamento nelle discussioni dei valutatori. Credo che quello che vediamo ora, però, almeno per i settori non-bibliometrici (per gli altri non sono capace di valutare) è a) che gli errori / problemi legati a una creazione di liste A secondo criteri poco “scientifici” e da parte di chi rappresenta la parte valutatrice e vede il proprio giardino come un modello che tutti gli aspiranti-professori dovrebbero seguire; b) visto che si è denunciata la poca attendibilità di questa lista A (per il mio settore, per esempio, la lista A preparata dall’associazione di francesistica è stata solo usata in parte: la parte “letteraria” – per la parte “Linguistica” è stata dimenticata…) allora i commissari non dovevano tenerne conto (ma… si presuppone non dovesse essere un handicap per chi non aveva pubblicazioni A, almeno mi sembra, e non una richiesta di non tenere conto della collocazione delle pubblicazioni…). E infatti nelle varie materie che ho guardato, ho notato che i commissari non facevano notare il gran numero di pubblicazioni A (una grande rarità da noi!) degli aspiranti-professori, e che valutavano nello stesso modo (tutto “personale”) delle pubblicazioni Z (una categoria da creare secondo me: l’auto-pubblicazione a pagamento in case editoriali senza referees di casa o di amici di casa) e delle pubblicazioni A. Questo vale anche per pubblicazioni in riviste (pure famose, pubblicate in altri paesi, riconosciute mondialmente) di una specialità che non era la loro per cui emettevano anche critiche… Per non parlare poi di giudizi negativi sul fatto di pubblicare troppo in lingua straniera (condizione, lo si sa, per venire pubblicati all’estero)… c) che il solito nepotismo è riuscito a esprimersi alla grande (almeno nella maggioranza dei settori non-bibliometrici) e questo grazie all’assenza di criteri chiari, come per esempio l’assenza di valutazione dell’esperienza (per esempio numero complessivo di anni in cui una persona assume già il ruolo di professore, alcuni di noi che hanno pure una cattedra “per affidamento” da anni e ottime valutazioni nell’insegnamento della propria materia sono stati “bocciati” mentre persone con un dottorato appena in tasca, o da pochissimo ricercatori neanche confermati e pochissima esperienza sono stati abilitati) – di un’esperienza “multipla” che è quella di un ricercatore “vero” e che non si può limitare al contenuto di alcuni suoi articoli e alla sua partecipazione o meno a PRIN. Per dimostrare questo avevo voglia di prendere alcuni dei nostri settori e calcolare la percentuale di persone con un dottorato italiano che hanno avuto l’abilitazione vs quelli con un dottorato all’estero. Quasi il 90% dei miei colleghi di ben 5 nazionalità diverse per cui ho guardato nei vari settori se hanno avuto l’abilitazione sono stati bocciati (faccio parte del 10% dei non bocciati, dovrei quindi chiudere bocca e ringraziare il cielo!), mentre 90% di quelli italiani per cui ho guardato hanno avuto l’abilitazione. Sarà un caso? (sfortunatamente nei curriculum pubblicati non c’è né la nazionalità né il posto dove si ha avuto il dottorato quindi ci metterò un bel po’ per calcolare le percentuali ma… cercherò di farlo – per dimostrare che per fare carriera meglio non uscire dall’Italia per cercare di conoscere altro– o non entrarci… piuttosto!) d) ho citato il CNRS prima: la valutazione da parte di “un numero significativo di persone competenti”, per la scelta delle persone competenti si è fatto un gran casino di verifiche dei curriculum / scelta di persone non italiane / scelta a caso fra chi poteva fare parte delle commissioni ecc. ma per settori pluridisciplinari non si è pensato a una percentuale delle varie discipline rappresentate nei settori, in certi settori non c’era la persona esterna (di un altro paese) e nessuno ha pensato che questa assenza significa una differenza fra i vari settori. Il mio messaggio è abbastanza lungo, credo, per illustrare quanto questi risultati fanno proprio schifo. E’ vero che queste abilitazioni permetteranno a alcune persone (penso a me, per esempio) che non sarebbero mai diventate professori di diventarlo (magari)… Persone che, per esempio, avevano capito dopo un paio di concorsi che spendere soldi / fatica per avere ottimi giudizi ma mai un posto o idoneità è vano. Ma permetteranno ancora a persone di ottimo livello scientifico e che hanno già dimostrato di essere ottimi professori di rimanere ricercatori, mentre persone di poca qualità ma che hanno capito come “si fa carriera sul vento” magari faranno i capocci loro negli stessi atenei. Vorrei dire come Anna che “Continuerò (senza troppa speranza) a lottare” anche se sarà sicuramente contro (mulini a) vento. Annick ----- Messaggio da enrico.alleva@iss.it --------- Data: Sun, 2 Feb 2014 05:54:28 +0000 Da: Alleva Enrico enrico.alleva@iss.it Rispondi-A:"Forum "Università e Ricerca"" universitas_in_trasformazione@mail.dm.unipi.it Oggetto: Re: [Universitas_in_trasformazione] Breve resoconto incontro su VQR e ASN A: Forum Università e Ricerca universitas_in_trasformazione@mail.dm.unipi.it, francesca matteucci matteucci@ts.astro.it Cc: Michele Benedetti micbenei@tin.it
Inviato da iPhone
Il giorno 01/feb/2014, alle ore 19:50, "Francesca Matteucci" matteucc@oats.inaf.it ha scritto:
On 01/30/2014 01:14 PM, Patrizio Dimitri wrote:
Cari Colleghi,
Ieri alla Sapienza c'è stato un incontro-dibattito organizzato da Marco Merafina sui risultati di ASN e VQR.
Nel corso dell'incontro, Giuseppe De Nicolao, professore ordinario del Dipartimento di Ingegneria Industriale e dell'Informazione dell'Università di Pavia e principale voce del blog ROARS, ha presentato un ppt dettagliatissimo mostrando i risultati e le ricadute negative di VQR e ASN.
In circa 30¹ De Nicolao da solo ha messo ko l'Anvur e demolito il castello dell¹ANvur. L¹agenzia governativa era per l'occasione rappresentata da Stefano Fantoni, il Presidente e Sergio Benedetto, ingegnere, il principale artefice della macchina per la VQR, coadiuvati da Marco Mancini, capo dipartimento del Miur e Giancarlo Ruocco, prorettore della Sapienza.
Il collega Marco Merafina ed il Preside della Facoltà di Scienze Vincenzo Nesi si sono associati alle critiche di De Nicolao, aggiungendo a loro volta altre considerazioni sulle ripercussioni negative sulla paradossale numerologia anvuriana. Tra l¹altro hanno giustamente denunciato che nelle ASN una corretta valutazione dei candidati non può prescindere dall¹attività didattica che di fatto viene degradata a mero hobby.
Di fronte a problematiche così palesi ci sarebbe stato solo da recitare il mea culpa, invece gli anvuriani hanno dimostrato di incassare molto bene anche colpi pesantissimi, sono muri di gomma. Incuranti della figuraccia che stavano facendo di fronte ad una platea di circa 200 persone, in modo autoreferenziale hanno sbandierato proclami sull¹importanza del sistema valutativo dell¹ANVUR, senza commentare i dati inoppugnabili forniti da De Nicolao, annunciando di proseguire fedelmente nel compito assegnato loro dallo Stato e di andare avanti per la loro strada, una strada in vero lastricata di morti e feriti.
Posso inviare il pdf della presentazione di De Nicolao a chi è interessato, si tratta di una analisi molto illuminante. Alcuni dati sono più chiari, altre meno, ma l'importante sono le ricadute negative di un meccanismo di valutazione che si rivela sballato e sbagliato in partenza. Un sistema come questo, quantitativo e automatico, che prescinde da autonomia e originalità della ricerca, che non entra nel merito del contributo dei singoli non é ammissibile. Un sistema tra l¹altro molto dispendioso in termini di risorse e stipendi, che nessun paese serio, dove la valutazione è di casa, si sognerebbe mai di mettere in piedi.
Chi continu a difendere a spada tratta la numerologia anvuriana, abbia almeno il coraggio e l¹onestà di dire che lo fa per convenienza e non per convinzione culturale. Prima c¹erano i concorsi, è vero alcuni venivano gestiti da nepotisti e familisti, ma siamo così ingenui da credere che ora le ASN siano così etiche e scevre da tutto ciò? Avete visto che sta succedendo? Ci sono valanghe di denunce, proteste e ricorsi in atto. Il problema, come ho sempre detto anche in questa sede, non sono i meccanismi ma le persone che li gestiscono e quelle bene o male sono sempre le stesse!
Il sistema ANVUR crea tante e tali aberrazioni e incongruenze (generando tra l¹altro tutta una serie di escamotage all¹italiana, furbizie, comportamenti anticulturali e opportunistici già in atto che riguardano, cambiamenti di settori, mercato di authorship e citazioni ecc ecc) che rischia di ribaltare in molti casi i valori in campo e di affondare definitivamente università e ricerca nel nostro paese. L¹università e la ricerca in Italia hanno bisogno di una cura, ma questa cura non deve uccidere il paziente, come purtroppo sta accadendo.
E¹ urgente un cambio di strategia. Servono misure efficaci che introducano un sistema di valutazione per l¹assegnazione dei finanziamenti, per il reclutamento e la progressione delle carriere, basato su qualità, etica e responsabilità. A questo punto farebbero meno danni le chiamate dirette, associate ad una stringente valutazione ex-post affidata a commissioni con una cospicua rappresentazione di esperti stranieri.
La ministra Carrozza, purtroppo, tace......
Si torna però sempre lì: senza l'uso della bibliometria manca un modello alternativo serio per una valutazione della ricerca. Francamente la valutazione dei risultati ex post è risibile e non sposta il problema.... Attualmente mi pare che l'unica alternativa sia non fare alcuna valutazione e restare agli antichi sistemi di potere. Se è tutto qui mi tengo la bibliometria... Saluti Alessio
On 01/30/2014 11:37 AM, Lorenzo Tortora de Falco wrote:
Cara Anna, cari colleghi di Universitas,
sono perfettamente d'accordo per contrastare l'uso della bibliometria, e trovo al tempo stesso rivelatrice e sconcertante la frase che citi:
garantire un quadro di riferimento omogeneo in grado di indirizzare il comportamento dei docenti e, soprattutto **dei giovani ricercatori, alla qualità nella scelta di cosa, come e dove pubblicare*."
La parola chiave mi sembra essere "omogeneo". Siamo molto lontani da ciò che scrive Alain Connes (medaglia Fields del 1982) in a "A view of Mathematics" (http://www.omath.org.il/image/users/112431/ftp/my_files/Alain%20connes.pdf?i d=8883062) sulla ricerca in matematica:
<<It often begins by an act of rebellion with respect to the existing dogmatic description of that reality that one will find in existing books.>>
Ma siamo molto lontani anche dal semplice buon senso di chi realmente si interessa in modo serio di politica della ricerca scientifica. Molte "alte" voci si sono alzate contro la bibliometria, ma questo è servito a poco. La mia sensazione è che purtroppo anche se un numero significativo di colleghi capisce il rischio di una "deriva bibliometrica", soprattutto per il mondo umanistico e per quello delle scienze più teoriche, all'atto pratico accade spesso che ognuno cerchi la sua convenienza del momento, personale oppure (nei casi migliori) della propria disciplina, ponendosi la domanda: "ma io ci rientro in questi criteri?" Se la risposta è positiva, ecco che la critica si fa più blanda e meno pressante.
In conclusione, io sono pronto a fare qualcosa in questa direzione, ma in tutta onestà non riesco a vedere un modo "intelligente" di contrastare questa tendenza, cioè che sia politicamente praticabile e che possa sortire degli effetti. Sono disponibilissimo anche ad azioni tipo mega-petizioni o simili, pur ritenendo che non serviranno, perché far sentire una voce è sempre meglio che tacere, e non si sa mai come sarà davvero recepita. Però mi piacerebbe trovare una forma più originale che possa in qualche modo attecchire, e confesso di non vederne alcuna. Forse però qualcuno ha idee in merito?
Saluti a tutti,
Lorenzo Tortora de Falco.
On Jan 30, 2014, at 10:46 AM, anna painelli wrote:
Buongiorno:
non so quanti di noi hanno letto questo documento dell'ANVUR http://www.anvur.org/attachments/article/455/accreditamento%20corsi%20di%20d ottorato.pdf
A pagina 5 recita "L'ANVUR ha cercato di armonizzare gli indicatori collegati ai criteri A4 (qualificazione scientifica del collegio di dottorato) e A14 descritti nella Sezione 3, con quelli utilizzati nella VQR 2004-2010 e con indicatori bibliometrici di largo uso nella prassi internazionale, *in modo da garantire un quadro di riferimento omogeneo in grado di indirizzare il comportamento dei docenti e, soprattutto **dei giovani ricercatori, alla qualità nella scelta di cosa, come e dove pubblicare*."
a me sembra un gravissimo attacco alla libertà di ricerca e quindi alla ricerca tout court.
Possiamo far sentire la nostra voce?
saluti anna
-- Anna Painelli Dip. Chimica Parma University 43124 Parma, Italy tel 0521-905461 fax 0521-905556 skype: anna.painelli
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni, e per firmare la petizione, sito di Universitas Futura: http://w3.disg.uniroma1.it/unira/index.php
Caro Patrizio, grazie per le informazioni. Mi piacerebbe molto avere la presentazione di De Nicolao. Mi sono convinta anche io che questi "nuovi" metodi di valutazione possano essere catastrofici, soprattutto se usano gli indicatori bibliometrici in modo ottuso.. Grazie! Francesca
-- Francesca Matteucci professor of Stellar Physics Trieste University tel.+39-040-3199130 fax +39-040-309418
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni, e per firmare la petizione, sito di Universitas Futura: http://w3.disg.uniroma1.it/unira/index.php
=================================================================================== L'Istituto Superiore di Sanità (ISS) è tra i beneficiari dei proventi del 5 per mille dell'IRPEF. Nella scheda allegata alla dichiarazione dei redditi è sufficiente apporre la propria firma nel riquadro "Finanziamento della Ricerca Sanitaria" e indicare il Codice Fiscale dell'ISS, che è 80211730587, per destinare tali fondi a sostegno dell'impegno scientifico dell'ISS a difesa della salute di tutti. ===================================================================================
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni, e per firmare la petizione, sito di Universitas Futura: http://w3.disg.uniroma1.it/unira/index.php
----- Fine del messaggio da enrico.alleva@iss.it -----