Ieri è stato pubblicato sul sito di ROARS http://www.roars.it/online/?p=10008#more-10008 l'intervento che segue.
Intervento di Luciano Modica, 12 luglio 2012
Mi auguro proprio che l'ANVUR sia capace di correggersi, secondo il titolo che Il Sole 24 ore di domenica 8 luglio ha dato all'intervento di Andrea Bonaccorsi, autorevole componente del consiglio direttivo dell'Agenzia. E mi auguro soprattutto che Bonaccorsi stesso sia capace di correggersi perché il suo articolo, al di là delle opinioni tutte rispettabili, contiene una lettura dei fatti (cioè dei documenti) che ritengo discordante dalla realtà e persino fuorviante.
Mi scuso dei tecnicismi ma qui sono assolutamente necessari. L'argomento sono i criteri, parametri e indicatori che serviranno a valutare la qualità scientifica dei curricula dei candidati alle procedure di abilitazione scientifica nazionale. Se mai si svolgeranno, visti i molti annunciati e autorevoli ricorsi per via giurisdizionale. Tali criteri, parametri e indicatori sono contenuti nel regolamento pubblicato con decreto ministeriale n. 76 del 7 giugno 2012, mentre alcune specifiche modalità di calcolo sono state stabilite dall'ANVUR nella sua delibera n. 50 del 21 giugno scorso. Per semplificare si tratterà solo il caso delle abilitazioni per l'accesso alla fascia dei professori ordinari delle discipline "scientifiche", ma le stesse osservazioni varrebbero per le discipline "umanistiche" e per la fascia dei professori associati.
Il comma 1 dell'articolo 4 del decreto elenca una serie di criteri generali di valutazione (abbastanza condivisibili), mentre i commi 2 e 3 contengono rispettivamente quattro criteri e due parametri per la valutazione delle pubblicazioni scientifiche scelte presentate dai candidati, da 16 a 20 a seconda delle aree disciplinari. Infine il comma 4, come scrive correttamente Bonaccorsi, elenca ben dieci parametri per la valutazione dei titoli presentati dai candidati, tra cui naturalmente l'elenco dell'intera produzione scientifica.
Parafrasando Orwell, vi è però uno dei dieci parametri che è più eguale degli altri, quello dell'impatto della produzione scientifica complessiva indicato alla lettera a) del comma 4. Infatti, mentre gli altri nove parametri sono affidati alla valutazione discrezionale e competente della commissione, su quello dell'impatto il decreto ritorna nell'articolo 6 e fissa d'autorità anche gli indicatori bibliometrici quantitativi relativi. Non solo: i valori di tali indicatori diventano dirimenti per l'attribuzione dell'abilitazione. Si legge infatti nell'articolo 6, comma 1, che "l'abilitazione può essere attribuita esclusivamente ai candidati" (la sottolineatura è mia) che: (a) superino certi valori numerici degli indicatori bibliometrici individuati nell'allegato A al decreto e inoltre (b) siano valutati positivamente per ciascuno degli altri nove parametri.
Consultando l'allegato A si scopre al punto n. 2 che gli indicatori bibliometrici sono tre: numero degli articoli pubblicati negli ultimi dieci anni, numero totale delle citazioni, indice di Hirsch, calcolati utilizzando certe "normalizzazioni per l'età accademica" su cui qui si sorvolerà anche se varrebbe la pena tornarci in altra occasione per un'analisi accurata delle loro possibili conseguenze.
Subito dopo, al punto n.3, si svela infine il mistero a lungo custodito: può essere attribuita l'abilitazione esclusivamente ai candidati che superino, per almeno due dei tre indicatori, il corrispondente valore mediano dell'insieme dei professori ordinari del medesimo settore. Il calcolo dei tre valori mediani sarà effettuato dall'ANVUR (punto n. 4 dell'allegato). Sorvoliamo ancora, per brevità, sulla debolezza scientifica, statistica e giuridica di un simile criterio. Fin qui i fatti, non sfuggiti a chiunque abbia letto attentamente il decreto. Osserva però Bonaccorsi sul Sole: le commissioni di abilitazione "possono discostarsi dalle mediane se dichiarano anticipatamente e in modo trasparente altri criteri". Bello e giusto ... se fosse vero.
Torniamo al testo del decreto, perché matematici e giuristi hanno il vizio della pignoleria nella lettura dei testi e non si lasciano convincere da affermazioni vaghe e vagamente anestetizzanti. Si trova allora il comma 5 dell'articolo 6 che stabilisce: "Qualora la commissione intenda discostarsi dai suddetti principi è tenuta a darne motivazione preventivamente, con le modalità di cui all'articolo 3, comma 3, e nel giudizio finale". La caccia al tesoro non è dunque finita. Andiamo a leggere il comma 3 dell'articolo 3 e si trova che: "L'individuazione del tipo di pubblicazioni, la ponderazione di ciascun criterio e parametro, di cui agli articoli 4 e 5, da prendere in considerazione e l'eventuale utilizzo di ulteriori criteri e parametri più selettivi ai fini della valutazione delle pubblicazioni e dei titoli sono predeterminati dalla commissione" (la sottolineatura è mia).
Dunque, se la logica e la lingua italiana hanno ancora un senso, le commissioni possono solo rafforzare e mai indebolire i criteri e i parametri fissati dal regolamento ministeriale. Quindi non vi è alcuna possibilità per le commissioni di evitare che il parametro del superamento delle due mediane su tre mantenga il suo carattere dirimente e serva ad escludere senza appello i candidati che non lo soddisfino, qualunque sia il giudizio scientifico della commissione. Si tratta proprio di quanto asserito dall'autorevole commissione scientifica dell'Unione Matematica Italiana che ha duramente e giustamente criticato il ricorso a metodi automatici di valutazione. E' dunque fuorviante, purtroppo, l'affermazione di Bonaccorsi che "è stato evitato il più possibile l'utilizzo di strumenti automatici, proprio ascoltando rilievi critici di questo tipo". Né nella successiva mozione ANVUR n. 50 ho trovato alcun cenno alla questione, tenendo anche conto che sarebbe giuridicamente assurdo che la delibera di un'agenzia, per quanto autorevole, possa superare il disposto di un regolamento ministeriale. Mi auguro dunque, come dicevo all'inizio, una pronta correzione di quest'affermazione fuorviante.
Mi si lasci un ultimo addolorato commento sull'articolo di Bonaccorsi che si chiude con le parole: "la valutazione è un esperimento sociale e non può evitare di produrre effetti non intenzionali, taluni anche perversi". Lasciamo perdere l'intenzionalità (ci mancherebbe altro!), ma accettare a priori che una valutazione concorsuale sia un esperimento sociale che può generare effetti perversi fa raggelare. Il reclutamento e l'avanzamento di carriera dei professori universitari toccano nel profondo la vita lavorativa e la passione nella didattica e nella ricerca di decine di migliaia di ricercatori (precari e non precari) e professori associati, giovani e meno giovani. Non dovrebbe essere concesso a sette professori ordinari di giocare a fare esperimenti sulla loro pelle.
Vorrei aggiungere un'ulteriore considerazione: pur avendo affermato (bontà loro) che l'ANVUR agirà con criteri improntati alla massima professionalità, all'Art. 5, punto 5 della Delibera 50 dell'ANVUR (quella che spiega i meccanismi di calcolo degli indici bibliometrici), si afferma candidamente che "l'ANVUR non è responsabile di eventuali errori presenti nelle banche dati". Francamente lo trovo inaccettabile sarebbe come dire che uno manda un lavoro a una rivista dichiarandosi non responsabile di eventuali errori strumentali!!! Piero Lattanzi
Pierfranco Lattanzi Professor of Applied mineralogy Università di Cagliari Dipartimento di Scienze chimiche e geologiche via Trentino 51, I-09127 Cagliari tel. +390706757722 +390552757490 fax +39070282236 email lattanzp@unica.it skype pierfranco.lattanzi
Il giorno 17/07/12 12:40, "Luciano Modica" luciano.modica@alice.it ha scritto:
Ieri è stato pubblicato sul sito di ROARS http://www.roars.it/online/?p=10008#more-10008 l'intervento che segue.
Intervento di Luciano Modica, 12 luglio 2012
Mi auguro proprio che l'ANVUR sia capace di correggersi, secondo il titolo che Il Sole 24 ore di domenica 8 luglio ha dato all'intervento di Andrea Bonaccorsi, autorevole componente del consiglio direttivo dell'Agenzia. E mi auguro soprattutto che Bonaccorsi stesso sia capace di correggersi perché il suo articolo, al di là delle opinioni tutte rispettabili, contiene una lettura dei fatti (cioè dei documenti) che ritengo discordante dalla realtà e persino fuorviante.
Mi scuso dei tecnicismi ma qui sono assolutamente necessari. L'argomento sono i criteri, parametri e indicatori che serviranno a valutare la qualità scientifica dei curricula dei candidati alle procedure di abilitazione scientifica nazionale. Se mai si svolgeranno, visti i molti annunciati e autorevoli ricorsi per via giurisdizionale. Tali criteri, parametri e indicatori sono contenuti nel regolamento pubblicato con decreto ministeriale n. 76 del 7 giugno 2012, mentre alcune specifiche modalità di calcolo sono state stabilite dall'ANVUR nella sua delibera n. 50 del 21 giugno scorso. Per semplificare si tratterà solo il caso delle abilitazioni per l'accesso alla fascia dei professori ordinari delle discipline "scientifiche", ma le stesse osservazioni varrebbero per le discipline "umanistiche" e per la fascia dei professori associati.
Il comma 1 dell'articolo 4 del decreto elenca una serie di criteri generali di valutazione (abbastanza condivisibili), mentre i commi 2 e 3 contengono rispettivamente quattro criteri e due parametri per la valutazione delle pubblicazioni scientifiche scelte presentate dai candidati, da 16 a 20 a seconda delle aree disciplinari. Infine il comma 4, come scrive correttamente Bonaccorsi, elenca ben dieci parametri per la valutazione dei titoli presentati dai candidati, tra cui naturalmente l'elenco dell'intera produzione scientifica.
Parafrasando Orwell, vi è però uno dei dieci parametri che è più eguale degli altri, quello dell'impatto della produzione scientifica complessiva indicato alla lettera a) del comma 4. Infatti, mentre gli altri nove parametri sono affidati alla valutazione discrezionale e competente della commissione, su quello dell'impatto il decreto ritorna nell'articolo 6 e fissa d'autorità anche gli indicatori bibliometrici quantitativi relativi. Non solo: i valori di tali indicatori diventano dirimenti per l'attribuzione dell'abilitazione. Si legge infatti nell'articolo 6, comma 1, che "l'abilitazione può essere attribuita esclusivamente ai candidati" (la sottolineatura è mia) che: (a) superino certi valori numerici degli indicatori bibliometrici individuati nell'allegato A al decreto e inoltre (b) siano valutati positivamente per ciascuno degli altri nove parametri.
Consultando l'allegato A si scopre al punto n. 2 che gli indicatori bibliometrici sono tre: numero degli articoli pubblicati negli ultimi dieci anni, numero totale delle citazioni, indice di Hirsch, calcolati utilizzando certe "normalizzazioni per l'età accademica" su cui qui si sorvolerà anche se varrebbe la pena tornarci in altra occasione per un'analisi accurata delle loro possibili conseguenze.
Subito dopo, al punto n.3, si svela infine il mistero a lungo custodito: può essere attribuita l'abilitazione esclusivamente ai candidati che superino, per almeno due dei tre indicatori, il corrispondente valore mediano dell'insieme dei professori ordinari del medesimo settore. Il calcolo dei tre valori mediani sarà effettuato dall'ANVUR (punto n. 4 dell'allegato). Sorvoliamo ancora, per brevità, sulla debolezza scientifica, statistica e giuridica di un simile criterio. Fin qui i fatti, non sfuggiti a chiunque abbia letto attentamente il decreto. Osserva però Bonaccorsi sul Sole: le commissioni di abilitazione "possono discostarsi dalle mediane se dichiarano anticipatamente e in modo trasparente altri criteri". Bello e giusto ... se fosse vero.
Torniamo al testo del decreto, perché matematici e giuristi hanno il vizio della pignoleria nella lettura dei testi e non si lasciano convincere da affermazioni vaghe e vagamente anestetizzanti. Si trova allora il comma 5 dell'articolo 6 che stabilisce: "Qualora la commissione intenda discostarsi dai suddetti principi è tenuta a darne motivazione preventivamente, con le modalità di cui all'articolo 3, comma 3, e nel giudizio finale". La caccia al tesoro non è dunque finita. Andiamo a leggere il comma 3 dell'articolo 3 e si trova che: "L'individuazione del tipo di pubblicazioni, la ponderazione di ciascun criterio e parametro, di cui agli articoli 4 e 5, da prendere in considerazione e l'eventuale utilizzo di ulteriori criteri e parametri più selettivi ai fini della valutazione delle pubblicazioni e dei titoli sono predeterminati dalla commissione" (la sottolineatura è mia).
Dunque, se la logica e la lingua italiana hanno ancora un senso, le commissioni possono solo rafforzare e mai indebolire i criteri e i parametri fissati dal regolamento ministeriale. Quindi non vi è alcuna possibilità per le commissioni di evitare che il parametro del superamento delle due mediane su tre mantenga il suo carattere dirimente e serva ad escludere senza appello i candidati che non lo soddisfino, qualunque sia il giudizio scientifico della commissione. Si tratta proprio di quanto asserito dall'autorevole commissione scientifica dell'Unione Matematica Italiana che ha duramente e giustamente criticato il ricorso a metodi automatici di valutazione. E' dunque fuorviante, purtroppo, l'affermazione di Bonaccorsi che "è stato evitato il più possibile l'utilizzo di strumenti automatici, proprio ascoltando rilievi critici di questo tipo". Né nella successiva mozione ANVUR n. 50 ho trovato alcun cenno alla questione, tenendo anche conto che sarebbe giuridicamente assurdo che la delibera di un'agenzia, per quanto autorevole, possa superare il disposto di un regolamento ministeriale. Mi auguro dunque, come dicevo all'inizio, una pronta correzione di quest'affermazione fuorviante.
Mi si lasci un ultimo addolorato commento sull'articolo di Bonaccorsi che si chiude con le parole: "la valutazione è un esperimento sociale e non può evitare di produrre effetti non intenzionali, taluni anche perversi". Lasciamo perdere l'intenzionalità (ci mancherebbe altro!), ma accettare a priori che una valutazione concorsuale sia un esperimento sociale che può generare effetti perversi fa raggelare. Il reclutamento e l'avanzamento di carriera dei professori universitari toccano nel profondo la vita lavorativa e la passione nella didattica e nella ricerca di decine di migliaia di ricercatori (precari e non precari) e professori associati, giovani e meno giovani. Non dovrebbe essere concesso a sette professori ordinari di giocare a fare esperimenti sulla loro pelle.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni, e per firmare la petizione, sito di Universitas Futura: http://w3.disg.uniroma1.it/unira/index.php
Secondo me è peggio di così: la loro "massima professionalità" consiste nella fiducia nella buona volontà della gente nel riempire il famoso "sito docente". Passano poi il tempo a cambiare idea sul come calcolare i vari parametri e dichiarano che noi fungeremo da cavie del loro "grande esperimento" in vivo.
Credo che le dichiarazioni ANVUR siano la dimostrazione più palese del loro totale fallimento, insieme a quello della volontà di imbrigliare la scienza in un paio di numeretti.
Io mi chiedo: se qualcuno facesse ricorso affermando, semplicemente, che è indimostrabile l'affidabilità della banca dati di pubblicazioni sulla quale l'ANVUR fonda la definizione dei propri parametri, vincerebbe a mani basse: per dimostrare che questa affermazione è falsa servirebbe che l'ANVUR avesse già i dati, ma se li avesse non avrebbe chiesto nulla ai docenti.
Cordialmente, Guido Mula
On 17/07/12 19.52, "Pierfranco Lattanzi" lattanzp@unica.it wrote:
Vorrei aggiungere un'ulteriore considerazione: pur avendo affermato (bontà loro) che l'ANVUR agirà con criteri improntati alla massima professionalità, all'Art. 5, punto 5 della Delibera 50 dell'ANVUR (quella che spiega i meccanismi di calcolo degli indici bibliometrici), si afferma candidamente che "l'ANVUR non è responsabile di eventuali errori presenti nelle banche dati". Francamente lo trovo inaccettabile sarebbe come dire che uno manda un lavoro a una rivista dichiarandosi non responsabile di eventuali errori strumentali!!! Piero Lattanzi
Pierfranco Lattanzi Professor of Applied mineralogy Università di Cagliari Dipartimento di Scienze chimiche e geologiche via Trentino 51, I-09127 Cagliari tel. +390706757722 +390552757490 fax +39070282236 email lattanzp@unica.it skype pierfranco.lattanzi
Il giorno 17/07/12 12:40, "Luciano Modica" luciano.modica@alice.it ha scritto:
Ieri è stato pubblicato sul sito di ROARS http://www.roars.it/online/?p=10008#more-10008 l'intervento che segue.
Intervento di Luciano Modica, 12 luglio 2012
Mi auguro proprio che l'ANVUR sia capace di correggersi, secondo il titolo che Il Sole 24 ore di domenica 8 luglio ha dato all'intervento di Andrea Bonaccorsi, autorevole componente del consiglio direttivo dell'Agenzia. E mi auguro soprattutto che Bonaccorsi stesso sia capace di correggersi perché il suo articolo, al di là delle opinioni tutte rispettabili, contiene una lettura dei fatti (cioè dei documenti) che ritengo discordante dalla realtà e persino fuorviante.
Mi scuso dei tecnicismi ma qui sono assolutamente necessari. L'argomento sono i criteri, parametri e indicatori che serviranno a valutare la qualità scientifica dei curricula dei candidati alle procedure di abilitazione scientifica nazionale. Se mai si svolgeranno, visti i molti annunciati e autorevoli ricorsi per via giurisdizionale. Tali criteri, parametri e indicatori sono contenuti nel regolamento pubblicato con decreto ministeriale n. 76 del 7 giugno 2012, mentre alcune specifiche modalità di calcolo sono state stabilite dall'ANVUR nella sua delibera n. 50 del 21 giugno scorso. Per semplificare si tratterà solo il caso delle abilitazioni per l'accesso alla fascia dei professori ordinari delle discipline "scientifiche", ma le stesse osservazioni varrebbero per le discipline "umanistiche" e per la fascia dei professori associati.
Il comma 1 dell'articolo 4 del decreto elenca una serie di criteri generali di valutazione (abbastanza condivisibili), mentre i commi 2 e 3 contengono rispettivamente quattro criteri e due parametri per la valutazione delle pubblicazioni scientifiche scelte presentate dai candidati, da 16 a 20 a seconda delle aree disciplinari. Infine il comma 4, come scrive correttamente Bonaccorsi, elenca ben dieci parametri per la valutazione dei titoli presentati dai candidati, tra cui naturalmente l'elenco dell'intera produzione scientifica.
Parafrasando Orwell, vi è però uno dei dieci parametri che è più eguale degli altri, quello dell'impatto della produzione scientifica complessiva indicato alla lettera a) del comma 4. Infatti, mentre gli altri nove parametri sono affidati alla valutazione discrezionale e competente della commissione, su quello dell'impatto il decreto ritorna nell'articolo 6 e fissa d'autorità anche gli indicatori bibliometrici quantitativi relativi. Non solo: i valori di tali indicatori diventano dirimenti per l'attribuzione dell'abilitazione. Si legge infatti nell'articolo 6, comma 1, che "l'abilitazione può essere attribuita esclusivamente ai candidati" (la sottolineatura è mia) che: (a) superino certi valori numerici degli indicatori bibliometrici individuati nell'allegato A al decreto e inoltre (b) siano valutati positivamente per ciascuno degli altri nove parametri.
Consultando l'allegato A si scopre al punto n. 2 che gli indicatori bibliometrici sono tre: numero degli articoli pubblicati negli ultimi dieci anni, numero totale delle citazioni, indice di Hirsch, calcolati utilizzando certe "normalizzazioni per l'età accademica" su cui qui si sorvolerà anche se varrebbe la pena tornarci in altra occasione per un'analisi accurata delle loro possibili conseguenze.
Subito dopo, al punto n.3, si svela infine il mistero a lungo custodito: può essere attribuita l'abilitazione esclusivamente ai candidati che superino, per almeno due dei tre indicatori, il corrispondente valore mediano dell'insieme dei professori ordinari del medesimo settore. Il calcolo dei tre valori mediani sarà effettuato dall'ANVUR (punto n. 4 dell'allegato). Sorvoliamo ancora, per brevità, sulla debolezza scientifica, statistica e giuridica di un simile criterio. Fin qui i fatti, non sfuggiti a chiunque abbia letto attentamente il decreto. Osserva però Bonaccorsi sul Sole: le commissioni di abilitazione "possono discostarsi dalle mediane se dichiarano anticipatamente e in modo trasparente altri criteri". Bello e giusto ... se fosse vero.
Torniamo al testo del decreto, perché matematici e giuristi hanno il vizio della pignoleria nella lettura dei testi e non si lasciano convincere da affermazioni vaghe e vagamente anestetizzanti. Si trova allora il comma 5 dell'articolo 6 che stabilisce: "Qualora la commissione intenda discostarsi dai suddetti principi è tenuta a darne motivazione preventivamente, con le modalità di cui all'articolo 3, comma 3, e nel giudizio finale". La caccia al tesoro non è dunque finita. Andiamo a leggere il comma 3 dell'articolo 3 e si trova che: "L'individuazione del tipo di pubblicazioni, la ponderazione di ciascun criterio e parametro, di cui agli articoli 4 e 5, da prendere in considerazione e l'eventuale utilizzo di ulteriori criteri e parametri più selettivi ai fini della valutazione delle pubblicazioni e dei titoli sono predeterminati dalla commissione" (la sottolineatura è mia).
Dunque, se la logica e la lingua italiana hanno ancora un senso, le commissioni possono solo rafforzare e mai indebolire i criteri e i parametri fissati dal regolamento ministeriale. Quindi non vi è alcuna possibilità per le commissioni di evitare che il parametro del superamento delle due mediane su tre mantenga il suo carattere dirimente e serva ad escludere senza appello i candidati che non lo soddisfino, qualunque sia il giudizio scientifico della commissione. Si tratta proprio di quanto asserito dall'autorevole commissione scientifica dell'Unione Matematica Italiana che ha duramente e giustamente criticato il ricorso a metodi automatici di valutazione. E' dunque fuorviante, purtroppo, l'affermazione di Bonaccorsi che "è stato evitato il più possibile l'utilizzo di strumenti automatici, proprio ascoltando rilievi critici di questo tipo". Né nella successiva mozione ANVUR n. 50 ho trovato alcun cenno alla questione, tenendo anche conto che sarebbe giuridicamente assurdo che la delibera di un'agenzia, per quanto autorevole, possa superare il disposto di un regolamento ministeriale. Mi auguro dunque, come dicevo all'inizio, una pronta correzione di quest'affermazione fuorviante.
Mi si lasci un ultimo addolorato commento sull'articolo di Bonaccorsi che si chiude con le parole: "la valutazione è un esperimento sociale e non può evitare di produrre effetti non intenzionali, taluni anche perversi". Lasciamo perdere l'intenzionalità (ci mancherebbe altro!), ma accettare a priori che una valutazione concorsuale sia un esperimento sociale che può generare effetti perversi fa raggelare. Il reclutamento e l'avanzamento di carriera dei professori universitari toccano nel profondo la vita lavorativa e la passione nella didattica e nella ricerca di decine di migliaia di ricercatori (precari e non precari) e professori associati, giovani e meno giovani. Non dovrebbe essere concesso a sette professori ordinari di giocare a fare esperimenti sulla loro pelle.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni, e per firmare la petizione, sito di Universitas Futura: http://w3.disg.uniroma1.it/unira/index.php
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni, e per firmare la petizione, sito di Universitas Futura: http://w3.disg.uniroma1.it/unira/index.php
io non ho seguito in dettaglio i lavori del ANVUR ma ho l'impressione che si muovano con grandi difficoltà.
Inoltre non sono sicuro che tutti i membri abbiano una adeguata conoscenza dei problemi inerenti ad un processo di valutazione.
Per quanto riguarda i dati bibliometrici ci sono evidenti elementi di assurdo. In assenza di banche dati ufficiali e di numerose ed in parte impossibili normalizzazioni, alcuni numeri possono al più avere un valore indicativo ed a mio avviso più utili per statistiche che per valutazioni individuali.
Come ben osservato i ricorsi si potranno sprecare ed il sistema collassare.
Inoltre abbiamo l'assurdo che alcuni di questi dati sono forniti da agenzie private, ci ritroveremo in piccolo con i problemi creati dalle agenzie di rating americane.
Credo che alla fine si creerà una enorme confusione ed il risultato più probabile (e forse da alcuni auspicato) sarà un ulteriore blocco delle carriere.
Secondo me è peggio di così: la loro "massima professionalità" consiste nella fiducia nella buona volontà della gente nel riempire il famoso "sito docente". Passano poi il tempo a cambiare idea sul come calcolare i vari parametri e dichiarano che noi fungeremo da cavie del loro "grande esperimento" in vivo.
Credo che le dichiarazioni ANVUR siano la dimostrazione più palese del loro totale fallimento, insieme a quello della volontà di imbrigliare la scienza in un paio di numeretti.
Io mi chiedo: se qualcuno facesse ricorso affermando, semplicemente, che è indimostrabile l'affidabilità della banca dati di pubblicazioni sulla quale l'ANVUR fonda la definizione dei propri parametri, vincerebbe a mani basse: per dimostrare che questa affermazione è falsa servirebbe che l'ANVUR avesse già i dati, ma se li avesse non avrebbe chiesto nulla ai docenti.
Cordialmente, Guido Mula
On 17/07/12 19.52, "Pierfranco Lattanzi" lattanzp@unica.it wrote:
Vorrei aggiungere un'ulteriore considerazione: pur avendo affermato (bontà loro) che l'ANVUR agirà con criteri improntati alla massima professionalità, all'Art. 5, punto 5 della Delibera 50 dell'ANVUR (quella che spiega i meccanismi di calcolo degli indici bibliometrici), si afferma candidamente che "l'ANVUR non è responsabile di eventuali errori presenti nelle banche dati". Francamente lo trovo inaccettabile sarebbe come dire che uno manda un lavoro a una rivista dichiarandosi non responsabile di eventuali errori strumentali!!! Piero Lattanzi
Pierfranco Lattanzi Professor of Applied mineralogy Università di Cagliari Dipartimento di Scienze chimiche e geologiche via Trentino 51, I-09127 Cagliari tel. +390706757722 +390552757490 fax +39070282236 email lattanzp@unica.it skype pierfranco.lattanzi
Il giorno 17/07/12 12:40, "Luciano Modica" luciano.modica@alice.it ha scritto:
Ieri è stato pubblicato sul sito di ROARS http://www.roars.it/online/?p=10008#more-10008 l'intervento che segue.
Intervento di Luciano Modica, 12 luglio 2012
Mi auguro proprio che l'ANVUR sia capace di correggersi, secondo il titolo che Il Sole 24 ore di domenica 8 luglio ha dato all'intervento di Andrea Bonaccorsi, autorevole componente del consiglio direttivo dell'Agenzia. E mi auguro soprattutto che Bonaccorsi stesso sia capace di correggersi perché il suo articolo, al di là delle opinioni tutte rispettabili, contiene una lettura dei fatti (cioè dei documenti) che ritengo discordante dalla realtà e persino fuorviante.
Mi scuso dei tecnicismi ma qui sono assolutamente necessari. L'argomento sono i criteri, parametri e indicatori che serviranno a valutare la qualità scientifica dei curricula dei candidati alle procedure di abilitazione scientifica nazionale. Se mai si svolgeranno, visti i molti annunciati e autorevoli ricorsi per via giurisdizionale. Tali criteri, parametri e indicatori sono contenuti nel regolamento pubblicato con decreto ministeriale n. 76 del 7 giugno 2012, mentre alcune specifiche modalità di calcolo sono state stabilite dall'ANVUR nella sua delibera n. 50 del 21 giugno scorso. Per semplificare si tratterà solo il caso delle abilitazioni per l'accesso alla fascia dei professori ordinari delle discipline "scientifiche", ma le stesse osservazioni varrebbero per le discipline "umanistiche" e per la fascia dei professori associati.
Il comma 1 dell'articolo 4 del decreto elenca una serie di criteri generali di valutazione (abbastanza condivisibili), mentre i commi 2 e 3 contengono rispettivamente quattro criteri e due parametri per la valutazione delle pubblicazioni scientifiche scelte presentate dai candidati, da 16 a 20 a seconda delle aree disciplinari. Infine il comma 4, come scrive correttamente Bonaccorsi, elenca ben dieci parametri per la valutazione dei titoli presentati dai candidati, tra cui naturalmente l'elenco dell'intera produzione scientifica.
Parafrasando Orwell, vi è però uno dei dieci parametri che è più eguale degli altri, quello dell'impatto della produzione scientifica complessiva indicato alla lettera a) del comma 4. Infatti, mentre gli altri nove parametri sono affidati alla valutazione discrezionale e competente della commissione, su quello dell'impatto il decreto ritorna nell'articolo 6 e fissa d'autorità anche gli indicatori bibliometrici quantitativi relativi. Non solo: i valori di tali indicatori diventano dirimenti per l'attribuzione dell'abilitazione. Si legge infatti nell'articolo 6, comma 1, che "l'abilitazione può essere attribuita esclusivamente ai candidati" (la sottolineatura è mia) che: (a) superino certi valori numerici degli indicatori bibliometrici individuati nell'allegato A al decreto e inoltre (b) siano valutati positivamente per ciascuno degli altri nove parametri.
Consultando l'allegato A si scopre al punto n. 2 che gli indicatori bibliometrici sono tre: numero degli articoli pubblicati negli ultimi dieci anni, numero totale delle citazioni, indice di Hirsch, calcolati utilizzando certe "normalizzazioni per l'età accademica" su cui qui si sorvolerà anche se varrebbe la pena tornarci in altra occasione per un'analisi accurata delle loro possibili conseguenze.
Subito dopo, al punto n.3, si svela infine il mistero a lungo custodito: può essere attribuita l'abilitazione esclusivamente ai candidati che superino, per almeno due dei tre indicatori, il corrispondente valore mediano dell'insieme dei professori ordinari del medesimo settore. Il calcolo dei tre valori mediani sarà effettuato dall'ANVUR (punto n. 4 dell'allegato). Sorvoliamo ancora, per brevità, sulla debolezza scientifica, statistica e giuridica di un simile criterio. Fin qui i fatti, non sfuggiti a chiunque abbia letto attentamente il decreto. Osserva però Bonaccorsi sul Sole: le commissioni di abilitazione "possono discostarsi dalle mediane se dichiarano anticipatamente e in modo trasparente altri criteri". Bello e giusto ... se fosse vero.
Torniamo al testo del decreto, perché matematici e giuristi hanno il vizio della pignoleria nella lettura dei testi e non si lasciano convincere da affermazioni vaghe e vagamente anestetizzanti. Si trova allora il comma 5 dell'articolo 6 che stabilisce: "Qualora la commissione intenda discostarsi dai suddetti principi è tenuta a darne motivazione preventivamente, con le modalità di cui all'articolo 3, comma 3, e nel giudizio finale". La caccia al tesoro non è dunque finita. Andiamo a leggere il comma 3 dell'articolo 3 e si trova che: "L'individuazione del tipo di pubblicazioni, la ponderazione di ciascun criterio e parametro, di cui agli articoli 4 e 5, da prendere in considerazione e l'eventuale utilizzo di ulteriori criteri e parametri più selettivi ai fini della valutazione delle pubblicazioni e dei titoli sono predeterminati dalla commissione" (la sottolineatura è mia).
Dunque, se la logica e la lingua italiana hanno ancora un senso, le commissioni possono solo rafforzare e mai indebolire i criteri e i parametri fissati dal regolamento ministeriale. Quindi non vi è alcuna possibilità per le commissioni di evitare che il parametro del superamento delle due mediane su tre mantenga il suo carattere dirimente e serva ad escludere senza appello i candidati che non lo soddisfino, qualunque sia il giudizio scientifico della commissione. Si tratta proprio di quanto asserito dall'autorevole commissione scientifica dell'Unione Matematica Italiana che ha duramente e giustamente criticato il ricorso a metodi automatici di valutazione. E' dunque fuorviante, purtroppo, l'affermazione di Bonaccorsi che "è stato evitato il più possibile l'utilizzo di strumenti automatici, proprio ascoltando rilievi critici di questo tipo". Né nella successiva mozione ANVUR n. 50 ho trovato alcun cenno alla questione, tenendo anche conto che sarebbe giuridicamente assurdo che la delibera di un'agenzia, per quanto autorevole, possa superare il disposto di un regolamento ministeriale. Mi auguro dunque, come dicevo all'inizio, una pronta correzione di quest'affermazione fuorviante.
Mi si lasci un ultimo addolorato commento sull'articolo di Bonaccorsi che si chiude con le parole: "la valutazione è un esperimento sociale e non può evitare di produrre effetti non intenzionali, taluni anche perversi". Lasciamo perdere l'intenzionalità (ci mancherebbe altro!), ma accettare a priori che una valutazione concorsuale sia un esperimento sociale che può generare effetti perversi fa raggelare. Il reclutamento e l'avanzamento di carriera dei professori universitari toccano nel profondo la vita lavorativa e la passione nella didattica e nella ricerca di decine di migliaia di ricercatori (precari e non precari) e professori associati, giovani e meno giovani. Non dovrebbe essere concesso a sette professori ordinari di giocare a fare esperimenti sulla loro pelle.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni, e per firmare la petizione, sito di Universitas Futura: http://w3.disg.uniroma1.it/unira/index.php
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni, e per firmare la petizione, sito di Universitas Futura: http://w3.disg.uniroma1.it/unira/index.php
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni, e per firmare la petizione, sito di Universitas Futura: http://w3.disg.uniroma1.it/unira/index.php
E' infatti assurdo che organismi di valutazione costituiti da studiosi ed esperti delle discipline debbano affidarsi a parametri concepiti dagli editori per i loro bisogni; parametri che spesso indicano il successo editoriale piuttosto che la qualità della ricerca, che può essere altissima avendo parametri bassi. Le citazioni di una pubblicazione possono essere un indice negativo (recente caso sul piezonucleare). Dieci pubblicazioni ISI con lo stesso contenuto non ne valgono due con contenuto diverso.... E' evidente che questo modo di valutare produrrà ingiustizie. Tutte queste perplessità erano state esplicitate dalla comunità scientifica già all'avvio della definizione dei criteri. Ma viviamo in un paese sordo alla ragionevolezza.
pino nisticò
Def. Quota claudio procesi procesi@mat.uniroma1.it:
io non ho seguito in dettaglio i lavori del ANVUR ma ho l'impressione che si muovano con grandi difficoltà.
Inoltre non sono sicuro che tutti i membri abbiano una adeguata conoscenza dei problemi inerenti ad un processo di valutazione.
Per quanto riguarda i dati bibliometrici ci sono evidenti elementi di assurdo. In assenza di banche dati ufficiali e di numerose ed in parte impossibili normalizzazioni, alcuni numeri possono al più avere un valore indicativo ed a mio avviso più utili per statistiche che per valutazioni individuali.
Come ben osservato i ricorsi si potranno sprecare ed il sistema collassare.
Inoltre abbiamo l'assurdo che alcuni di questi dati sono forniti da agenzie private, ci ritroveremo in piccolo con i problemi creati dalle agenzie di rating americane.
Credo che alla fine si creerà una enorme confusione ed il risultato più probabile (e forse da alcuni auspicato) sarà un ulteriore blocco delle carriere.
Secondo me è peggio di così: la loro "massima professionalità" consiste nella fiducia nella buona volontà della gente nel riempire il famoso "sito docente". Passano poi il tempo a cambiare idea sul come calcolare i vari parametri e dichiarano che noi fungeremo da cavie del loro "grande esperimento" in vivo.
Credo che le dichiarazioni ANVUR siano la dimostrazione più palese del loro totale fallimento, insieme a quello della volontà di imbrigliare la scienza in un paio di numeretti.
Io mi chiedo: se qualcuno facesse ricorso affermando, semplicemente, che è indimostrabile l'affidabilità della banca dati di pubblicazioni sulla quale l'ANVUR fonda la definizione dei propri parametri, vincerebbe a mani basse: per dimostrare che questa affermazione è falsa servirebbe che l'ANVUR avesse già i dati, ma se li avesse non avrebbe chiesto nulla ai docenti.
Cordialmente, Guido Mula
On 17/07/12 19.52, "Pierfranco Lattanzi" lattanzp@unica.it wrote:
Vorrei aggiungere un'ulteriore considerazione: pur avendo affermato (bontà loro) che l'ANVUR agirà con criteri improntati alla massima professionalità, all'Art. 5, punto 5 della Delibera 50 dell'ANVUR (quella che spiega i meccanismi di calcolo degli indici bibliometrici), si afferma candidamente che "l'ANVUR non è responsabile di eventuali errori presenti nelle banche dati". Francamente lo trovo inaccettabile sarebbe come dire che uno manda un lavoro a una rivista dichiarandosi non responsabile di eventuali errori strumentali!!! Piero Lattanzi
Pierfranco Lattanzi Professor of Applied mineralogy Università di Cagliari Dipartimento di Scienze chimiche e geologiche via Trentino 51, I-09127 Cagliari tel. +390706757722 +390552757490 fax +39070282236 email lattanzp@unica.it skype pierfranco.lattanzi
Il giorno 17/07/12 12:40, "Luciano Modica" luciano.modica@alice.it ha scritto:
Ieri è stato pubblicato sul sito di ROARS http://www.roars.it/online/?p=10008#more-10008 l'intervento che segue.
Intervento di Luciano Modica, 12 luglio 2012
Mi auguro proprio che l'ANVUR sia capace di correggersi, secondo il titolo che Il Sole 24 ore di domenica 8 luglio ha dato all'intervento di Andrea Bonaccorsi, autorevole componente del consiglio direttivo dell'Agenzia. E mi auguro soprattutto che Bonaccorsi stesso sia capace di correggersi perché il suo articolo, al di là delle opinioni tutte rispettabili, contiene una lettura dei fatti (cioè dei documenti) che ritengo discordante dalla realtà e persino fuorviante.
Mi scuso dei tecnicismi ma qui sono assolutamente necessari. L'argomento sono i criteri, parametri e indicatori che serviranno a valutare la qualità scientifica dei curricula dei candidati alle procedure di abilitazione scientifica nazionale. Se mai si svolgeranno, visti i molti annunciati e autorevoli ricorsi per via giurisdizionale. Tali criteri, parametri e indicatori sono contenuti nel regolamento pubblicato con decreto ministeriale n. 76 del 7 giugno 2012, mentre alcune specifiche modalità di calcolo sono state stabilite dall'ANVUR nella sua delibera n. 50 del 21 giugno scorso. Per semplificare si tratterà solo il caso delle abilitazioni per l'accesso alla fascia dei professori ordinari delle discipline "scientifiche", ma le stesse osservazioni varrebbero per le discipline "umanistiche" e per la fascia dei professori associati.
Il comma 1 dell'articolo 4 del decreto elenca una serie di criteri generali di valutazione (abbastanza condivisibili), mentre i commi 2 e 3 contengono rispettivamente quattro criteri e due parametri per la valutazione delle pubblicazioni scientifiche scelte presentate dai candidati, da 16 a 20 a seconda delle aree disciplinari. Infine il comma 4, come scrive correttamente Bonaccorsi, elenca ben dieci parametri per la valutazione dei titoli presentati dai candidati, tra cui naturalmente l'elenco dell'intera produzione scientifica.
Parafrasando Orwell, vi è però uno dei dieci parametri che è più eguale degli altri, quello dell'impatto della produzione scientifica complessiva indicato alla lettera a) del comma 4. Infatti, mentre gli altri nove parametri sono affidati alla valutazione discrezionale e competente della commissione, su quello dell'impatto il decreto ritorna nell'articolo 6 e fissa d'autorità anche gli indicatori bibliometrici quantitativi relativi. Non solo: i valori di tali indicatori diventano dirimenti per l'attribuzione dell'abilitazione. Si legge infatti nell'articolo 6, comma 1, che "l'abilitazione può essere attribuita esclusivamente ai candidati" (la sottolineatura è mia) che: (a) superino certi valori numerici degli indicatori bibliometrici individuati nell'allegato A al decreto e inoltre (b) siano valutati positivamente per ciascuno degli altri nove parametri.
Consultando l'allegato A si scopre al punto n. 2 che gli indicatori bibliometrici sono tre: numero degli articoli pubblicati negli ultimi dieci anni, numero totale delle citazioni, indice di Hirsch, calcolati utilizzando certe "normalizzazioni per l'età accademica" su cui qui si sorvolerà anche se varrebbe la pena tornarci in altra occasione per un'analisi accurata delle loro possibili conseguenze.
Subito dopo, al punto n.3, si svela infine il mistero a lungo custodito: può essere attribuita l'abilitazione esclusivamente ai candidati che superino, per almeno due dei tre indicatori, il corrispondente valore mediano dell'insieme dei professori ordinari del medesimo settore. Il calcolo dei tre valori mediani sarà effettuato dall'ANVUR (punto n. 4 dell'allegato). Sorvoliamo ancora, per brevità, sulla debolezza scientifica, statistica e giuridica di un simile criterio. Fin qui i fatti, non sfuggiti a chiunque abbia letto attentamente il decreto. Osserva però Bonaccorsi sul Sole: le commissioni di abilitazione "possono discostarsi dalle mediane se dichiarano anticipatamente e in modo trasparente altri criteri". Bello e giusto ... se fosse vero.
Torniamo al testo del decreto, perché matematici e giuristi hanno il vizio della pignoleria nella lettura dei testi e non si lasciano convincere da affermazioni vaghe e vagamente anestetizzanti. Si trova allora il comma 5 dell'articolo 6 che stabilisce: "Qualora la commissione intenda discostarsi dai suddetti principi è tenuta a darne motivazione preventivamente, con le modalità di cui all'articolo 3, comma 3, e nel giudizio finale". La caccia al tesoro non è dunque finita. Andiamo a leggere il comma 3 dell'articolo 3 e si trova che: "L'individuazione del tipo di pubblicazioni, la ponderazione di ciascun criterio e parametro, di cui agli articoli 4 e 5, da prendere in considerazione e l'eventuale utilizzo di ulteriori criteri e parametri più selettivi ai fini della valutazione delle pubblicazioni e dei titoli sono predeterminati dalla commissione" (la sottolineatura è mia).
Dunque, se la logica e la lingua italiana hanno ancora un senso, le commissioni possono solo rafforzare e mai indebolire i criteri e i parametri fissati dal regolamento ministeriale. Quindi non vi è alcuna possibilità per le commissioni di evitare che il parametro del superamento delle due mediane su tre mantenga il suo carattere dirimente e serva ad escludere senza appello i candidati che non lo soddisfino, qualunque sia il giudizio scientifico della commissione. Si tratta proprio di quanto asserito dall'autorevole commissione scientifica dell'Unione Matematica Italiana che ha duramente e giustamente criticato il ricorso a metodi automatici di valutazione. E' dunque fuorviante, purtroppo, l'affermazione di Bonaccorsi che "è stato evitato il più possibile l'utilizzo di strumenti automatici, proprio ascoltando rilievi critici di questo tipo". Né nella successiva mozione ANVUR n. 50 ho trovato alcun cenno alla questione, tenendo anche conto che sarebbe giuridicamente assurdo che la delibera di un'agenzia, per quanto autorevole, possa superare il disposto di un regolamento ministeriale. Mi auguro dunque, come dicevo all'inizio, una pronta correzione di quest'affermazione fuorviante.
Mi si lasci un ultimo addolorato commento sull'articolo di Bonaccorsi che si chiude con le parole: "la valutazione è un esperimento sociale e non può evitare di produrre effetti non intenzionali, taluni anche perversi". Lasciamo perdere l'intenzionalità (ci mancherebbe altro!), ma accettare a priori che una valutazione concorsuale sia un esperimento sociale che può generare effetti perversi fa raggelare. Il reclutamento e l'avanzamento di carriera dei professori universitari toccano nel profondo la vita lavorativa e la passione nella didattica e nella ricerca di decine di migliaia di ricercatori (precari e non precari) e professori associati, giovani e meno giovani. Non dovrebbe essere concesso a sette professori ordinari di giocare a fare esperimenti sulla loro pelle.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni, e per firmare la petizione, sito di Universitas Futura: http://w3.disg.uniroma1.it/unira/index.php
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni, e per firmare la petizione, sito di Universitas Futura: http://w3.disg.uniroma1.it/unira/index.php
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni, e per firmare la petizione, sito di Universitas Futura: http://w3.disg.uniroma1.it/unira/index.php
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni, e per firmare la petizione, sito di Universitas Futura: http://w3.disg.uniroma1.it/unira/index.php
---------------------------------------------------------------- This message was sent using IMP, the Internet Messaging Program.
**** Riservatezza / Confidentiality **** In ottemperanza al D.Lgs. n. 196 del 30/6/2003 in materia di protezione dei dati personali, le informazioni contenute in questo messaggio sono strettamente riservate ed esclusivamente indirizzate al destinatario indicato (oppure alla persona responsabile di rimetterlo al destinatario). Vogliate tener presente che qualsiasi uso, riproduzione o divulgazione di questo messaggio e' vietato. Nel caso in cui aveste ricevuto questo messaggio per errore, vogliate cortesemente avvertire il mittente e distruggere il presente messaggio.
universitas_in_trasformazione@lists.dm.unipi.it