Caro Procesi,
nel tuo colloquio con il ministro dovresti sottolineare fortemente che i due momenti di valutazione e di cooptazione non possono essere invertiti (nel senso dell'ordine nel tempo) altrimenti si rischia il disastro. Anzi la cooptazione deve avvenire solo quando la valutazione si e' ben radicata.
Altro dubbio sul funzionamento del CIVR: supponiamo che in un dipartimento ci siano un paio di ottimi elementi che conducano pero' una politica di reclutamento pessima o quantomeno poco aperta; bene, si dira', verranno puniti dalla valutazione. Ma invece no, perche' il CIVR chiedeva e valutava un lavoro ogni quattro strutturati, quindi il dipartimento in questione presentera' sempre qualche ottimo lavoro dei due e mai lavori dei mediocri reclutati, e ricevera' sempre un ottimo piazzamento.
Se chiediamo di essere valutati forse dovremmo avere in mente un meccanismo che eviti queste distorsioni. Potrebbe essere argomento di un prossimo forum.
Saluti, Giuseppe Buttazzo
------------------------------------------------- This mail sent through IMP: http://horde.org/imp/
...e` vero, secondo me questi segnalati da Giuseppe sono dei punti assolutamente determinanti per il buon esito della valutazione, e dovremmo essere piu` espliciti a riguardo nella proposta. Ciao, E/
On Thu, 26 Feb 2009, buttazzo@dm.unipi.it wrote:
Caro Procesi,
nel tuo colloquio con il ministro dovresti sottolineare fortemente che i due momenti di valutazione e di cooptazione non possono essere invertiti (nel senso dell'ordine nel tempo) altrimenti si rischia il disastro. Anzi la cooptazione deve avvenire solo quando la valutazione si e' ben radicata.
Altro dubbio sul funzionamento del CIVR: supponiamo che in un dipartimento ci siano un paio di ottimi elementi che conducano pero' una politica di reclutamento pessima o quantomeno poco aperta; bene, si dira', verranno puniti dalla valutazione. Ma invece no, perche' il CIVR chiedeva e valutava un lavoro ogni quattro strutturati, quindi il dipartimento in questione presentera' sempre qualche ottimo lavoro dei due e mai lavori dei mediocri reclutati, e ricevera' sempre un ottimo piazzamento.
Se chiediamo di essere valutati forse dovremmo avere in mente un meccanismo che eviti queste distorsioni. Potrebbe essere argomento di un prossimo forum.
Saluti, Giuseppe Buttazzo
This mail sent through IMP: http://horde.org/imp/ _______________________________________________ Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
D'accordo anche io con Enrico e Giuseppe. Penso che dovremmo discutere sui meccanismi di valutazione più che su idoneità nazionale sì o no (io sono contro, per motivi già evidenziati da altri); ma in questo momento è importante non solo indicare gli obiettivi, ma gli strumenti per arrivare a quegli obiettivi.
2009/2/26 Enrico Valdinoci valdinoc@axp.mat.uniroma2.it
...e` vero, secondo me questi segnalati da Giuseppe sono dei punti assolutamente determinanti per il buon esito della valutazione, e dovremmo essere piu` espliciti a riguardo nella proposta. Ciao, E/
On Thu, 26 Feb 2009, buttazzo@dm.unipi.it wrote:
Caro Procesi,
nel tuo colloquio con il ministro dovresti sottolineare fortemente che i
due
momenti di valutazione e di cooptazione non possono essere invertiti (nel
senso
dell'ordine nel tempo) altrimenti si rischia il disastro. Anzi la
cooptazione
deve avvenire solo quando la valutazione si e' ben radicata.
Altro dubbio sul funzionamento del CIVR: supponiamo che in un
dipartimento ci
siano un paio di ottimi elementi che conducano pero' una politica di reclutamento pessima o quantomeno poco aperta; bene, si dira', verranno
puniti
dalla valutazione. Ma invece no, perche' il CIVR chiedeva e valutava un
lavoro
ogni quattro strutturati, quindi il dipartimento in questione presentera'
sempre
qualche ottimo lavoro dei due e mai lavori dei mediocri reclutati, e
ricevera'
sempre un ottimo piazzamento.
Se chiediamo di essere valutati forse dovremmo avere in mente un
meccanismo che
eviti queste distorsioni. Potrebbe essere argomento di un prossimo forum.
Saluti, Giuseppe Buttazzo
This mail sent through IMP: http://horde.org/imp/ _______________________________________________ Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie
impostazioni:
https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.htmlhttp://www.mat.uniroma1.it/%7Eprocesi/lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.htmlhttp://www.mat.uniroma1.it/%7Eprocesi/lettera.html
2009/2/26 buttazzo@dm.unipi.it:
Caro Procesi,
nel tuo colloquio con il ministro dovresti sottolineare fortemente che i due momenti di valutazione e di cooptazione non possono essere invertiti (nel senso dell'ordine nel tempo) altrimenti si rischia il disastro. Anzi la cooptazione deve avvenire solo quando la valutazione si e' ben radicata.
Sono completamente d'accordo, nel caso non fosse evidente dai miei precedenti interventi...
Altro dubbio sul funzionamento del CIVR: supponiamo che in un dipartimento ci siano un paio di ottimi elementi che conducano pero' una politica di reclutamento pessima o quantomeno poco aperta; bene, si dira', verranno puniti dalla valutazione. Ma invece no, perche' il CIVR chiedeva e valutava un lavoro ogni quattro strutturati, quindi il dipartimento in questione presentera' sempre qualche ottimo lavoro dei due e mai lavori dei mediocri reclutati, e ricevera' sempre un ottimo piazzamento.
[...]
Questo e' un grave difetto della valutazione del CIVR, emerso anche nelle discussioni che abbiamo avuto nella mia sede. Una valutazione seria deve includere tutti gli afferenti ad un Dipartimento (almeno quelli per il cui reclutamento il Dipartimento ha responsabilita') e deve valutare tutta la loro produzione. Se viene fatta valutazione a campione, il campione deve essere sorteggiato, eventualmente assicurando equidistribuzione in opportune categorie delle pubblicazioni analogamente a come vengono sorteggiate le persone per i sondaggi di opinione.
A chi di dovere va sottolineato che il CIVR e' meglio del nulla precedente, ma non e' funzionale ad assicurare una valutazione rigorosa. Molto migliore e' la valutazione fatta in Inghilterra. E' necessario chiarire che la nostra proposta prevede una valutazione piu' seria e rigorosa di quella del CIVR.
Colgo l'occasione per segnalare questa valutazione fatta in Germania dei Dipartimenti di Scienze europei che appare ben calibrata per individuare i Dipartimenti migliori
http://chimera.roma1.infn.it/PDF/CHE_ExcellenceRanking_AP99.pdf
Cordialmente,
Aggiungo a questo filone di discussione un collegamento ad una recente dichiarazione dell'AERES (agenzia francese per la valutazione della ricerca e dell'insegnamento superiore, riporto dal sito http://www.aeres-evaluation.fr/: L’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES), créée par la loi de programme pour la recherche est régie par différents textes officiels. Elle a été installée par le ministre délégué à l’enseignement supérieur et à la recherche le 21 mars 2007) riguardo le recenti proteste in relazione coi piani del governo francese riguardo la valutazione dei ricercatori:
http://www.aeres-evaluation.fr/Communique-de-presse-du-Conseil-de
Dal comunicato si apprende che l'AERES dal 2007 circa ha valutato tutti gli enti di ricerca francesi redigendo un rapporto, completo di osservazioni dell'ente valutato. Si tratta di una valutazione a prima vista del tipo di quella che proponiamo noi. Oltre al RAE inglese (che opera da diversi anni) anche l'AERES francese quindi sono un esempio pratico di quanto proponiamo.
Cordialmente,
Oltre al RAE inglese (che opera da diversi anni) anche l'AERES francese quindi sono un esempio pratico di quanto proponiamo.
Un fatto forse non noto a tutti: il RAE inglese e` stato recentemente abolito, sostanzialmente perche' e` stato valutato troppo costoso. Verra` sostituito dal REF, che, sfortunatamente, per ridurre i costi si basera` molto su dati bibliometrici e molto meno su peer reviewing.
-Alessio
Questa informazione sul RAE è importante per il dibattito sulla ricerca. Sul sito dell'Agenzia inglese non compare nessuna abolizione, e un sito REF non esiste. Come si fa a trovare informazioni? J.M.
At 17:39 +0100 1/3/09, Jacopo Meldolesi wrote:
Questa informazione sul RAE è importante per il dibattito sulla ricerca. Sul sito dell'Agenzia inglese non compare nessuna abolizione, e un sito REF non esiste. Come si fa a trovare informazioni?
Per il REF, a noi hanno fatto dei seminari, da cui abbiamo attinto la maggior parte dell'informazione non ufficiale (che non finisce sul web e che dice che il cambio e` dovuto a pressioni politiche). Comunque ci sono delle indicazioni sul sito dell'HEFCE.
Guardate
http://www.hefce.ac.uk/Research/ref/ http://www.hefce.ac.uk/Research/ref/about/timetable/
e altre pagine raggiungibili da queste.
Nulla e` ancora veramente definito, e c'e` un dibattito abbastanza energico nelle universita` e in alcune pubblicazioni specializzate (il cui accesso pero` e` ristretto ai docenti UK).
E` appena finito il RAE 2008. Presumibilmente, tra poco il dibattito sul REF dovrebbe entrare nel vivo e molta piu` informazione dovrebbe essere disponibile.
Se leggo qualcosa di attinente alla nostra lista cerco di ripostarlo, chiedendo il permesso alla rivista. Specialmente articoli CONTRO gli indicatori bibliometrici, che sono molto impopolari in UK, e migliori sono le universita` e meno sono d'accordo nell'introdurli nella valutazione.
Visto che sono in tema, consiglio questo: http://journals.cambridge.org/download.php?file=%2FMSC%2FMSC19_01%2FS0960129508007391a.pdf&code=9652f7a2f62093d1bcc11dafcdd37ae9.
Ciao,
-Alessio
At 19:32 +0100 1/3/09, Alessio Guglielmi wrote:
Visto che sono in tema, consiglio questo: http://journals.cambridge.org/download.php?file=%2FMSC%2FMSC19_01%2FS0960129508007391a.pdf&code=9652f7a2f62093d1bcc11dafcdd37ae9.
Scusate, mi sono acorto che il link diretto non funziona, allora usate questo
http://journals.cambridge.org/action/displayIssue?jid=MSC&volumeId=19&issueId=01&iid=4265860#
e cliccate sul PDF del terzo articolo `Editors' note: bibliometrics and the curators of orthodoxy' (dovrebbe essere ad accesso libero).
Ciao,
-Alessio
Un fatto forse non noto a tutti: il RAE inglese e` stato recentemente abolito, sostanzialmente perche' e` stato valutato troppo costoso.
Questo a me pare un punto cruciale!
O una valutazione seria e` sostenibile in termini di spesa in Italia (e allora puo` permettere la cooptazione) o la cooptazione rischia di diventare arbitraria o guidata da una valutazione insufficiente (con i difetti sottolineati da Giuseppe).
Credo dovremmo abbassarci a parlare di soldi. C'e' qualcuno che se ne intende?
Ciao, E.
At 09:43 +0100 2/3/09, Enrico Valdinoci wrote:
Un fatto forse non noto a tutti: il RAE inglese e` stato recentemente abolito, sostanzialmente perche' e` stato valutato troppo costoso.
Questo a me pare un punto cruciale!
O una valutazione seria e` sostenibile in termini di spesa in Italia (e allora puo` permettere la cooptazione) o la cooptazione rischia di diventare arbitraria o guidata da una valutazione insufficiente (con i difetti sottolineati da Giuseppe).
Non me ne intendo troppo, pero` il costo del RAE deve essere inteso come sottrazione di risorse umane da compiti piu` produttivi, non come costi aggiuntivi che richiedono un finanziamento.
In altre parole, il grosso dello sforzo del RAE viene fatto dalle biblioteche, che sono incaricate di raccogliere e organizzare tutti i documenti necessari, e dai membri del RAE stesso, all'incirca un accademico per dipartimento, che dedicano praticamente un anno a tempo pieno al RAE. Nessuno viene assunto per il RAE.
Si e` stimato che comunque la comunita` scientifica gia` opera una valutazione, in forma di peer reviewing degli articoli scientifici e delle proposte di grant, e in forma di citazioni, e il REF si avvantaggera` maggiormente di questo.
Il problema (che secondo me e` serio) e` che un po' il peer reviewing (sia di articoli sia di grant) ma soprattutto l'impact factor, tendono a privilegiare le strade gia` battute. Il RAE, specialmente l'ultimo, e` stato particolarmente efficace nell'individuare eccellenze nascoste. C'e` il rischio che spostando i criteri di assegnamento delle risorse sulle metriche scoraggi la ricerca piu` speculativa, e da qui nascono le resistenze (soprattutto dei teorici e degli umanisti, ovviamente).
-Alessio
2009/3/1 Alessio Guglielmi A.Guglielmi@bath.ac.uk:
Oltre al RAE inglese (che opera da diversi anni) anche l'AERES francese quindi sono un esempio pratico di quanto proponiamo.
Un fatto forse non noto a tutti: il RAE inglese e` stato recentemente abolito, sostanzialmente perche' e` stato valutato troppo costoso. Verra` sostituito dal REF, che, sfortunatamente, per ridurre i costi si basera` molto su dati bibliometrici e molto meno su peer reviewing.
I dati bibliometrici complementati da pareri di esperti possono essere un metodo approssimato ma accettabile per valutare i risultati aggregati di interi dipartimenti, anche se sono insufficienti per valutare accuratamente un singolo ricercatore.
Per quanto riguarda i ricercatori che battono vie non prima sperimentate, o che fanno ricerche multidisciplinari e di nicchia, ritengo che il metodo migliore di riconoscerne il valore sia complementare i dati bibliometrici con quelli che segnalano picchi di valore, cioe' numero di pubblicazioni nell' 1% piu' citato, premi Nobel e altri premi. Lo studio tedesco che ho citato in un altro messaggio impiega anche questo genere di indicatore.
All'universita' di Roma, con una semplice script python e usando dati gratuiti come quelli di Google Scholar hanno prodotto una valutazione delle universita' italiane che e' ben correlata con quella prodotta - con spesa molto maggiore - dal CIVR
http://mint.bio.uniroma2.it/molecular-genetics/CIVR_Assessment.html
Quello che distingue in positivo il sistema inglese da quello italiano e' l'impegno profuso nello studio del sistema di valutazione, anche con attenzione ai costi. Secondo me si tratta di risorse spese bene. Anche lo studio tedesco che ho citato in un'altro messaggio evidenzia che i dipartimenti di scienze inglesi sono nettamente primi tra i grandi Paesi (Francia, Germania, Italia e UK).
Cordialmente,
universitas_in_trasformazione@lists.dm.unipi.it
-
Alberto Lusiani -
Alessio Guglielmi -
buttazzo＠dm.unipi.it -
Enrico Valdinoci -
Jacopo Meldolesi -
Mauro Dorato