Completamente d'accordo con Battiston. Meglio una valutazione imperfetta basata su un minimo di indicatori noti e riconoscibili che un sistema completamente discrezionale che ha consentito, nel passato, non tanto di danneggiare i migliori (qualunque indice "oggettivo" non sarà mai sufficiente da solo a identificare i "migliori" qualunque cosa questo significhi) quanto di promuovere anche qualche capra grazie al precedente sistema dei concorsi basato su forti elementi discrezionali (senza l'assunzione di responsabilità che invece, sistemi di cooptazione o di promozione trasparente come in US, almeno richiederebbero). L'uso di strumenti quali ISI Thomson Web of Knowledge (ma per avere solo un'idea anche strumenti ad accesso gratuito come Publish or Perish, http://www.harzing.com/pop.htm) sono sicuramente insufficienti da soli (ma non inutili) per riconoscere i più bravi ma, più che sufficienti, per esempio, a riconoscere l'inesistenza di particolari meriti (requisiti minimi ?) scientifici (diciamo che zero vale zero in tutte le metriche). Ora temo che la levata di scudi contro la (qualunque forma di) valutazione basata (anche?) su criteri oggettivi, non nasca tanto o solo dal timore di non poter selezionare correttamente i più "bravi" ma, piuttosto o anche dal fatto che da tale valutazione (non più limitata alla sola fase concorsuale) saltino fuori con evidenza un pò di carriere - partite sul nulla e, purtroppo, di poco progredite - che, invece, continuano ad essere associate a posizioni di potere importanti (commissioni di concorso, direzione di Organi importanti degli Atenei etc.). Cordialmente
Valerio Tramutoli -------------------------------------------------- From: "Roberto Battiston" roberto_battiston@alice.it Sent: Monday, March 22, 2010 6:45 AM To: "Universitàe Ricerca Forum" universitas_in_trasformazione@mail.dm.unipi.it Subject: Re: [Universitas_in_trasformazione] R: Fwd: indicatori
Sfatiamo i miti, ma facciamolo come si deve. Il 6FP è ormai cosa del passato. Invece nelle ultime valutazioni del settore fisica CNR spagnolo, a cui ho partecipato nel 2009, le informazioni biblometriche erano disponibili eccome, con tutti i caveat del caso. E proprio grazie a questo tipi di argomenti, e' stato possibile in un paio di casi proporre la chiusura di un dipartimento, la cui debolezza risultava già da argomenti qualitatitivi ma diventava molto chiara ed oggettiva usando argomenti bibliometrici.
Lo stesso si dica dei metodi usati dal sistema di valutazione francese.
Usare questo strumento non è ancora agevole data l'incompletezza dei data base e altri limiti già riportati in questa discussione, ma proprio la necessità della valutazione di aree o gruppi di ricerca, sta spingendo all'uso sempre piu' sistematico dei dati bibliometrici e di conseguenza al raffinamento degli algoritmi e dei database.
Un commento su CIVR e derivati. Se da una parte sono d'accordo che il CIVR ha fatto un lavoro utile nella sua prima ed unica valutazione, avendo, come tanti di noi, partecipato alla valutazione dei prodotti, mi è sembrata per alcuni aspetti una costosa follia organizzata. Ma vi pare possibile che per 50 euro ( o giu' di li') a prodotto, noi si debba rivalutare lavori pubblicati su rivista internazionale con referees che hanno già valutato, con piu' tempo a disposizione, ogni singolo prodotto che poi è stato pubblicato ? Ma vi pare davvero possibile sostenere che questa valutazione (del CIVR) sia stata migliore di quella proposta dalla bibliometria moderna ? Il CIVR si è reinventato un metodo bibliometrico suo, che tra l'altro non è basato su nessuno studio internazionale del settore, e come tale non è confrontabile o analizzabile, puramente basato sul numero di prodotti realizzati ( approvati dal rireferaggio) per testa di ricercatore. Questo è quanto di meglio (sic) partorito dal nostro sistema negli ultimi 10 anni (e subito stoppato).
Per cui, siamo realistici, la valutazione è necessaria ? (SI/NO). Se la risposta è SI e non vogliamo trincerarci solo dietro raffinati discorsi sui limiti (correggibili) degli indicatori bibliometrici, mi sa che dobbiamo fare i conti con gli indici h e derivati, con l'obbiettivo di capirli e migliorarli.
Cordialmente
Roberto Battiston
On 22/03/10 02:32, "Maurizio Tirassa" maurizio.tirassa@tele2.it wrote:
Infine, vorrei dire che anche il mito secondo il quale "all'estero" tutti usino normalmente i criteri bibliometrici è, appunto, un mito. Ho fatto per tre o quattro anni il referee di progetti europei nel 6FP, e pure particolarmente sofisticati e difficili da valutare per temi, forme e contenuti, e non ho mai visto i miei colleghi non italiani proporre la bibliometria come criterio di valutazione dei team o dei leader di progetto.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni, e per firmare la petizione, sito di Universitas Futura: http://w3.disg.uniroma1.it/unira/index.php