Cari colleghi,
Per quanto riguarda gli indicatori, mi permetto ancora una volta di ricordare il sistema sperimentato con successo da Gianni Cesareni (che ricorreva anche a Google Scholar) e che tempo fa ha provato ad entrare nella discussione. Per non sprecare tempo e parole, forse sarebbe bene contattarlo.
E¹ anche vero, come dice Battiston (in verde), che nella valutazione la presenza degli stranieri è fondamentale. Purtroppo quando l¹ho scritto io, Porcesi e altri mi hanno criticato tacciandomi di provincialismo e portando ad esempio qualche aneddoto personale su stranieri supponenti. Sarebbe come dire ³ mio nonno ha fumato sigarette tutti i giorni ed è morto a 100 anni, quindi non è vero che il fumo fa venire il tumore al polmone². Ma a tutti gli altri che non siano mio nonno cosa è successo?
Gli stranieri non sono più belli, più bravi o più intelligenti di noi, ma in media sono più svincolati dal potere politico accademico e dai clan, sono arbitri piu neutrali. Chi ha sempre lavorato bene, favorendo etica e merito non deve sentirsi sminuito.
Saluti,
Patrizio Dimitri
Mi pare che qui ci sia pero' una attenzione ben maggiore alla selezione del personale della ricerca, se non altro per il fatto che si fanno valutare da un comitato fatto tutto da stranieri. E la cosa va avanti da 10 anni con successo. Di nuovo sarei curioso se questo sia o meno confermato dall' analisi bibliometrica.
benissimo, e` chiaro che non si vuole fare una finta agenzia di valutazione ma vedere in concreto e non in una discussione che va avnti in modo teorico, cosa dicono questi indicatori, se e in che limiti sono affidabili.
inoltre e` chiaro che le metodologie devono essere abbastanza semplici e del tutto esplicite cosi` che chiunque possa riprodurle (una delle regole immagino del lavoro sperimentale) e magari contestarne la validita`, anche questo e` utile.
claudio
On Jan 15, 2009, at 11:58 PM, Roberto Battiston wrote:
Caro Procesi,
mi sembra una ottima idea, e credo interesserebbe a molti di noi, proprio nello spirito "sperimentale" a cui ti sei riferito. Si potrebbe cercare di implementare come dici tu partendo da dipartimenti italiani e continuando con confronti internazionali. Io offro volentieri il supporto informatico sul sito www.pubblicoergosum.org per mostrare in modo ordinato ed efficace i risultati di questi studi in forma di istogrammi o di tabelle.
Se il lavoro è distribuito si puo' fare anche a livello di volontariato, a patto che ci siano alcune semplici regole che tutti seguano in modo uniforme
Provo ad elencarle:
- uniformità dello strumento utilizzato. Per esempio proporrei
l'uso del data base di Google Scholar e non di ISI per la facilità di utilizzo gratuito dei programmi che producono h, e di conseguenza le interfacce online o il programma PoP (publish or perish) della Harzing.
- definizione dell'intervallo temporale: es tutto il periodo
coperto (fino al 2008), gli ultimi 20 anni, gli ultimi 10 anni
- un formato chiaro e semplice del risultato, da mettere in una
tabella excel con il seguente formato:
Settore disciplinare: 1-14, ssd: n
ordinario : ultimi 10 anni, ultimi 20 annni, tutto il periodo,
da quanti anni è nel ruolo (O, H1,H2,H3,Na) 2) associato: ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo (A, H1,H2,H3,Na) 3) ricercatore: ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo( R, H1,H2,H3,Na) 4) assegnista post doc: tutto il periodo, da quanti anni è laureato (Pod, H3, Na) 5) dottorando : tutto il periodo (Phd, H3)
es: 1,4,O,8,13,17,22 = matematico, sottosettore 4, Ordinario, h10=8, h20=13, htot=17, 22 anni dal concorso
- anonimato delle persone analizzate. Se uno fa l'analisi del suo
dipartimento, poi fornisce il risultato nella forma sopra riportato, ed evita di fare nomi e cognomi, per un motivo molto semplice, ci interessa capire se questa analisi puo' o meno dare dei risultati utili, non suscitare un vespaio di proteste su una procedura tutta da testare e capire.
- chiarezza e attenzione su come si gestiscono i nomi comuni, che
rendono difficile in alcuni casi togliere gli omonimi.....nessuno si offenderà se in questa fase i Paolo Rossi non verranno considerati.
- una policy semplice e chiara su questioni come ad esempio le
autocitazioni (meglio per ora lasciare perdere e non provare ad eliminarle)
Una volta che si concorda un formato di base, basterebbe un volontario per dipartimento e si possono davvero raccogliere un sacco di informazioni utili per una analisi fattuale, con un lavoro di poche ore.
Vi do un esempio, mi trovo proprio in questi giorni a presiedere un comitato di valutazione spagnolo per la ricerca in fisica. Ho la netta impressione che qiu i valori di h siano ben piu' alti che in Italia, ma non ne sono pero' sicuro al 100% e lo vorrei potere verificare. Ecco che un confronto di distribuzioni di h potrebbe essere molto utile.
Mi pare che qui ci sia pero' una attenzione ben maggiore alla selezione del personale della ricerca, se non altro per il fatto che si fanno valutare da un comitato fatto tutto da stranieri. E la cosa va avanti da 10 anni con successo. Di nuovo sarei curioso se questo sia o meno confermato dall' analisi bibliometrica.
Anche qui stanno iniziando ad usare h, e vi assicuro che è molto utile per capire al volo se si sta parlando di un gruppo di ricerca serio o di un gruppo di bocciofili pensionati.
Si prova a fare questo esercizio ?
Occorre capire se c'è un numero significativo (10-20 per iniziare ) di volontari; sono infatti convinto che se si inizia a fare questa cosa per bene, poi il numero di volontari aumenta.......chi è interessato basta che si faccia avanti...
Cordiali saluti
Roberto Battiston
On [DATE], "[NAME]" <[ADDRESS]> wrote:
mi chiedo se la discussione avuta sugli indicatori non si possa trasformare in un esperimento
Come sapete io nutro vari dubbi sugli indicatori ma in particolare i miei dubbi sono relativi all'uso che ne potrebbe fare la burocrazia ministeriale. Pero` e` chiaro che certi numeri che si possono ricavare al computer sono pubblici e quindi chiunque vuole puo` con un po di pazienza costruirli.
Una cosa che si potrebbe fare e` di estrarre tutti questi numeri
per tutti i dipartimenti Italiani seguendo alcune linee guida.
Poi magari a campione si potrebbe provare a confrontarli con qualche dipartimento straniero.
Trattandosi di un esperimento questo non ha altro valore che vedere cosa viene fuori. Io ho provato a prendere mathscinet e ho preso tutti i membri del mio dipartimento trovato quanti lavori hanno pubblicato da quale anno e con quante citazioni (poi l h-index nonho avuto tempo di farlo). Il lavoro si fa in circa tre ore. Il risultato che ho ottenuto ha piu o meno coinciso con le opinioni che avevo sui colleghi con alcuni punti interrogativi che sono emersi.
Poi uno potrebbe ampliare la ricerca e farla anche su google--scholar o publish or perish etc. Io non sono esperto.
In particolare non ho idea di come cominciare (non dico per fare una cosa accurata) per le altre discipline.
Questo e` un lavoro che si potrebbe dare da fare praticamente ad una segretaria o un precario a pagamento.
Con questio dati
preparare quindi semplicemente dei quadri, questo una volta fissate le regole e` un lavoro da segretaria, con magari dei commenti questo e` un lavoro un po diverso. Questo immagino e` quello che fanno anche delle autoproclamate agenzie di confronto. Il problema naturalmente e` chiaro, ognuno puo` fare i ranking che vuole non e` proibito, naturalmente poi puo` essere ampiamente criticato su quali particolari parametri ha scelto ma fare uno studio semplicemente calcolando tanti parametri mi pare faccia parte del mondo della ricerca (sperimentale) e quindi e` semplicemente produrre dati aggregati e NON rankings. Certamente ufficializzare un particolare sistema di ranking puo` essere effettivamente molto pericoloso.
Vi mando uno scambio di idee avuto all'interno dell International Mahematical Union su questo.
Il tutto e` partito dalla Shanghai Jiao Tong University ranking di cui mando informazioni
Extract from FASTS newsletter:
ranking - universities by subject fields
Most of you will be familiar with the academic rankings of world universities carried out by the Centre for World-Class Universities of Shanghai Jiao Tong University since 2003 (and the sturm und drang it generates in vice-chancellor and uni marketing circles). In 2007 Jiao Tong also ranked the top universities in 5 broad fields (natural sciences and mathematics, engineering/technology and compute science; life and agricultural sciences; clinical medicine and pharmacy; and social sciences).
In 2009, Jiao Tong propose to add a third ranking - universities by subject fields. The proposed fields include chemistry, physics, mathematics, computer science and economics.
Given the sensitivities of such rankings and the ever present possibility of perverse distortions some societies may wish to contact the Centre for World-Class Universities of Jiao Tong Uni and/or correspond with sister organisations in the US, Europe, Asia etc to assess the proposed ranking methodologies.
In November 2009, the Center for World-Class Universities is hosting the 3rd International Conference on World-Class Universities (WCU-3) where the 2009 rankings will be released. The conference will focus on various issues including Strategic planning and leadership of elite higher education institutions; Global market and institutional policies for the promotion of academic talent; Quality assurance in the context of undergraduate and graduate education; Institutional initiatives for research excellence and innovation and technology; Role of elite universities in national higher education and research systems.
Participants interested in presenting a contribution on one of above-mentioned topics are invited to submit an abstract of up to 2,000 words by April 1, 2009. For further information, refer http://gse.sjtu.edu.cn/WCU/WCU-3.htm
ALCUNI COMMENTI DA MEMBRI DELL EC DELL IMU
We can't prevent anyone from ranking something. For instance, in Germany several newspapers and several institutions produce rankings of universities and of scientific fields and of university departments. They often contradict each other. Those who have a good ranking make "public noise", those who are at the low end of the ranking suggest to ignore the results because of the deficiencies of the ranking methodology. Nobody has the time to fight against all these ranking attempts. (One can easily employ a whole army of "ranking fighters".)
Of course, it may be dangerous if one ranking system becomes dominant (such as the impact factor) and those who base their (financial) decisions on such metrics believe in this ranking system. That is why IMU initiated the Citation Statistics report.
Concerning the Shanghai Jiao Tong University ranking, there are (in Germany) short notes in newspapers whenever some ranking appears (usually initiated by those who are ranked well) and then the ranking is forgotten.
Every year, the magazine U.S. News and World Reports publishes an extensive ranking of US institutions by subject. A few years ago, AMS was alarmed by the flawed methodology of these rankings and asked all chairs of math departments in the US not to provide data to the magazine. The ranking is still thriving and U.S. News sells more magazines because of it! There is not much we can do.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html