mi chiedo se la discussione avuta sugli indicatori non si possa trasformare in un esperimento
Come sapete io nutro vari dubbi sugli indicatori ma in particolare i miei dubbi sono relativi all'uso che ne potrebbe fare la burocrazia ministeriale. Pero` e` chiaro che certi numeri che si possono ricavare al computer sono pubblici e quindi chiunque vuole puo` con un po di pazienza costruirli.
Una cosa che si potrebbe fare e` di estrarre tutti questi numeri
per tutti i dipartimenti Italiani seguendo alcune linee guida.
Poi magari a campione si potrebbe provare a confrontarli con qualche dipartimento straniero.
Trattandosi di un esperimento questo non ha altro valore che vedere cosa viene fuori. Io ho provato a prendere mathscinet e ho preso tutti i membri del mio dipartimento trovato quanti lavori hanno pubblicato da quale anno e con quante citazioni (poi l h-index nonho avuto tempo di farlo). Il lavoro si fa in circa tre ore. Il risultato che ho ottenuto ha piu o meno coinciso con le opinioni che avevo sui colleghi con alcuni punti interrogativi che sono emersi.
Poi uno potrebbe ampliare la ricerca e farla anche su google--scholar o publish or perish etc. Io non sono esperto.
In particolare non ho idea di come cominciare (non dico per fare una cosa accurata) per le altre discipline.
Questo e` un lavoro che si potrebbe dare da fare praticamente ad una segretaria o un precario a pagamento.
Con questio dati
preparare quindi semplicemente dei quadri, questo una volta fissate le regole e` un lavoro da segretaria, con magari dei commenti questo e` un lavoro un po diverso. Questo immagino e` quello che fanno anche delle autoproclamate agenzie di confronto. Il problema naturalmente e` chiaro, ognuno puo` fare i ranking che vuole non e` proibito, naturalmente poi puo` essere ampiamente criticato su quali particolari parametri ha scelto ma fare uno studio semplicemente calcolando tanti parametri mi pare faccia parte del mondo della ricerca (sperimentale) e quindi e` semplicemente produrre dati aggregati e NON rankings. Certamente ufficializzare un particolare sistema di ranking puo` essere effettivamente molto pericoloso.
Vi mando uno scambio di idee avuto all'interno dell International Mahematical Union su questo.
Il tutto e` partito dalla Shanghai Jiao Tong University ranking di cui mando informazioni
Extract from FASTS newsletter:
ranking - universities by subject fields
Most of you will be familiar with the academic rankings of world universities carried out by the Centre for World-Class Universities of Shanghai Jiao Tong University since 2003 (and the sturm und drang it generates in vice-chancellor and uni marketing circles). In 2007 Jiao Tong also ranked the top universities in 5 broad fields (natural sciences and mathematics, engineering/technology and compute science; life and agricultural sciences; clinical medicine and pharmacy; and social sciences).
In 2009, Jiao Tong propose to add a third ranking - universities by subject fields. The proposed fields include chemistry, physics, mathematics, computer science and economics.
Given the sensitivities of such rankings and the ever present possibility of perverse distortions some societies may wish to contact the Centre for World-Class Universities of Jiao Tong Uni and/or correspond with sister organisations in the US, Europe, Asia etc to assess the proposed ranking methodologies.
In November 2009, the Center for World-Class Universities is hosting the 3rd International Conference on World-Class Universities (WCU-3) where the 2009 rankings will be released. The conference will focus on various issues including Strategic planning and leadership of elite higher education institutions; Global market and institutional policies for the promotion of academic talent; Quality assurance in the context of undergraduate and graduate education; Institutional initiatives for research excellence and innovation and technology; Role of elite universities in national higher education and research systems.
Participants interested in presenting a contribution on one of above-mentioned topics are invited to submit an abstract of up to 2,000 words by April 1, 2009. For further information, refer http://gse.sjtu.edu.cn/WCU/WCU-3.htm
ALCUNI COMMENTI DA MEMBRI DELL EC DELL IMU
We can't prevent anyone from ranking something. For instance, in Germany several newspapers and several institutions produce rankings of universities and of scientific fields and of university departments. They often contradict each other. Those who have a good ranking make "public noise", those who are at the low end of the ranking suggest to ignore the results because of the deficiencies of the ranking methodology. Nobody has the time to fight against all these ranking attempts. (One can easily employ a whole army of "ranking fighters".)
Of course, it may be dangerous if one ranking system becomes dominant (such as the impact factor) and those who base their (financial) decisions on such metrics believe in this ranking system. That is why IMU initiated the Citation Statistics report.
Concerning the Shanghai Jiao Tong University ranking, there are (in Germany) short notes in newspapers whenever some ranking appears (usually initiated by those who are ranked well) and then the ranking is forgotten.
Every year, the magazine U.S. News and World Reports publishes an extensive ranking of US institutions by subject. A few years ago, AMS was alarmed by the flawed methodology of these rankings and asked all chairs of math departments in the US not to provide data to the magazine. The ranking is still thriving and U.S. News sells more magazines because of it! There is not much we can do.