mi chiedo se la discussione avuta sugli indicatori non si possa trasformare in un esperimento
Come sapete io nutro vari dubbi sugli indicatori ma in particolare i miei dubbi sono relativi all'uso che ne potrebbe fare la burocrazia ministeriale. Pero` e` chiaro che certi numeri che si possono ricavare al computer sono pubblici e quindi chiunque vuole puo` con un po di pazienza costruirli.
Una cosa che si potrebbe fare e` di estrarre tutti questi numeri
per tutti i dipartimenti Italiani seguendo alcune linee guida.
Poi magari a campione si potrebbe provare a confrontarli con qualche dipartimento straniero.
Trattandosi di un esperimento questo non ha altro valore che vedere cosa viene fuori. Io ho provato a prendere mathscinet e ho preso tutti i membri del mio dipartimento trovato quanti lavori hanno pubblicato da quale anno e con quante citazioni (poi l h-index nonho avuto tempo di farlo). Il lavoro si fa in circa tre ore. Il risultato che ho ottenuto ha piu o meno coinciso con le opinioni che avevo sui colleghi con alcuni punti interrogativi che sono emersi.
Poi uno potrebbe ampliare la ricerca e farla anche su google--scholar o publish or perish etc. Io non sono esperto.
In particolare non ho idea di come cominciare (non dico per fare una cosa accurata) per le altre discipline.
Questo e` un lavoro che si potrebbe dare da fare praticamente ad una segretaria o un precario a pagamento.
Con questio dati
preparare quindi semplicemente dei quadri, questo una volta fissate le regole e` un lavoro da segretaria, con magari dei commenti questo e` un lavoro un po diverso. Questo immagino e` quello che fanno anche delle autoproclamate agenzie di confronto. Il problema naturalmente e` chiaro, ognuno puo` fare i ranking che vuole non e` proibito, naturalmente poi puo` essere ampiamente criticato su quali particolari parametri ha scelto ma fare uno studio semplicemente calcolando tanti parametri mi pare faccia parte del mondo della ricerca (sperimentale) e quindi e` semplicemente produrre dati aggregati e NON rankings. Certamente ufficializzare un particolare sistema di ranking puo` essere effettivamente molto pericoloso.
Vi mando uno scambio di idee avuto all'interno dell International Mahematical Union su questo.
Il tutto e` partito dalla Shanghai Jiao Tong University ranking di cui mando informazioni
Extract from FASTS newsletter:
ranking - universities by subject fields
Most of you will be familiar with the academic rankings of world universities carried out by the Centre for World-Class Universities of Shanghai Jiao Tong University since 2003 (and the sturm und drang it generates in vice-chancellor and uni marketing circles). In 2007 Jiao Tong also ranked the top universities in 5 broad fields (natural sciences and mathematics, engineering/technology and compute science; life and agricultural sciences; clinical medicine and pharmacy; and social sciences).
In 2009, Jiao Tong propose to add a third ranking - universities by subject fields. The proposed fields include chemistry, physics, mathematics, computer science and economics.
Given the sensitivities of such rankings and the ever present possibility of perverse distortions some societies may wish to contact the Centre for World-Class Universities of Jiao Tong Uni and/or correspond with sister organisations in the US, Europe, Asia etc to assess the proposed ranking methodologies.
In November 2009, the Center for World-Class Universities is hosting the 3rd International Conference on World-Class Universities (WCU-3) where the 2009 rankings will be released. The conference will focus on various issues including Strategic planning and leadership of elite higher education institutions; Global market and institutional policies for the promotion of academic talent; Quality assurance in the context of undergraduate and graduate education; Institutional initiatives for research excellence and innovation and technology; Role of elite universities in national higher education and research systems.
Participants interested in presenting a contribution on one of above-mentioned topics are invited to submit an abstract of up to 2,000 words by April 1, 2009. For further information, refer http://gse.sjtu.edu.cn/WCU/WCU-3.htm
ALCUNI COMMENTI DA MEMBRI DELL EC DELL IMU
We can't prevent anyone from ranking something. For instance, in Germany several newspapers and several institutions produce rankings of universities and of scientific fields and of university departments. They often contradict each other. Those who have a good ranking make "public noise", those who are at the low end of the ranking suggest to ignore the results because of the deficiencies of the ranking methodology. Nobody has the time to fight against all these ranking attempts. (One can easily employ a whole army of "ranking fighters".)
Of course, it may be dangerous if one ranking system becomes dominant (such as the impact factor) and those who base their (financial) decisions on such metrics believe in this ranking system. That is why IMU initiated the Citation Statistics report.
Concerning the Shanghai Jiao Tong University ranking, there are (in Germany) short notes in newspapers whenever some ranking appears (usually initiated by those who are ranked well) and then the ranking is forgotten.
Every year, the magazine U.S. News and World Reports publishes an extensive ranking of US institutions by subject. A few years ago, AMS was alarmed by the flawed methodology of these rankings and asked all chairs of math departments in the US not to provide data to the magazine. The ranking is still thriving and U.S. News sells more magazines because of it! There is not much we can do.
Caro Procesi,
mi sembra una ottima idea, e credo interesserebbe a molti di noi, proprio nello spirito "sperimentale" a cui ti sei riferito. Si potrebbe cercare di implementare come dici tu partendo da dipartimenti italiani e continuando con confronti internazionali. Io offro volentieri il supporto informatico sul sito www.pubblicoergosum.org per mostrare in modo ordinato ed efficace i risultati di questi studi in forma di istogrammi o di tabelle.
Se il lavoro è distribuito si puo' fare anche a livello di volontariato, a patto che ci siano alcune semplici regole che tutti seguano in modo uniforme
Provo ad elencarle:
1) uniformità dello strumento utilizzato. Per esempio proporrei l'uso del data base di Google Scholar e non di ISI per la facilità di utilizzo gratuito dei programmi che producono h, e di conseguenza le interfacce online o il programma PoP (publish or perish) della Harzing.
2) definizione dell'intervallo temporale: es tutto il periodo coperto (fino al 2008), gli ultimi 20 anni, gli ultimi 10 anni
3) un formato chiaro e semplice del risultato, da mettere in una tabella excel con il seguente formato:
0) Settore disciplinare: 1-14, ssd: n
1) ordinario : ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo (O, H1,H2,H3,Na) 2) associato: ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo (A, H1,H2,H3,Na) 3) ricercatore: ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo( R, H1,H2,H3,Na) 4) assegnista post doc: tutto il periodo, da quanti anni è laureato (Pod, H3, Na) 5) dottorando : tutto il periodo (Phd, H3)
es: 1,4,O,8,13,17,22 = matematico, sottosettore 4, Ordinario, h10=8, h20=13, htot=17, 22 anni dal concorso
4) anonimato delle persone analizzate. Se uno fa l'analisi del suo dipartimento, poi fornisce il risultato nella forma sopra riportato, ed evita di fare nomi e cognomi, per un motivo molto semplice, ci interessa capire se questa analisi puo' o meno dare dei risultati utili, non suscitare un vespaio di proteste su una procedura tutta da testare e capire.
5) chiarezza e attenzione su come si gestiscono i nomi comuni, che rendono difficile in alcuni casi togliere gli omonimi.....nessuno si offenderà se in questa fase i Paolo Rossi non verranno considerati.
6) una policy semplice e chiara su questioni come ad esempio le autocitazioni (meglio per ora lasciare perdere e non provare ad eliminarle)
Una volta che si concorda un formato di base, basterebbe un volontario per dipartimento e si possono davvero raccogliere un sacco di informazioni utili per una analisi fattuale, con un lavoro di poche ore.
Vi do un esempio, mi trovo proprio in questi giorni a presiedere un comitato di valutazione spagnolo per la ricerca in fisica. Ho la netta impressione che qiu i valori di h siano ben piu' alti che in Italia, ma non ne sono pero' sicuro al 100% e lo vorrei potere verificare. Ecco che un confronto di distribuzioni di h potrebbe essere molto utile.
Mi pare che qui ci sia pero' una attenzione ben maggiore alla selezione del personale della ricerca, se non altro per il fatto che si fanno valutare da un comitato fatto tutto da stranieri. E la cosa va avanti da 10 anni con successo. Di nuovo sarei curioso se questo sia o meno confermato dall' analisi bibliometrica.
Anche qui stanno iniziando ad usare h, e vi assicuro che è molto utile per capire al volo se si sta parlando di un gruppo di ricerca serio o di un gruppo di bocciofili pensionati.
Si prova a fare questo esercizio ?
Occorre capire se c'è un numero significativo (10-20 per iniziare ) di volontari; sono infatti convinto che se si inizia a fare questa cosa per bene, poi il numero di volontari aumenta.......chi è interessato basta che si faccia avanti...
Cordiali saluti
Roberto Battiston
On [DATE], "[NAME]" <[ADDRESS]> wrote:
mi chiedo se la discussione avuta sugli indicatori non si possa trasformare in un esperimento
Come sapete io nutro vari dubbi sugli indicatori ma in particolare i miei dubbi sono relativi all'uso che ne potrebbe fare la burocrazia ministeriale. Pero` e` chiaro che certi numeri che si possono ricavare al computer sono pubblici e quindi chiunque vuole puo` con un po di pazienza costruirli.
Una cosa che si potrebbe fare e` di estrarre tutti questi numeri
per tutti i dipartimenti Italiani seguendo alcune linee guida.
Poi magari a campione si potrebbe provare a confrontarli con qualche dipartimento straniero.
Trattandosi di un esperimento questo non ha altro valore che vedere cosa viene fuori. Io ho provato a prendere mathscinet e ho preso tutti i membri del mio dipartimento trovato quanti lavori hanno pubblicato da quale anno e con quante citazioni (poi l h-index nonho avuto tempo di farlo). Il lavoro si fa in circa tre ore. Il risultato che ho ottenuto ha piu o meno coinciso con le opinioni che avevo sui colleghi con alcuni punti interrogativi che sono emersi.
Poi uno potrebbe ampliare la ricerca e farla anche su google--scholar o publish or perish etc. Io non sono esperto.
In particolare non ho idea di come cominciare (non dico per fare una cosa accurata) per le altre discipline.
Questo e` un lavoro che si potrebbe dare da fare praticamente ad una segretaria o un precario a pagamento.
Con questio dati
preparare quindi semplicemente dei quadri, questo una volta fissate le regole e` un lavoro da segretaria, con magari dei commenti questo e` un lavoro un po diverso. Questo immagino e` quello che fanno anche delle autoproclamate agenzie di confronto. Il problema naturalmente e` chiaro, ognuno puo` fare i ranking che vuole non e` proibito, naturalmente poi puo` essere ampiamente criticato su quali particolari parametri ha scelto ma fare uno studio semplicemente calcolando tanti parametri mi pare faccia parte del mondo della ricerca (sperimentale) e quindi e` semplicemente produrre dati aggregati e NON rankings. Certamente ufficializzare un particolare sistema di ranking puo` essere effettivamente molto pericoloso.
Vi mando uno scambio di idee avuto all'interno dell International Mahematical Union su questo.
Il tutto e` partito dalla Shanghai Jiao Tong University ranking di cui mando informazioni
Extract from FASTS newsletter:
ranking - universities by subject fields
Most of you will be familiar with the academic rankings of world universities carried out by the Centre for World-Class Universities of Shanghai Jiao Tong University since 2003 (and the sturm und drang it generates in vice-chancellor and uni marketing circles). In 2007 Jiao Tong also ranked the top universities in 5 broad fields (natural sciences and mathematics, engineering/technology and compute science; life and agricultural sciences; clinical medicine and pharmacy; and social sciences).
In 2009, Jiao Tong propose to add a third ranking - universities by subject fields. The proposed fields include chemistry, physics, mathematics, computer science and economics.
Given the sensitivities of such rankings and the ever present possibility of perverse distortions some societies may wish to contact the Centre for World-Class Universities of Jiao Tong Uni and/or correspond with sister organisations in the US, Europe, Asia etc to assess the proposed ranking methodologies.
In November 2009, the Center for World-Class Universities is hosting the 3rd International Conference on World-Class Universities (WCU-3) where the 2009 rankings will be released. The conference will focus on various issues including Strategic planning and leadership of elite higher education institutions; Global market and institutional policies for the promotion of academic talent; Quality assurance in the context of undergraduate and graduate education; Institutional initiatives for research excellence and innovation and technology; Role of elite universities in national higher education and research systems.
Participants interested in presenting a contribution on one of above-mentioned topics are invited to submit an abstract of up to 2,000 words by April 1, 2009. For further information, refer http://gse.sjtu.edu.cn/WCU/WCU-3.htm
ALCUNI COMMENTI DA MEMBRI DELL EC DELL IMU
We can't prevent anyone from ranking something. For instance, in Germany several newspapers and several institutions produce rankings of universities and of scientific fields and of university departments. They often contradict each other. Those who have a good ranking make "public noise", those who are at the low end of the ranking suggest to ignore the results because of the deficiencies of the ranking methodology. Nobody has the time to fight against all these ranking attempts. (One can easily employ a whole army of "ranking fighters".)
Of course, it may be dangerous if one ranking system becomes dominant (such as the impact factor) and those who base their (financial) decisions on such metrics believe in this ranking system. That is why IMU initiated the Citation Statistics report.
Concerning the Shanghai Jiao Tong University ranking, there are (in Germany) short notes in newspapers whenever some ranking appears (usually initiated by those who are ranked well) and then the ranking is forgotten.
Every year, the magazine U.S. News and World Reports publishes an extensive ranking of US institutions by subject. A few years ago, AMS was alarmed by the flawed methodology of these rankings and asked all chairs of math departments in the US not to provide data to the magazine. The ranking is still thriving and U.S. News sells more magazines because of it! There is not much we can do.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
benissimo, e` chiaro che non si vuole fare una finta agenzia di valutazione ma vedere in concreto e non in una discussione che va avnti in modo teorico, cosa dicono questi indicatori, se e in che limiti sono affidabili.
inoltre e` chiaro che le metodologie devono essere abbastanza semplici e del tutto esplicite cosi` che chiunque possa riprodurle (una delle regole immagino del lavoro sperimentale) e magari contestarne la validita`, anche questo e` utile.
claudio
On Jan 15, 2009, at 11:58 PM, Roberto Battiston wrote:
Caro Procesi,
mi sembra una ottima idea, e credo interesserebbe a molti di noi, proprio nello spirito "sperimentale" a cui ti sei riferito. Si potrebbe cercare di implementare come dici tu partendo da dipartimenti italiani e continuando con confronti internazionali. Io offro volentieri il supporto informatico sul sito www.pubblicoergosum.org per mostrare in modo ordinato ed efficace i risultati di questi studi in forma di istogrammi o di tabelle.
Se il lavoro è distribuito si puo' fare anche a livello di volontariato, a patto che ci siano alcune semplici regole che tutti seguano in modo uniforme
Provo ad elencarle:
- uniformità dello strumento utilizzato. Per esempio proporrei
l'uso del data base di Google Scholar e non di ISI per la facilità di utilizzo gratuito dei programmi che producono h, e di conseguenza le interfacce online o il programma PoP (publish or perish) della Harzing.
- definizione dell'intervallo temporale: es tutto il periodo
coperto (fino al 2008), gli ultimi 20 anni, gli ultimi 10 anni
- un formato chiaro e semplice del risultato, da mettere in una
tabella excel con il seguente formato:
Settore disciplinare: 1-14, ssd: n
ordinario : ultimi 10 anni, ultimi 20 annni, tutto il periodo,
da quanti anni è nel ruolo (O, H1,H2,H3,Na) 2) associato: ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo (A, H1,H2,H3,Na) 3) ricercatore: ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo( R, H1,H2,H3,Na) 4) assegnista post doc: tutto il periodo, da quanti anni è laureato (Pod, H3, Na) 5) dottorando : tutto il periodo (Phd, H3)
es: 1,4,O,8,13,17,22 = matematico, sottosettore 4, Ordinario, h10=8, h20=13, htot=17, 22 anni dal concorso
- anonimato delle persone analizzate. Se uno fa l'analisi del suo
dipartimento, poi fornisce il risultato nella forma sopra riportato, ed evita di fare nomi e cognomi, per un motivo molto semplice, ci interessa capire se questa analisi puo' o meno dare dei risultati utili, non suscitare un vespaio di proteste su una procedura tutta da testare e capire.
- chiarezza e attenzione su come si gestiscono i nomi comuni, che
rendono difficile in alcuni casi togliere gli omonimi.....nessuno si offenderà se in questa fase i Paolo Rossi non verranno considerati.
- una policy semplice e chiara su questioni come ad esempio le
autocitazioni (meglio per ora lasciare perdere e non provare ad eliminarle)
Una volta che si concorda un formato di base, basterebbe un volontario per dipartimento e si possono davvero raccogliere un sacco di informazioni utili per una analisi fattuale, con un lavoro di poche ore.
Vi do un esempio, mi trovo proprio in questi giorni a presiedere un comitato di valutazione spagnolo per la ricerca in fisica. Ho la netta impressione che qiu i valori di h siano ben piu' alti che in Italia, ma non ne sono pero' sicuro al 100% e lo vorrei potere verificare. Ecco che un confronto di distribuzioni di h potrebbe essere molto utile.
Mi pare che qui ci sia pero' una attenzione ben maggiore alla selezione del personale della ricerca, se non altro per il fatto che si fanno valutare da un comitato fatto tutto da stranieri. E la cosa va avanti da 10 anni con successo. Di nuovo sarei curioso se questo sia o meno confermato dall' analisi bibliometrica.
Anche qui stanno iniziando ad usare h, e vi assicuro che è molto utile per capire al volo se si sta parlando di un gruppo di ricerca serio o di un gruppo di bocciofili pensionati.
Si prova a fare questo esercizio ?
Occorre capire se c'è un numero significativo (10-20 per iniziare ) di volontari; sono infatti convinto che se si inizia a fare questa cosa per bene, poi il numero di volontari aumenta.......chi è interessato basta che si faccia avanti...
Cordiali saluti
Roberto Battiston
On [DATE], "[NAME]" <[ADDRESS]> wrote:
mi chiedo se la discussione avuta sugli indicatori non si possa trasformare in un esperimento
Come sapete io nutro vari dubbi sugli indicatori ma in particolare i miei dubbi sono relativi all'uso che ne potrebbe fare la burocrazia ministeriale. Pero` e` chiaro che certi numeri che si possono ricavare al computer sono pubblici e quindi chiunque vuole puo` con un po di pazienza costruirli.
Una cosa che si potrebbe fare e` di estrarre tutti questi numeri
per tutti i dipartimenti Italiani seguendo alcune linee guida.
Poi magari a campione si potrebbe provare a confrontarli con qualche dipartimento straniero.
Trattandosi di un esperimento questo non ha altro valore che vedere cosa viene fuori. Io ho provato a prendere mathscinet e ho preso tutti i membri del mio dipartimento trovato quanti lavori hanno pubblicato da quale anno e con quante citazioni (poi l h-index nonho avuto tempo di farlo). Il lavoro si fa in circa tre ore. Il risultato che ho ottenuto ha piu o meno coinciso con le opinioni che avevo sui colleghi con alcuni punti interrogativi che sono emersi.
Poi uno potrebbe ampliare la ricerca e farla anche su google--scholar o publish or perish etc. Io non sono esperto.
In particolare non ho idea di come cominciare (non dico per fare una cosa accurata) per le altre discipline.
Questo e` un lavoro che si potrebbe dare da fare praticamente ad una segretaria o un precario a pagamento.
Con questio dati
preparare quindi semplicemente dei quadri, questo una volta fissate le regole e` un lavoro da segretaria, con magari dei commenti questo e` un lavoro un po diverso. Questo immagino e` quello che fanno anche delle autoproclamate agenzie di confronto. Il problema naturalmente e` chiaro, ognuno puo` fare i ranking che vuole non e` proibito, naturalmente poi puo` essere ampiamente criticato su quali particolari parametri ha scelto ma fare uno studio semplicemente calcolando tanti parametri mi pare faccia parte del mondo della ricerca (sperimentale) e quindi e` semplicemente produrre dati aggregati e NON rankings. Certamente ufficializzare un particolare sistema di ranking puo` essere effettivamente molto pericoloso.
Vi mando uno scambio di idee avuto all'interno dell International Mahematical Union su questo.
Il tutto e` partito dalla Shanghai Jiao Tong University ranking di cui mando informazioni
Extract from FASTS newsletter:
ranking - universities by subject fields
Most of you will be familiar with the academic rankings of world universities carried out by the Centre for World-Class Universities of Shanghai Jiao Tong University since 2003 (and the sturm und drang it generates in vice-chancellor and uni marketing circles). In 2007 Jiao Tong also ranked the top universities in 5 broad fields (natural sciences and mathematics, engineering/technology and compute science; life and agricultural sciences; clinical medicine and pharmacy; and social sciences).
In 2009, Jiao Tong propose to add a third ranking - universities by subject fields. The proposed fields include chemistry, physics, mathematics, computer science and economics.
Given the sensitivities of such rankings and the ever present possibility of perverse distortions some societies may wish to contact the Centre for World-Class Universities of Jiao Tong Uni and/or correspond with sister organisations in the US, Europe, Asia etc to assess the proposed ranking methodologies.
In November 2009, the Center for World-Class Universities is hosting the 3rd International Conference on World-Class Universities (WCU-3) where the 2009 rankings will be released. The conference will focus on various issues including Strategic planning and leadership of elite higher education institutions; Global market and institutional policies for the promotion of academic talent; Quality assurance in the context of undergraduate and graduate education; Institutional initiatives for research excellence and innovation and technology; Role of elite universities in national higher education and research systems.
Participants interested in presenting a contribution on one of above-mentioned topics are invited to submit an abstract of up to 2,000 words by April 1, 2009. For further information, refer http://gse.sjtu.edu.cn/WCU/WCU-3.htm
ALCUNI COMMENTI DA MEMBRI DELL EC DELL IMU
We can't prevent anyone from ranking something. For instance, in Germany several newspapers and several institutions produce rankings of universities and of scientific fields and of university departments. They often contradict each other. Those who have a good ranking make "public noise", those who are at the low end of the ranking suggest to ignore the results because of the deficiencies of the ranking methodology. Nobody has the time to fight against all these ranking attempts. (One can easily employ a whole army of "ranking fighters".)
Of course, it may be dangerous if one ranking system becomes dominant (such as the impact factor) and those who base their (financial) decisions on such metrics believe in this ranking system. That is why IMU initiated the Citation Statistics report.
Concerning the Shanghai Jiao Tong University ranking, there are (in Germany) short notes in newspapers whenever some ranking appears (usually initiated by those who are ranked well) and then the ranking is forgotten.
Every year, the magazine U.S. News and World Reports publishes an extensive ranking of US institutions by subject. A few years ago, AMS was alarmed by the flawed methodology of these rankings and asked all chairs of math departments in the US not to provide data to the magazine. The ranking is still thriving and U.S. News sells more magazines because of it! There is not much we can do.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
Cari colleghi,
Per quanto riguarda gli indicatori, mi permetto ancora una volta di ricordare il sistema sperimentato con successo da Gianni Cesareni (che ricorreva anche a Google Scholar) e che tempo fa ha provato ad entrare nella discussione. Per non sprecare tempo e parole, forse sarebbe bene contattarlo.
E¹ anche vero, come dice Battiston (in verde), che nella valutazione la presenza degli stranieri è fondamentale. Purtroppo quando l¹ho scritto io, Porcesi e altri mi hanno criticato tacciandomi di provincialismo e portando ad esempio qualche aneddoto personale su stranieri supponenti. Sarebbe come dire ³ mio nonno ha fumato sigarette tutti i giorni ed è morto a 100 anni, quindi non è vero che il fumo fa venire il tumore al polmone². Ma a tutti gli altri che non siano mio nonno cosa è successo?
Gli stranieri non sono più belli, più bravi o più intelligenti di noi, ma in media sono più svincolati dal potere politico accademico e dai clan, sono arbitri piu neutrali. Chi ha sempre lavorato bene, favorendo etica e merito non deve sentirsi sminuito.
Saluti,
Patrizio Dimitri
Mi pare che qui ci sia pero' una attenzione ben maggiore alla selezione del personale della ricerca, se non altro per il fatto che si fanno valutare da un comitato fatto tutto da stranieri. E la cosa va avanti da 10 anni con successo. Di nuovo sarei curioso se questo sia o meno confermato dall' analisi bibliometrica.
benissimo, e` chiaro che non si vuole fare una finta agenzia di valutazione ma vedere in concreto e non in una discussione che va avnti in modo teorico, cosa dicono questi indicatori, se e in che limiti sono affidabili.
inoltre e` chiaro che le metodologie devono essere abbastanza semplici e del tutto esplicite cosi` che chiunque possa riprodurle (una delle regole immagino del lavoro sperimentale) e magari contestarne la validita`, anche questo e` utile.
claudio
On Jan 15, 2009, at 11:58 PM, Roberto Battiston wrote:
Caro Procesi,
mi sembra una ottima idea, e credo interesserebbe a molti di noi, proprio nello spirito "sperimentale" a cui ti sei riferito. Si potrebbe cercare di implementare come dici tu partendo da dipartimenti italiani e continuando con confronti internazionali. Io offro volentieri il supporto informatico sul sito www.pubblicoergosum.org per mostrare in modo ordinato ed efficace i risultati di questi studi in forma di istogrammi o di tabelle.
Se il lavoro è distribuito si puo' fare anche a livello di volontariato, a patto che ci siano alcune semplici regole che tutti seguano in modo uniforme
Provo ad elencarle:
- uniformità dello strumento utilizzato. Per esempio proporrei
l'uso del data base di Google Scholar e non di ISI per la facilità di utilizzo gratuito dei programmi che producono h, e di conseguenza le interfacce online o il programma PoP (publish or perish) della Harzing.
- definizione dell'intervallo temporale: es tutto il periodo
coperto (fino al 2008), gli ultimi 20 anni, gli ultimi 10 anni
- un formato chiaro e semplice del risultato, da mettere in una
tabella excel con il seguente formato:
Settore disciplinare: 1-14, ssd: n
ordinario : ultimi 10 anni, ultimi 20 annni, tutto il periodo,
da quanti anni è nel ruolo (O, H1,H2,H3,Na) 2) associato: ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo (A, H1,H2,H3,Na) 3) ricercatore: ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo( R, H1,H2,H3,Na) 4) assegnista post doc: tutto il periodo, da quanti anni è laureato (Pod, H3, Na) 5) dottorando : tutto il periodo (Phd, H3)
es: 1,4,O,8,13,17,22 = matematico, sottosettore 4, Ordinario, h10=8, h20=13, htot=17, 22 anni dal concorso
- anonimato delle persone analizzate. Se uno fa l'analisi del suo
dipartimento, poi fornisce il risultato nella forma sopra riportato, ed evita di fare nomi e cognomi, per un motivo molto semplice, ci interessa capire se questa analisi puo' o meno dare dei risultati utili, non suscitare un vespaio di proteste su una procedura tutta da testare e capire.
- chiarezza e attenzione su come si gestiscono i nomi comuni, che
rendono difficile in alcuni casi togliere gli omonimi.....nessuno si offenderà se in questa fase i Paolo Rossi non verranno considerati.
- una policy semplice e chiara su questioni come ad esempio le
autocitazioni (meglio per ora lasciare perdere e non provare ad eliminarle)
Una volta che si concorda un formato di base, basterebbe un volontario per dipartimento e si possono davvero raccogliere un sacco di informazioni utili per una analisi fattuale, con un lavoro di poche ore.
Vi do un esempio, mi trovo proprio in questi giorni a presiedere un comitato di valutazione spagnolo per la ricerca in fisica. Ho la netta impressione che qiu i valori di h siano ben piu' alti che in Italia, ma non ne sono pero' sicuro al 100% e lo vorrei potere verificare. Ecco che un confronto di distribuzioni di h potrebbe essere molto utile.
Mi pare che qui ci sia pero' una attenzione ben maggiore alla selezione del personale della ricerca, se non altro per il fatto che si fanno valutare da un comitato fatto tutto da stranieri. E la cosa va avanti da 10 anni con successo. Di nuovo sarei curioso se questo sia o meno confermato dall' analisi bibliometrica.
Anche qui stanno iniziando ad usare h, e vi assicuro che è molto utile per capire al volo se si sta parlando di un gruppo di ricerca serio o di un gruppo di bocciofili pensionati.
Si prova a fare questo esercizio ?
Occorre capire se c'è un numero significativo (10-20 per iniziare ) di volontari; sono infatti convinto che se si inizia a fare questa cosa per bene, poi il numero di volontari aumenta.......chi è interessato basta che si faccia avanti...
Cordiali saluti
Roberto Battiston
On [DATE], "[NAME]" <[ADDRESS]> wrote:
mi chiedo se la discussione avuta sugli indicatori non si possa trasformare in un esperimento
Come sapete io nutro vari dubbi sugli indicatori ma in particolare i miei dubbi sono relativi all'uso che ne potrebbe fare la burocrazia ministeriale. Pero` e` chiaro che certi numeri che si possono ricavare al computer sono pubblici e quindi chiunque vuole puo` con un po di pazienza costruirli.
Una cosa che si potrebbe fare e` di estrarre tutti questi numeri
per tutti i dipartimenti Italiani seguendo alcune linee guida.
Poi magari a campione si potrebbe provare a confrontarli con qualche dipartimento straniero.
Trattandosi di un esperimento questo non ha altro valore che vedere cosa viene fuori. Io ho provato a prendere mathscinet e ho preso tutti i membri del mio dipartimento trovato quanti lavori hanno pubblicato da quale anno e con quante citazioni (poi l h-index nonho avuto tempo di farlo). Il lavoro si fa in circa tre ore. Il risultato che ho ottenuto ha piu o meno coinciso con le opinioni che avevo sui colleghi con alcuni punti interrogativi che sono emersi.
Poi uno potrebbe ampliare la ricerca e farla anche su google--scholar o publish or perish etc. Io non sono esperto.
In particolare non ho idea di come cominciare (non dico per fare una cosa accurata) per le altre discipline.
Questo e` un lavoro che si potrebbe dare da fare praticamente ad una segretaria o un precario a pagamento.
Con questio dati
preparare quindi semplicemente dei quadri, questo una volta fissate le regole e` un lavoro da segretaria, con magari dei commenti questo e` un lavoro un po diverso. Questo immagino e` quello che fanno anche delle autoproclamate agenzie di confronto. Il problema naturalmente e` chiaro, ognuno puo` fare i ranking che vuole non e` proibito, naturalmente poi puo` essere ampiamente criticato su quali particolari parametri ha scelto ma fare uno studio semplicemente calcolando tanti parametri mi pare faccia parte del mondo della ricerca (sperimentale) e quindi e` semplicemente produrre dati aggregati e NON rankings. Certamente ufficializzare un particolare sistema di ranking puo` essere effettivamente molto pericoloso.
Vi mando uno scambio di idee avuto all'interno dell International Mahematical Union su questo.
Il tutto e` partito dalla Shanghai Jiao Tong University ranking di cui mando informazioni
Extract from FASTS newsletter:
ranking - universities by subject fields
Most of you will be familiar with the academic rankings of world universities carried out by the Centre for World-Class Universities of Shanghai Jiao Tong University since 2003 (and the sturm und drang it generates in vice-chancellor and uni marketing circles). In 2007 Jiao Tong also ranked the top universities in 5 broad fields (natural sciences and mathematics, engineering/technology and compute science; life and agricultural sciences; clinical medicine and pharmacy; and social sciences).
In 2009, Jiao Tong propose to add a third ranking - universities by subject fields. The proposed fields include chemistry, physics, mathematics, computer science and economics.
Given the sensitivities of such rankings and the ever present possibility of perverse distortions some societies may wish to contact the Centre for World-Class Universities of Jiao Tong Uni and/or correspond with sister organisations in the US, Europe, Asia etc to assess the proposed ranking methodologies.
In November 2009, the Center for World-Class Universities is hosting the 3rd International Conference on World-Class Universities (WCU-3) where the 2009 rankings will be released. The conference will focus on various issues including Strategic planning and leadership of elite higher education institutions; Global market and institutional policies for the promotion of academic talent; Quality assurance in the context of undergraduate and graduate education; Institutional initiatives for research excellence and innovation and technology; Role of elite universities in national higher education and research systems.
Participants interested in presenting a contribution on one of above-mentioned topics are invited to submit an abstract of up to 2,000 words by April 1, 2009. For further information, refer http://gse.sjtu.edu.cn/WCU/WCU-3.htm
ALCUNI COMMENTI DA MEMBRI DELL EC DELL IMU
We can't prevent anyone from ranking something. For instance, in Germany several newspapers and several institutions produce rankings of universities and of scientific fields and of university departments. They often contradict each other. Those who have a good ranking make "public noise", those who are at the low end of the ranking suggest to ignore the results because of the deficiencies of the ranking methodology. Nobody has the time to fight against all these ranking attempts. (One can easily employ a whole army of "ranking fighters".)
Of course, it may be dangerous if one ranking system becomes dominant (such as the impact factor) and those who base their (financial) decisions on such metrics believe in this ranking system. That is why IMU initiated the Citation Statistics report.
Concerning the Shanghai Jiao Tong University ranking, there are (in Germany) short notes in newspapers whenever some ranking appears (usually initiated by those who are ranked well) and then the ranking is forgotten.
Every year, the magazine U.S. News and World Reports publishes an extensive ranking of US institutions by subject. A few years ago, AMS was alarmed by the flawed methodology of these rankings and asked all chairs of math departments in the US not to provide data to the magazine. The ranking is still thriving and U.S. News sells more magazines because of it! There is not much we can do.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
2009/1/16 P. Dimitri liviapat@inwind.it:
[...]
E¹ anche vero, come dice Battiston (in verde), che nella valutazione la presenza degli stranieri è fondamentale. Purtroppo quando l¹ho scritto io, Porcesi e altri mi hanno criticato tacciandomi di provincialismo e portando
[...]
Secondo la mia esperienza (che e' limitata e potrei sbagliarmi) esistono due sistemi distinti per il reclutamento in generale,
sistema 1) - responsabilita', incentivi, valutazione, vincoli economici sono concentrati sul dipartimento e in parte sull'Ateneo (Harvard, Univ. California, etc) - l'interesse a reclutare i migliori e' genuino da parte degli interni, regole piu' che altro sociali contrastano efficacemente l'inbreeding - ci sono bandi internazionali, pubblicizzati, vengono chieste lettere di raccomandazione ai migliori esperti, senza differenza di nazionalita' - la decisione finale e' fatta dagli interni che se ne assumono l'intera responsabilita' - il sistema prevede vivace competizione tra Atenei per assumere i migliori e prevalere per risultati
sistema 2) - tipico dei paesi statalisti dell'europa continentale in primis Francia, ma anche Italia, Spagna - la responsabilita' del reclutamento e' assegnata non ai dipartimenti e agli Atenei ma primariamente ad un ideale di comunita' scientifica nazionale che si declina in modo diverso nei vari sistemi - all'interno di regole generiche stabilite dallo Stato le comunita' scientifiche nazionali gestistono reclutamento / promozioni - mancano reali diretti incentivi per le scelte, le scelte sono frutto del consenso generale o al piu' di maggioranze e cordate; non e' realistico fare una valutazione delle scelte operate, che sono responsabilita' collettiva (per assurdo un'eventuale valutazione avrebbe solo due possibili risultati, o la comunita' nazionale e' promossa in blocco, o e' bocciata in blocco)
Il sistema 2) degenera facilmente in maggioranze / cordate nazionali che gestiscono le risorse disponibili distribuendole a pioggia alle sedi locali senza reale valutazione / differenziazione per produttivita' scientifica. Per porre rimedio a questo e' effettivamente corretto cooptare massimi esperti stranieri nella valutazione, e in generale forzare la selezione anche in Italia dei massimi esperti per rilevanza scientifica piuttosto che come meri collettori di voti. Corollario: il sorteggio imposto dall'ultimo decreto non puo' essere una soluzione reale.
Concludendo, ritengo che in questo gruppo di discussione dobbiamo focalizzarci sulla proposta della lettera iniziale di C.Procesi che prevede responsabilita' assegnata ai dipartimenti, valutazione, anche competizione, quindi sistema 1), quindi esperti internazionali si' ma per lettere di raccomandazione ma non nelle commissioni, perche' le scelte devono essere essenzialmente responsabilita' locale.
Esperti internazionali nelle commissioni come avviene in Francia, Spagna e prospettato per es. anche da Mussi sono sensati solo per una riforma basata sul sistema 2), che io ritengo fuori tema qui (ma si potrebbe fare una discussione separata su quel filone se ritenuto opportuno).
Personalmente ritengo che il sistema 2) possa avere qualche speranza di funzionamento solo in Paesi dotati di una profonda coesione nazionale che prevale sugli interessi particolaristici, in modo che nelle comunita' scientifiche nazionali prevalga l'esigenza di far competere ed eccellere tutto il Paese in competizione con gli altri Paesi stranieri. Cio' e' realistico in Paesi come Francia e forse Spagna, ma ritengo sia irrealistico in Italia, anche considerando che cio' abbiamo sperimentato da sempre coi risultati conosciuti e' proprio il sistema 2).
In Italia ci puo' essere speranza che funzioni il sistema 1) a patto che si innesti una competizione positiva e ben regolata. Nell'economia privata, gli esempi di maggior successo in Italia si trovano nel settore delle piccole e medie imprese, dove la competizione nazionale e internazionale e' vivace, mentre le grandi imprese che tendono ad essere campioni nazionali tendono storicamente ad essere perdenti nella competizione internazionale anche quando hanno il supporto dello Stato.
Cordialmente, -- Alberto Lusiani ricercatore di Fisica SNS
Caro Alberto, nel corso della mia esperienza ne ho viste parecchie di situazioni diverse e mi sono convinto che la questione sia non semplice ma semplicissima.
Occorrono due ingredienti per fare marciare il sistema dell' università e della ricerca:
1. che le scelte (es. quelle che portano a tenure tracks) siano fatte dalle persone piu' competenti possibili del settore, secondo il principio che solo chi è abituato alla qualità e al merito riconosce negli altri la qualità e rispetta il merito; 2. che non ci possa essere neanche il sospetto di conflitto di interessi, secondo il principio che anche un premio Nobel è un essere umano e corre il rischio essere trascinato nelle sue scelte da questioni personali quando è direttamente coinvolto.
Se viene meno uno o piu' di questi ingredienti si possono stendere fiumi di inchiostro ma il sistema non puo' funzionare.
Da noi sono quasi sempre violate entrambe le regole base.
es: I commissari di concorso sono votati e scelti spesso in base a logiche discusse in segreto o al bar, neanche in facoltà. Non c'è alcuna verifica delle loro competenze nel campo della valutazione, non sono sottoposti a nessuna verifica scientifica. Che siano scientificamente attivi o sull'orlo della pensione non importa.
oppure: in Italia il conflitto di interesse è sistematicamente sostenuto con forza anche dai migliori tra i colleghi. Ad esempio un dipartimento americano ( ma anche in alcuni istituti spagnoli, ho appena appreso) un tenure track che va al gruppo x è discusso da tutti senior del dipartimento/facoltà e l' opinione di quello che lo propone e quella che vale di meno.
Ci sono tanti modi per rispettare/implementare queste due regole, ma ce ne sono altrettanti se non di piu' per violarle. Siccome sono convinto che davvero sarebbe semplice risolvere alla radice molti dei nostri problemi, ma che complessivamente non lo si voglia fare, mi sono anche un po' stancato di analizzare l'ennesima norma che in modo piu' o meno plateale viola i due principi di base, ma che viene proposta come possibile soluzione ai nostri problemi.
Per quanto riguarda la tua osservazione sul sistema bloccato. E' vero è bloccato, ma si potrebbe sbloccare anche in fretta, proprio per l'enorme pressione e insoddisfazione che si sta creando, nonchè anche per le azioni fortemente destabilizzanti che provengono dal mondo politico. Se per qualche motivo un gruppetto di persone motivate iniziasse a fare delle azioni semplici ma coordinate le cose potrebbero cambiare.
Leggo molti dei messaggi di questa mailing list. Mi piacerebbe che parte delle nostre energie andassero non solo in discussioni ma sfociassero in qualche azione concreta. In questo senso mi piace molto l'idea lanciata da Procesi di fare un esecizio con la valutazione. Secondo me si puo' imparare davvero qualche cosa di utile.
Cordiali saluti
Roberto
On [DATE], "[NAME]" <[ADDRESS]> wrote:
2009/1/16 P. Dimitri liviapat@inwind.it:
[...]
E¹ anche vero, come dice Battiston (in verde), che nella valutazione la presenza degli stranieri è fondamentale. Purtroppo quando l¹ho scritto io, Porcesi e altri mi hanno criticato tacciandomi di provincialismo e portando
[...]
Secondo la mia esperienza (che e' limitata e potrei sbagliarmi) esistono due sistemi distinti per il reclutamento in generale,
sistema 1)
- responsabilita', incentivi, valutazione, vincoli economici sono
concentrati sul dipartimento e in parte sull'Ateneo (Harvard, Univ. California, etc)
- l'interesse a reclutare i migliori e' genuino da parte degli
interni, regole piu' che altro sociali contrastano efficacemente l'inbreeding
- ci sono bandi internazionali, pubblicizzati, vengono chieste lettere
di raccomandazione ai migliori esperti, senza differenza di nazionalita'
- la decisione finale e' fatta dagli interni che se ne assumono
l'intera responsabilita'
- il sistema prevede vivace competizione tra Atenei per assumere i
migliori e prevalere per risultati
sistema 2)
- tipico dei paesi statalisti dell'europa continentale in primis
Francia, ma anche Italia, Spagna
- la responsabilita' del reclutamento e' assegnata non ai dipartimenti
e agli Atenei ma primariamente ad un ideale di comunita' scientifica nazionale che si declina in modo diverso nei vari sistemi
- all'interno di regole generiche stabilite dallo Stato le comunita'
scientifiche nazionali gestistono reclutamento / promozioni
- mancano reali diretti incentivi per le scelte, le scelte sono frutto
del consenso generale o al piu' di maggioranze e cordate; non e' realistico fare una valutazione delle scelte operate, che sono responsabilita' collettiva (per assurdo un'eventuale valutazione avrebbe solo due possibili risultati, o la comunita' nazionale e' promossa in blocco, o e' bocciata in blocco)
Il sistema 2) degenera facilmente in maggioranze / cordate nazionali che gestiscono le risorse disponibili distribuendole a pioggia alle sedi locali senza reale valutazione / differenziazione per produttivita' scientifica. Per porre rimedio a questo e' effettivamente corretto cooptare massimi esperti stranieri nella valutazione, e in generale forzare la selezione anche in Italia dei massimi esperti per rilevanza scientifica piuttosto che come meri collettori di voti. Corollario: il sorteggio imposto dall'ultimo decreto non puo' essere una soluzione reale.
Concludendo, ritengo che in questo gruppo di discussione dobbiamo focalizzarci sulla proposta della lettera iniziale di C.Procesi che prevede responsabilita' assegnata ai dipartimenti, valutazione, anche competizione, quindi sistema 1), quindi esperti internazionali si' ma per lettere di raccomandazione ma non nelle commissioni, perche' le scelte devono essere essenzialmente responsabilita' locale.
Esperti internazionali nelle commissioni come avviene in Francia, Spagna e prospettato per es. anche da Mussi sono sensati solo per una riforma basata sul sistema 2), che io ritengo fuori tema qui (ma si potrebbe fare una discussione separata su quel filone se ritenuto opportuno).
Personalmente ritengo che il sistema 2) possa avere qualche speranza di funzionamento solo in Paesi dotati di una profonda coesione nazionale che prevale sugli interessi particolaristici, in modo che nelle comunita' scientifiche nazionali prevalga l'esigenza di far competere ed eccellere tutto il Paese in competizione con gli altri Paesi stranieri. Cio' e' realistico in Paesi come Francia e forse Spagna, ma ritengo sia irrealistico in Italia, anche considerando che cio' abbiamo sperimentato da sempre coi risultati conosciuti e' proprio il sistema 2).
In Italia ci puo' essere speranza che funzioni il sistema 1) a patto che si innesti una competizione positiva e ben regolata. Nell'economia privata, gli esempi di maggior successo in Italia si trovano nel settore delle piccole e medie imprese, dove la competizione nazionale e internazionale e' vivace, mentre le grandi imprese che tendono ad essere campioni nazionali tendono storicamente ad essere perdenti nella competizione internazionale anche quando hanno il supporto dello Stato.
Cordialmente,
Alberto Lusiani ricercatore di Fisica SNS _______________________________________________ Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
una postilla a Lusiani, il sistema 2) come minimo avrebbe bisogno di separare alcune e poche strutture di eccellenza dove effettivamente viene richiesta ai docenti un vero profilo di ricercatori da quelle strutture professiopnalizzanti in cui la attivita` principale e` l'insegnamento.
Dopo tutto gli esempi di Harvard e UC sono di questo tipo e non dell'innumerevole gruppo di colleges esistenti inUSA.
On Jan 16, 2009, at 10:58 AM, Alberto Lusiani wrote:
2009/1/16 P. Dimitri liviapat@inwind.it:
[...]
E¹ anche vero, come dice Battiston (in verde), che nella valutazione la presenza degli stranieri è fondamentale. Purtroppo quando l¹ho scritto io, Porcesi e altri mi hanno criticato tacciandomi di provincialismo e portando
[...]
Secondo la mia esperienza (che e' limitata e potrei sbagliarmi) esistono due sistemi distinti per il reclutamento in generale,
sistema 1)
- responsabilita', incentivi, valutazione, vincoli economici sono
concentrati sul dipartimento e in parte sull'Ateneo (Harvard, Univ. California, etc)
- l'interesse a reclutare i migliori e' genuino da parte degli
interni, regole piu' che altro sociali contrastano efficacemente l'inbreeding
- ci sono bandi internazionali, pubblicizzati, vengono chieste lettere
di raccomandazione ai migliori esperti, senza differenza di nazionalita'
- la decisione finale e' fatta dagli interni che se ne assumono
l'intera responsabilita'
- il sistema prevede vivace competizione tra Atenei per assumere i
migliori e prevalere per risultati
sistema 2)
- tipico dei paesi statalisti dell'europa continentale in primis
Francia, ma anche Italia, Spagna
- la responsabilita' del reclutamento e' assegnata non ai dipartimenti
e agli Atenei ma primariamente ad un ideale di comunita' scientifica nazionale che si declina in modo diverso nei vari sistemi
- all'interno di regole generiche stabilite dallo Stato le comunita'
scientifiche nazionali gestistono reclutamento / promozioni
- mancano reali diretti incentivi per le scelte, le scelte sono frutto
del consenso generale o al piu' di maggioranze e cordate; non e' realistico fare una valutazione delle scelte operate, che sono responsabilita' collettiva (per assurdo un'eventuale valutazione avrebbe solo due possibili risultati, o la comunita' nazionale e' promossa in blocco, o e' bocciata in blocco)
Il sistema 2) degenera facilmente in maggioranze / cordate nazionali che gestiscono le risorse disponibili distribuendole a pioggia alle sedi locali senza reale valutazione / differenziazione per produttivita' scientifica. Per porre rimedio a questo e' effettivamente corretto cooptare massimi esperti stranieri nella valutazione, e in generale forzare la selezione anche in Italia dei massimi esperti per rilevanza scientifica piuttosto che come meri collettori di voti. Corollario: il sorteggio imposto dall'ultimo decreto non puo' essere una soluzione reale.
Concludendo, ritengo che in questo gruppo di discussione dobbiamo focalizzarci sulla proposta della lettera iniziale di C.Procesi che prevede responsabilita' assegnata ai dipartimenti, valutazione, anche competizione, quindi sistema 1), quindi esperti internazionali si' ma per lettere di raccomandazione ma non nelle commissioni, perche' le scelte devono essere essenzialmente responsabilita' locale.
Esperti internazionali nelle commissioni come avviene in Francia, Spagna e prospettato per es. anche da Mussi sono sensati solo per una riforma basata sul sistema 2), che io ritengo fuori tema qui (ma si potrebbe fare una discussione separata su quel filone se ritenuto opportuno).
Personalmente ritengo che il sistema 2) possa avere qualche speranza di funzionamento solo in Paesi dotati di una profonda coesione nazionale che prevale sugli interessi particolaristici, in modo che nelle comunita' scientifiche nazionali prevalga l'esigenza di far competere ed eccellere tutto il Paese in competizione con gli altri Paesi stranieri. Cio' e' realistico in Paesi come Francia e forse Spagna, ma ritengo sia irrealistico in Italia, anche considerando che cio' abbiamo sperimentato da sempre coi risultati conosciuti e' proprio il sistema 2).
In Italia ci puo' essere speranza che funzioni il sistema 1) a patto che si innesti una competizione positiva e ben regolata. Nell'economia privata, gli esempi di maggior successo in Italia si trovano nel settore delle piccole e medie imprese, dove la competizione nazionale e internazionale e' vivace, mentre le grandi imprese che tendono ad essere campioni nazionali tendono storicamente ad essere perdenti nella competizione internazionale anche quando hanno il supporto dello Stato.
Cordialmente,
Alberto Lusiani ricercatore di Fisica SNS _______________________________________________ Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
On Thu, Jan 15, 2009 at 11:58 PM, Roberto Battiston roberto.battiston@pg.infn.it wrote:
[...]
- definizione dell'intervallo temporale: es tutto il periodo coperto (fino
al 2008), gli ultimi 20 anni, gli ultimi 10 anni
Suggerisco di includere anche "ultimi 5 anni" che mi sembra un lasso di tempo comune se non prevalente per procedure di reclutamento e richiesta fondi in ambito internazionale.
[...] Cordialmente, -- Alberto Lusiani ricercatore di Fisica SNS
Avevo mandato a Procesi un tentativo di carta di valutazione simile a quello di Traverso. Fatto sui documenti prodotti dai valutandi in modo che si eviti il problema delle omonimie etc. Sono comunque a disposizione come volontario se un simile tentativo verrà fatto. Deve esserci però uno, e uno solo, che detta i formati, le sorgenti etc. L'importante, come dicevo a Procesi, è che si stabilisca se questa strada vuole essere percorsa o no. Anche quì, come in altre questioni, il divario fra le opinioni della maggioranza dei matematici e di quella degli sperimentali è grande. Giovanni Giacometti
On Thu, 15 Jan 2009 23:58:18 +0100, Roberto Battiston wrote
Caro Procesi,
mi sembra una ottima idea, e credo interesserebbe a molti di noi, proprio nello spirito "sperimentale" a cui ti sei riferito. Si potrebbe cercare di implementare come dici tu partendo da dipartimenti italiani e continuando con confronti internazionali. Io offro volentieri il supporto informatico sul sito www.pubblicoergosum.org per mostrare in modo ordinato ed efficace i risultati di questi studi in forma di istogrammi o di tabelle.
Se il lavoro è distribuito si puo' fare anche a livello di volontariato, a patto che ci siano alcune semplici regole che tutti seguano in modo uniforme
Provo ad elencarle:
- uniformità dello strumento utilizzato. Per esempio proporrei
l'uso del data base di Google Scholar e non di ISI per la facilità di utilizzo gratuito dei programmi che producono h, e di conseguenza le interfacce online o il programma PoP (publish or perish) della Harzing.
- definizione dell'intervallo temporale: es tutto il periodo
coperto (fino al 2008), gli ultimi 20 anni, gli ultimi 10 anni
- un formato chiaro e semplice del risultato, da mettere in una tabella
excel con il seguente formato:
Settore disciplinare: 1-14, ssd: n
ordinario : ultimi 10 anni, ultimi 20 annni, tutto il periodo, da
quanti anni è nel ruolo (O, H1,H2,H3,Na) 2) associato: ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo (A, H1,H2,H3,Na) 3) ricercatore: ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo( R, H1,H2,H3,Na) 4) assegnista post doc: tutto il periodo, da quanti anni è laureato (Pod, H3, Na) 5) dottorando : tutto il periodo (Phd, H3)
es: 1,4,O,8,13,17,22 = matematico, sottosettore 4, Ordinario, h10=8, h20=13, htot=17, 22 anni dal concorso
- anonimato delle persone analizzate. Se uno fa l'analisi del suo
dipartimento, poi fornisce il risultato nella forma sopra riportato, ed evita di fare nomi e cognomi, per un motivo molto semplice, ci interessa capire se questa analisi puo' o meno dare dei risultati utili, non suscitare un vespaio di proteste su una procedura tutta da testare e capire.
- chiarezza e attenzione su come si gestiscono i nomi comuni, che rendono
difficile in alcuni casi togliere gli omonimi.....nessuno si offenderà se in questa fase i Paolo Rossi non verranno considerati.
- una policy semplice e chiara su questioni come ad esempio le
autocitazioni (meglio per ora lasciare perdere e non provare ad eliminarle)
Una volta che si concorda un formato di base, basterebbe un volontario per dipartimento e si possono davvero raccogliere un sacco di informazioni utili per una analisi fattuale, con un lavoro di poche ore.
Vi do un esempio, mi trovo proprio in questi giorni a presiedere un comitato di valutazione spagnolo per la ricerca in fisica. Ho la netta impressione che qiu i valori di h siano ben piu' alti che in Italia, ma non ne sono pero' sicuro al 100% e lo vorrei potere verificare. Ecco che un confronto di distribuzioni di h potrebbe essere molto utile.
Mi pare che qui ci sia pero' una attenzione ben maggiore alla selezione del personale della ricerca, se non altro per il fatto che si fanno valutare da un comitato fatto tutto da stranieri. E la cosa va avanti da 10 anni con successo. Di nuovo sarei curioso se questo sia o meno confermato dall' analisi bibliometrica.
Anche qui stanno iniziando ad usare h, e vi assicuro che è molto utile per capire al volo se si sta parlando di un gruppo di ricerca serio o di un gruppo di bocciofili pensionati.
Si prova a fare questo esercizio ?
Occorre capire se c'è un numero significativo (10-20 per iniziare ) di volontari; sono infatti convinto che se si inizia a fare questa cosa per bene, poi il numero di volontari aumenta.......chi è interessato basta che si faccia avanti...
Cordiali saluti
Roberto Battiston
On [DATE], "[NAME]" <[ADDRESS]> wrote:
mi chiedo se la discussione avuta sugli indicatori non si possa trasformare in un esperimento
Come sapete io nutro vari dubbi sugli indicatori ma in particolare i miei dubbi sono relativi all'uso che ne potrebbe fare la burocrazia ministeriale. Pero` e` chiaro che certi numeri che si possono ricavare al computer sono pubblici e quindi chiunque vuole puo` con un po di pazienza costruirli.
Una cosa che si potrebbe fare e` di estrarre tutti questi numeri
per tutti i dipartimenti Italiani seguendo alcune linee guida.
Poi magari a campione si potrebbe provare a confrontarli con qualche dipartimento straniero.
Trattandosi di un esperimento questo non ha altro valore che vedere cosa viene fuori. Io ho provato a prendere mathscinet e ho preso tutti i membri del mio dipartimento trovato quanti lavori hanno pubblicato da quale anno e con quante citazioni (poi l h-index nonho avuto tempo di farlo). Il lavoro si fa in circa tre ore. Il risultato che ho ottenuto ha piu o meno coinciso con le opinioni che avevo sui colleghi con alcuni punti interrogativi che sono emersi.
Poi uno potrebbe ampliare la ricerca e farla anche su google--scholar o publish or perish etc. Io non sono esperto.
In particolare non ho idea di come cominciare (non dico per fare una cosa accurata) per le altre discipline.
Questo e` un lavoro che si potrebbe dare da fare praticamente ad una segretaria o un precario a pagamento.
Con questio dati
preparare quindi semplicemente dei quadri, questo una volta fissate le regole e` un lavoro da segretaria, con magari dei commenti questo e` un lavoro un po diverso. Questo immagino e` quello che fanno anche delle autoproclamate agenzie di confronto. Il problema naturalmente e` chiaro, ognuno puo` fare i ranking che vuole non e` proibito, naturalmente poi puo` essere ampiamente criticato su quali particolari parametri ha scelto ma fare uno studio semplicemente calcolando tanti parametri mi pare faccia parte del mondo della ricerca (sperimentale) e quindi e` semplicemente produrre dati aggregati e NON rankings. Certamente ufficializzare un particolare sistema di ranking puo` essere effettivamente molto pericoloso.
Vi mando uno scambio di idee avuto all'interno dell International Mahematical Union su questo.
Il tutto e` partito dalla Shanghai Jiao Tong University ranking di cui mando informazioni
Extract from FASTS newsletter:
ranking - universities by subject fields
Most of you will be familiar with the academic rankings of world universities carried out by the Centre for World-Class Universities of Shanghai Jiao Tong University since 2003 (and the sturm und drang it generates in vice-chancellor and uni marketing circles). In 2007 Jiao Tong also ranked the top universities in 5 broad fields (natural sciences and mathematics, engineering/technology and compute science; life and agricultural sciences; clinical medicine and pharmacy; and social sciences).
In 2009, Jiao Tong propose to add a third ranking - universities by subject fields. The proposed fields include chemistry, physics, mathematics, computer science and economics.
Given the sensitivities of such rankings and the ever present possibility of perverse distortions some societies may wish to contact the Centre for World-Class Universities of Jiao Tong Uni and/or correspond with sister organisations in the US, Europe, Asia etc to assess the proposed ranking methodologies.
In November 2009, the Center for World-Class Universities is hosting the 3rd International Conference on World-Class Universities (WCU-3) where the 2009 rankings will be released. The conference will focus on various issues including Strategic planning and leadership of elite higher education institutions; Global market and institutional policies for the promotion of academic talent; Quality assurance in the context of undergraduate and graduate education; Institutional initiatives for research excellence and innovation and technology; Role of elite universities in national higher education and research systems.
Participants interested in presenting a contribution on one of above-mentioned topics are invited to submit an abstract of up to 2,000 words by April 1, 2009. For further information, refer http://gse.sjtu.edu.cn/WCU/WCU-3.htm
ALCUNI COMMENTI DA MEMBRI DELL EC DELL IMU
We can't prevent anyone from ranking something. For instance, in Germany several newspapers and several institutions produce rankings of universities and of scientific fields and of university departments. They often contradict each other. Those who have a good ranking make "public noise", those who are at the low end of the ranking suggest to ignore the results because of the deficiencies of the ranking methodology. Nobody has the time to fight against all these ranking attempts. (One can easily employ a whole army of "ranking fighters".)
Of course, it may be dangerous if one ranking system becomes dominant (such as the impact factor) and those who base their (financial) decisions on such metrics believe in this ranking system. That is why IMU initiated the Citation Statistics report.
Concerning the Shanghai Jiao Tong University ranking, there are (in Germany) short notes in newspapers whenever some ranking appears (usually initiated by those who are ranked well) and then the ranking is forgotten.
Every year, the magazine U.S. News and World Reports publishes an extensive ranking of US institutions by subject. A few years ago, AMS was alarmed by the flawed methodology of these rankings and asked all chairs of math departments in the US not to provide data to the magazine. The ranking is still thriving and U.S. News sells more magazines because of it! There is not much we can do.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
-- Open WebMail Project (http://openwebmail.org)
giovanni giacometti ha scritto:
Avevo mandato a Procesi un tentativo di carta di valutazione simile a quello di Traverso. Fatto sui documenti prodotti dai valutandi in modo che si eviti il problema delle omonimie etc. Sono comunque a disposizione come volontario se un simile tentativo verrà fatto. Deve esserci però uno, e uno solo, che detta i formati, le sorgenti etc. L'importante, come dicevo a Procesi, è che si stabilisca se questa strada vuole essere percorsa o no. Anche quì, come in altre questioni, il divario fra le opinioni della maggioranza dei matematici e di quella degli sperimentali è grande.
non capisco questa distinzione tra matematici e sperimentali. chi sono gli sperimentali? Il resto del mondo? ci sono teorici in tutte le discipline scientifiche diverse dalla matematica, come credo ci siano matematici che fanno attivita' sperimentale.
patrizia vitale ricercatore fisica federico II
come gia` vi dicevo fare un tale esperimento non e` vietato e quindi se ci sono i volontari e qualcuno che li coordina (non io) non vedo quale sia il problema
claudio
On Jan 16, 2009, at 10:25 AM, giovanni giacometti wrote:
Avevo mandato a Procesi un tentativo di carta di valutazione simile a quello di Traverso. Fatto sui documenti prodotti dai valutandi in modo che si eviti il problema delle omonimie etc. Sono comunque a disposizione come volontario se un simile tentativo verrà fatto. Deve esserci però uno, e uno solo, che detta i formati, le sorgenti etc. L'importante, come dicevo a Procesi, è che si stabilisca se questa strada vuole essere percorsa o no. Anche quì, come in altre questioni, il divario fra le opinioni della maggioranza dei matematici e di quella degli sperimentali è grande. Giovanni Giacometti
On Thu, 15 Jan 2009 23:58:18 +0100, Roberto Battiston wrote
Caro Procesi,
mi sembra una ottima idea, e credo interesserebbe a molti di noi, proprio nello spirito "sperimentale" a cui ti sei riferito. Si potrebbe cercare di implementare come dici tu partendo da dipartimenti italiani e continuando con confronti internazionali. Io offro volentieri il supporto informatico sul sito www.pubblicoergosum.org per mostrare in modo ordinato ed efficace i risultati di questi studi in forma di istogrammi o di tabelle.
Se il lavoro è distribuito si puo' fare anche a livello di volontariato, a patto che ci siano alcune semplici regole che tutti seguano in modo uniforme
Provo ad elencarle:
- uniformità dello strumento utilizzato. Per esempio proporrei
l'uso del data base di Google Scholar e non di ISI per la facilità di utilizzo gratuito dei programmi che producono h, e di conseguenza le interfacce online o il programma PoP (publish or perish) della Harzing.
- definizione dell'intervallo temporale: es tutto il periodo
coperto (fino al 2008), gli ultimi 20 anni, gli ultimi 10 anni
- un formato chiaro e semplice del risultato, da mettere in una
tabella excel con il seguente formato:
Settore disciplinare: 1-14, ssd: n
ordinario : ultimi 10 anni, ultimi 20 annni, tutto il periodo, da
quanti anni è nel ruolo (O, H1,H2,H3,Na) 2) associato: ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo (A, H1,H2,H3,Na) 3) ricercatore: ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo( R, H1,H2,H3,Na) 4) assegnista post doc: tutto il periodo, da quanti anni è laureato (Pod, H3, Na) 5) dottorando : tutto il periodo (Phd, H3)
es: 1,4,O,8,13,17,22 = matematico, sottosettore 4, Ordinario, h10=8, h20=13, htot=17, 22 anni dal concorso
- anonimato delle persone analizzate. Se uno fa l'analisi del suo
dipartimento, poi fornisce il risultato nella forma sopra riportato, ed evita di fare nomi e cognomi, per un motivo molto semplice, ci interessa capire se questa analisi puo' o meno dare dei risultati utili, non suscitare un vespaio di proteste su una procedura tutta da testare e capire.
- chiarezza e attenzione su come si gestiscono i nomi comuni, che
rendono difficile in alcuni casi togliere gli omonimi.....nessuno si offenderà se in questa fase i Paolo Rossi non verranno considerati.
- una policy semplice e chiara su questioni come ad esempio le
autocitazioni (meglio per ora lasciare perdere e non provare ad eliminarle)
Una volta che si concorda un formato di base, basterebbe un volontario per dipartimento e si possono davvero raccogliere un sacco di informazioni utili per una analisi fattuale, con un lavoro di poche ore.
Vi do un esempio, mi trovo proprio in questi giorni a presiedere un comitato di valutazione spagnolo per la ricerca in fisica. Ho la netta impressione che qiu i valori di h siano ben piu' alti che in Italia, ma non ne sono pero' sicuro al 100% e lo vorrei potere verificare. Ecco che un confronto di distribuzioni di h potrebbe essere molto utile.
Mi pare che qui ci sia pero' una attenzione ben maggiore alla selezione del personale della ricerca, se non altro per il fatto che si fanno valutare da un comitato fatto tutto da stranieri. E la cosa va avanti da 10 anni con successo. Di nuovo sarei curioso se questo sia o meno confermato dall' analisi bibliometrica.
Anche qui stanno iniziando ad usare h, e vi assicuro che è molto utile per capire al volo se si sta parlando di un gruppo di ricerca serio o di un gruppo di bocciofili pensionati.
Si prova a fare questo esercizio ?
Occorre capire se c'è un numero significativo (10-20 per iniziare ) di volontari; sono infatti convinto che se si inizia a fare questa cosa per bene, poi il numero di volontari aumenta.......chi è interessato basta che si faccia avanti...
Cordiali saluti
Roberto Battiston
On [DATE], "[NAME]" <[ADDRESS]> wrote:
mi chiedo se la discussione avuta sugli indicatori non si possa trasformare in un esperimento
Come sapete io nutro vari dubbi sugli indicatori ma in particolare i miei dubbi sono relativi all'uso che ne potrebbe fare la burocrazia ministeriale. Pero` e` chiaro che certi numeri che si possono ricavare al computer sono pubblici e quindi chiunque vuole puo` con un po di pazienza costruirli.
Una cosa che si potrebbe fare e` di estrarre tutti questi numeri
per tutti i dipartimenti Italiani seguendo alcune linee guida.
Poi magari a campione si potrebbe provare a confrontarli con qualche dipartimento straniero.
Trattandosi di un esperimento questo non ha altro valore che vedere cosa viene fuori. Io ho provato a prendere mathscinet e ho preso tutti i membri del mio dipartimento trovato quanti lavori hanno pubblicato da quale anno e con quante citazioni (poi l h-index nonho avuto tempo di farlo). Il lavoro si fa in circa tre ore. Il risultato che ho ottenuto ha piu o meno coinciso con le opinioni che avevo sui colleghi con alcuni punti interrogativi che sono emersi.
Poi uno potrebbe ampliare la ricerca e farla anche su google-- scholar o publish or perish etc. Io non sono esperto.
In particolare non ho idea di come cominciare (non dico per fare una cosa accurata) per le altre discipline.
Questo e` un lavoro che si potrebbe dare da fare praticamente ad una segretaria o un precario a pagamento.
Con questio dati
preparare quindi semplicemente dei quadri, questo una volta fissate le regole e` un lavoro da segretaria, con magari dei commenti questo e` un lavoro un po diverso. Questo immagino e` quello che fanno anche delle autoproclamate agenzie di confronto. Il problema naturalmente e` chiaro, ognuno puo` fare i ranking che vuole non e` proibito, naturalmente poi puo` essere ampiamente criticato su quali particolari parametri ha scelto ma fare uno studio semplicemente calcolando tanti parametri mi pare faccia parte del mondo della ricerca (sperimentale) e quindi e` semplicemente produrre dati aggregati e NON rankings. Certamente ufficializzare un particolare sistema di ranking puo` essere effettivamente molto pericoloso.
Vi mando uno scambio di idee avuto all'interno dell International Mahematical Union su questo.
Il tutto e` partito dalla Shanghai Jiao Tong University ranking di cui mando informazioni
Extract from FASTS newsletter:
ranking - universities by subject fields
Most of you will be familiar with the academic rankings of world universities carried out by the Centre for World-Class Universities of Shanghai Jiao Tong University since 2003 (and the sturm und drang it generates in vice-chancellor and uni marketing circles). In 2007 Jiao Tong also ranked the top universities in 5 broad fields (natural sciences and mathematics, engineering/technology and compute science; life and agricultural sciences; clinical medicine and pharmacy; and social sciences).
In 2009, Jiao Tong propose to add a third ranking - universities by subject fields. The proposed fields include chemistry, physics, mathematics, computer science and economics.
Given the sensitivities of such rankings and the ever present possibility of perverse distortions some societies may wish to contact the Centre for World-Class Universities of Jiao Tong Uni and/or correspond with sister organisations in the US, Europe, Asia etc to assess the proposed ranking methodologies.
In November 2009, the Center for World-Class Universities is hosting the 3rd International Conference on World-Class Universities (WCU-3) where the 2009 rankings will be released. The conference will focus on various issues including Strategic planning and leadership of elite higher education institutions; Global market and institutional policies for the promotion of academic talent; Quality assurance in the context of undergraduate and graduate education; Institutional initiatives for research excellence and innovation and technology; Role of elite universities in national higher education and research systems.
Participants interested in presenting a contribution on one of above-mentioned topics are invited to submit an abstract of up to 2,000 words by April 1, 2009. For further information, refer http://gse.sjtu.edu.cn/WCU/WCU-3.htm
ALCUNI COMMENTI DA MEMBRI DELL EC DELL IMU
We can't prevent anyone from ranking something. For instance, in Germany several newspapers and several institutions produce rankings of universities and of scientific fields and of university departments. They often contradict each other. Those who have a good ranking make "public noise", those who are at the low end of the ranking suggest to ignore the results because of the deficiencies of the ranking methodology. Nobody has the time to fight against all these ranking attempts. (One can easily employ a whole army of "ranking fighters".)
Of course, it may be dangerous if one ranking system becomes dominant (such as the impact factor) and those who base their (financial) decisions on such metrics believe in this ranking system. That is why IMU initiated the Citation Statistics report.
Concerning the Shanghai Jiao Tong University ranking, there are (in Germany) short notes in newspapers whenever some ranking appears (usually initiated by those who are ranked well) and then the ranking is forgotten.
Every year, the magazine U.S. News and World Reports publishes an extensive ranking of US institutions by subject. A few years ago, AMS was alarmed by the flawed methodology of these rankings and asked all chairs of math departments in the US not to provide data to the magazine. The ranking is still thriving and U.S. News sells more magazines because of it! There is not much we can do.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
-- Open WebMail Project (http://openwebmail.org)
Se siete d'accordo, mi rendo disponibile per questo coordinamento.
Roberto Battisto
On [DATE], "[NAME]" <[ADDRESS]> wrote:
come gia` vi dicevo fare un tale esperimento non e` vietato e quindi se ci sono i volontari e qualcuno che li coordina (non io) non vedo quale sia il problema
claudio
On Jan 16, 2009, at 10:25 AM, giovanni giacometti wrote:
Avevo mandato a Procesi un tentativo di carta di valutazione simile a quello di Traverso. Fatto sui documenti prodotti dai valutandi in modo che si eviti il problema delle omonimie etc. Sono comunque a disposizione come volontario se un simile tentativo verrà fatto. Deve esserci però uno, e uno solo, che detta i formati, le sorgenti etc. L'importante, come dicevo a Procesi, è che si stabilisca se questa strada vuole essere percorsa o no. Anche quì, come in altre questioni, il divario fra le opinioni della maggioranza dei matematici e di quella degli sperimentali è grande. Giovanni Giacometti
On Thu, 15 Jan 2009 23:58:18 +0100, Roberto Battiston wrote
Caro Procesi,
mi sembra una ottima idea, e credo interesserebbe a molti di noi, proprio nello spirito "sperimentale" a cui ti sei riferito. Si potrebbe cercare di implementare come dici tu partendo da dipartimenti italiani e continuando con confronti internazionali. Io offro volentieri il supporto informatico sul sito www.pubblicoergosum.org per mostrare in modo ordinato ed efficace i risultati di questi studi in forma di istogrammi o di tabelle.
Se il lavoro è distribuito si puo' fare anche a livello di volontariato, a patto che ci siano alcune semplici regole che tutti seguano in modo uniforme
Provo ad elencarle:
- uniformità dello strumento utilizzato. Per esempio proporrei
l'uso del data base di Google Scholar e non di ISI per la facilità di utilizzo gratuito dei programmi che producono h, e di conseguenza le interfacce online o il programma PoP (publish or perish) della Harzing.
- definizione dell'intervallo temporale: es tutto il periodo
coperto (fino al 2008), gli ultimi 20 anni, gli ultimi 10 anni
- un formato chiaro e semplice del risultato, da mettere in una
tabella excel con il seguente formato:
Settore disciplinare: 1-14, ssd: n
ordinario : ultimi 10 anni, ultimi 20 annni, tutto il periodo, da
quanti anni è nel ruolo (O, H1,H2,H3,Na) 2) associato: ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo (A, H1,H2,H3,Na) 3) ricercatore: ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo( R, H1,H2,H3,Na) 4) assegnista post doc: tutto il periodo, da quanti anni è laureato (Pod, H3, Na) 5) dottorando : tutto il periodo (Phd, H3)
es: 1,4,O,8,13,17,22 = matematico, sottosettore 4, Ordinario, h10=8, h20=13, htot=17, 22 anni dal concorso
- anonimato delle persone analizzate. Se uno fa l'analisi del suo
dipartimento, poi fornisce il risultato nella forma sopra riportato, ed evita di fare nomi e cognomi, per un motivo molto semplice, ci interessa capire se questa analisi puo' o meno dare dei risultati utili, non suscitare un vespaio di proteste su una procedura tutta da testare e capire.
- chiarezza e attenzione su come si gestiscono i nomi comuni, che
rendono difficile in alcuni casi togliere gli omonimi.....nessuno si offenderà se in questa fase i Paolo Rossi non verranno considerati.
- una policy semplice e chiara su questioni come ad esempio le
autocitazioni (meglio per ora lasciare perdere e non provare ad eliminarle)
Una volta che si concorda un formato di base, basterebbe un volontario per dipartimento e si possono davvero raccogliere un sacco di informazioni utili per una analisi fattuale, con un lavoro di poche ore.
Vi do un esempio, mi trovo proprio in questi giorni a presiedere un comitato di valutazione spagnolo per la ricerca in fisica. Ho la netta impressione che qiu i valori di h siano ben piu' alti che in Italia, ma non ne sono pero' sicuro al 100% e lo vorrei potere verificare. Ecco che un confronto di distribuzioni di h potrebbe essere molto utile.
Mi pare che qui ci sia pero' una attenzione ben maggiore alla selezione del personale della ricerca, se non altro per il fatto che si fanno valutare da un comitato fatto tutto da stranieri. E la cosa va avanti da 10 anni con successo. Di nuovo sarei curioso se questo sia o meno confermato dall' analisi bibliometrica.
Anche qui stanno iniziando ad usare h, e vi assicuro che è molto utile per capire al volo se si sta parlando di un gruppo di ricerca serio o di un gruppo di bocciofili pensionati.
Si prova a fare questo esercizio ?
Occorre capire se c'è un numero significativo (10-20 per iniziare ) di volontari; sono infatti convinto che se si inizia a fare questa cosa per bene, poi il numero di volontari aumenta.......chi è interessato basta che si faccia avanti...
Cordiali saluti
Roberto Battiston
On [DATE], "[NAME]" <[ADDRESS]> wrote:
mi chiedo se la discussione avuta sugli indicatori non si possa trasformare in un esperimento
Come sapete io nutro vari dubbi sugli indicatori ma in particolare i miei dubbi sono relativi all'uso che ne potrebbe fare la burocrazia ministeriale. Pero` e` chiaro che certi numeri che si possono ricavare al computer sono pubblici e quindi chiunque vuole puo` con un po di pazienza costruirli.
Una cosa che si potrebbe fare e` di estrarre tutti questi numeri
per tutti i dipartimenti Italiani seguendo alcune linee guida.
Poi magari a campione si potrebbe provare a confrontarli con qualche dipartimento straniero.
Trattandosi di un esperimento questo non ha altro valore che vedere cosa viene fuori. Io ho provato a prendere mathscinet e ho preso tutti i membri del mio dipartimento trovato quanti lavori hanno pubblicato da quale anno e con quante citazioni (poi l h-index nonho avuto tempo di farlo). Il lavoro si fa in circa tre ore. Il risultato che ho ottenuto ha piu o meno coinciso con le opinioni che avevo sui colleghi con alcuni punti interrogativi che sono emersi.
Poi uno potrebbe ampliare la ricerca e farla anche su google-- scholar o publish or perish etc. Io non sono esperto.
In particolare non ho idea di come cominciare (non dico per fare una cosa accurata) per le altre discipline.
Questo e` un lavoro che si potrebbe dare da fare praticamente ad una segretaria o un precario a pagamento.
Con questio dati
preparare quindi semplicemente dei quadri, questo una volta fissate le regole e` un lavoro da segretaria, con magari dei commenti questo e` un lavoro un po diverso. Questo immagino e` quello che fanno anche delle autoproclamate agenzie di confronto. Il problema naturalmente e` chiaro, ognuno puo` fare i ranking che vuole non e` proibito, naturalmente poi puo` essere ampiamente criticato su quali particolari parametri ha scelto ma fare uno studio semplicemente calcolando tanti parametri mi pare faccia parte del mondo della ricerca (sperimentale) e quindi e` semplicemente produrre dati aggregati e NON rankings. Certamente ufficializzare un particolare sistema di ranking puo` essere effettivamente molto pericoloso.
Vi mando uno scambio di idee avuto all'interno dell International Mahematical Union su questo.
Il tutto e` partito dalla Shanghai Jiao Tong University ranking di cui mando informazioni
> > Extract from FASTS newsletter: > > ranking - universities by subject fields > > Most of you will be familiar with the academic rankings of world > universities carried out by the Centre for World-Class > Universities of > Shanghai Jiao Tong University since 2003 (and the sturm und > drang it > generates in vice-chancellor and uni marketing circles). In 2007 > Jiao > Tong also ranked the top universities in 5 broad fields (natural > sciences and mathematics, engineering/technology and compute > science; > life and agricultural sciences; clinical medicine and > pharmacy; and > social sciences). > > In 2009, Jiao Tong propose to add a third ranking - > universities by > subject fields. The proposed fields include chemistry, physics, > mathematics, computer science and economics. > > Given the sensitivities of such rankings and the ever present > possibility of perverse distortions some societies may wish to > contact > the Centre for World-Class Universities of Jiao Tong Uni and/or > correspond with sister organisations in the US, Europe, Asia > etc to > assess the proposed ranking methodologies. > > In November 2009, the Center for World-Class Universities is > hosting > the > 3rd International Conference on World-Class Universities (WCU-3) > where > the 2009 rankings will be released. The conference will focus on > various > issues including Strategic planning and leadership of elite > higher > education institutions; Global market and institutional > policies for > the > promotion of academic talent; Quality assurance in the context of > undergraduate and graduate education; Institutional > initiatives for > research excellence and innovation and technology; Role of elite > universities in national higher education and research systems. > > Participants interested in presenting a contribution on one of > above-mentioned topics are invited to submit an abstract of up to > 2,000 > words by April 1, 2009. For further information, refer > http://gse.sjtu.edu.cn/WCU/WCU-3.htm > > > > > > >
ALCUNI COMMENTI DA MEMBRI DELL EC DELL IMU
> We can't prevent anyone > from ranking something. For instance, in Germany several > newspapers and several institutions produce rankings of > universities and of scientific fields and of university > departments. They often contradict each other. Those who > have a good ranking make "public noise", those who are at > the low end of the ranking suggest to ignore the results > because of the deficiencies of the ranking methodology. > Nobody has the time to fight against all these ranking > attempts. (One can easily employ a whole army of "ranking > fighters".) > > Of course, it may be dangerous if one ranking system > becomes dominant (such as the impact factor) and those > who base their (financial) decisions on such metrics > believe in this ranking system. That is why IMU initiated > the Citation Statistics report. > > Concerning the Shanghai Jiao Tong University ranking, > there are (in Germany) short notes in newspapers whenever > some ranking appears (usually initiated by those who are > ranked well) and then the ranking is forgotten.
Every year, the magazine U.S. News and World Reports publishes an extensive ranking of US institutions by subject. A few years ago, AMS was alarmed by the flawed methodology of these rankings and asked all chairs of math departments in the US not to provide data to the magazine. The ranking is still thriving and U.S. News sells more magazines because of it! There is not much we can do.
>
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
-- Open WebMail Project (http://openwebmail.org)
universitas_in_trasformazione@lists.dm.unipi.it
-
Alberto Lusiani -
claudio procesi -
giovanni giacometti -
P. Dimitri -
Patrizia Vitale -
Roberto Battiston