Saro' superficiale, ma sulla questione della valutazione e degli indicatori di qualita' a me sembrano emerse due distinte posizioni culturali:
- gli "sperimentali" (definizione di Giacometti), ovvero se capisco bene scienziati di aree in cui le teorie sono sempre e comunque sottoposte alla verifica sperimentale
- gli altri (la maggior parte dei matematici, aree umanistiche, ...)
Gli "sperimentali" credono in maggioranza nella possibilita' di "misurare" in modo oggettivo la qualita' della ricerca (parametri bibliometrici), gli altri sono in maggioranza pieni di dubbi (almeno in base alle mail che si vedono qui, e in parte anche in base alle risultanze del CUN).
Qualunque cosa ci raccontiamo, quali che siano i buoni propositi, il sistema della peer-review, da solo, in Italia non funziona, basti pensare alla gestione dei PRIN. Personalmente resto convinto che dovremmo farci aiutare dagli "sperimentali" a trovare strumenti di misura della qualita' della ricerca, adattati alle singole aree. Ma sembra che siamo ad un punto morto, i dubbi sembrano prevalere.
Come matematico dissento dall'atteggiamento mentale di molti miei colleghi, che consiste nel prendere un singolo parametro e smontarlo con opportuni controesempi (non difficili da trovare o da inventare). Forse questo e' intrinseco nell'essenza culturale di un matematico. Ma questo metodo puo' funzionare con un singolo parametro, molto meno se si considerasse una lista abbastanza lunga di parametri significativi, (h-index, g-index, n. max citazioni, IF medio, ...) normalizzati all'area o meglio al settore dell'area. Ad esempio, se uno ha scritto solo 10 lavori ne' l'h-index ne' il g-index possono superare quota 10, anche se uno di questi lavori ha avuto 1000 citazioni. Ma se si comincia a considerare anche il numero max di citazioni, le cose cambiano. E cosi' via ... I casi di scienziati outstanding il cui valore non sia riconosciuto da nessun parametro di una lista cominciano a diventare molto improbabili. E poi si continua a trascurare il fatto che in Italia c'e' da valutare una massa di ricercatori e di strutture, questa sarebbe una vera rivoluzione, non si puo' pensare sempre e solo al reclutamento e agli outstanding.
Quanto proposto da Battiston e' un ottimo punto di partenza, bisognerebbe trovare un volontario per ogni dipartimento (io sono disponibile per il mio che e' bello grosso, 120 persone), almeno per quanto riguarda i dipartimenti rappresentati in questa mailing list, e provare ad applicare come gia' proposto, per cominciare, l'h-index (con tutti i suoi pregi e difetti).
Forse arrivo in ritardo, ma ci sono novita' su questo? e' stata stabilita una procedura standard? una lista di volontari? sta partendo qualcosa?
Marco Vianello associato di analisi numerica dip.to di matematica pura e applicata Universita' di Padova e-mail: marcov@math.unipd.it web page: www.math.unipd.it/~marcov
At 10:36 +0100 19/1/09, Marco Vianello wrote:
Come matematico dissento dall'atteggiamento mentale di molti miei colleghi, che consiste nel prendere un singolo parametro e smontarlo con opportuni controesempi (non difficili da trovare o da inventare).
Secondo me sbagli, per almeno due motivi.
1: per ogni Einstein, che pubblica poco e viene citato dope vent'anni, devi sopportare altri cento fricchettoni ambiziosi che cacciano farfalle e alla fine non le acchiappano. In altre parole, se vuoi un sistema che produca un Einstein, hai bisogno di un sistema che supporti gente al di fuori degli indici per una parte sostanziosa (e non marginale, come sostieni tu, se non sbaglio).
2: l'introduzione degli indici altera il funzionamento del sistema, perche' limita la liberta` di ricerca e incoraggia quella rispecchiata dagli indici stessi, che diventano un'ulteriore forma di burocrazia.
Detto ancora in altre parole: a meno che tu non definisca indici che misurano nell'arco di vent'anni o piu`, non riuscirai a catturare la parte di ricerca piu` innovativa e creativa, cioe' quella che richiede tempo per essere apprezzata (punto 1). E come si possono usare indici su vent'anni per valutare reclutamenti e finanziamenti?
Riguardo al punto 2: considera solo i danni che gia` sta facendo il publish or perish. A parte dove ci sono forti personalita` di scienziati indipendenti (bene) o nepotisti (male), si recluta gia` ora contando il numero di articoli e citazioni, col risultato che schiere di replicanti replicano se' stessi e i loro articoli, che peraltro nessuno legge anche se molti citano perche' cosi` alzano l'h degli amici, eccetera. Metti l'h per legge e peggiori la situazione di molto. Gia` vedo articoli che ne citano trecento altri dei loro amici, che contraccambiano, con tutti gli svantaggi immaginabili. E cosa risolvi?
A proposito degli esperimenti in corso, dove mi sembra di capire che si cerchi di giudicare se gli indici, magari in combinazione tra loro, rispecchiano il `valore reale' di un singolo o di un dipartimento: benissimo, ma il giudizio sulla corrispondenza tra numerino e `valore reale', facciamolo fare a un comitato di premi Nobel, se no non possiamo fidarci. O sbaglio?
TOTALE: imporre gli indici per legge al posto del peer reviewing significa distruggere le discipline piu` creative, cioe' quelle teoriche, e abbassare il livello delle altre. Non lo fa nessun paese al mondo. Perche' lo vogliamo fare noi italiani? Sara` che, come al solito, pensiamo di essere speciali e magari peggio degli altri?
Ma invece, copiamo il modello francese o quello inglese e avremo universita` come le loro.
(Lo so che ci stiamo ripetendo, ma gli indici bibliometrici sono il nemico numero uno: i manager sono molto piu` pericolosi dei nepotisti, occorre resistere!)
-AG
Saro' superficiale, ma sulla questione della valutazione e degli indicatori di qualita' a me sembrano emerse due distinte posizioni culturali:
- gli "sperimentali" (definizione di Giacometti), ovvero se
capisco bene scienziati di aree in cui le teorie sono sempre e comunque sottoposte alla verifica sperimentale
- gli altri (la maggior parte dei matematici, aree umanistiche, ...)
Gli "sperimentali" credono in maggioranza nella possibilita' di "misurare" in modo oggettivo la qualita' della ricerca (parametri bibliometrici), gli altri sono in maggioranza pieni di dubbi (almeno in base alle mail che si vedono qui, e in parte anche in base alle risultanze del CUN).
Caro Marco,
credo che la posizione dei matematici sia piu` complessa. Lungi dal poter essere io portavoce della comunita` matematica, ti dico la mia:
- Personalmente, credo che parametri oggettivi di valutazione dovrebbero essere utilizzati almeno per una prima selezione (di candidati e di commissari). Ammetto che cio` non sia molto scientifico (i lavori bisognerebbe leggerli e non misurarli), ma in un paese come il nostro c'e' molto bisogno di criteri deterministici per evitare pastette. E, in ogni caso, nessun commissario puo` davvero leggere tutto.
- In matematica, secondo me, contare le citazioni non e` un indice appropriato. Questo perche` il numero di citazioni di un matematico e` in media piuttosto basso e si tratta quindi di un indice piuttosto falsificabile (io cito mio zio che cita me...). Pero` due numeri interessanti sono il totale e la media dell'IF delle riviste su cui un matematico pubblica. L'IF e` sicuramente un indice molto rozzo (falsificabile come sopra e, mi dicono, a volte anche erroneamente misurato), ma a me sembra dare risultati ragionevoli a meno di un fattore 2 (il che, purtroppo, di questi tempi non e` male): e se usato per un numero sufficiente di lavori, l'errore si media.
- Un indice analogo, ma forse piu` accurato dell'IF mi dicono essere l'eigenfactor http://www.eigenfactor.org/ In piu`, e` disponibile gratuitamente.
Ciao, E.
Permettetemi di dire che la "valutazione" dei progetti Prin degli ultimi anni non ha nulla a che vedere con il peer-review, si tratta di un null-review......
Qualunque cosa ci raccontiamo, quali che siano i buoni propositi, il sistema della peer-review, da solo, in Italia non funziona, basti pensare alla gestione dei PRIN.
On Mon, January 19, 2009 4:40 pm, P. Dimitri wrote:
Permettetemi di dire che la "valutazione" dei progetti Prin degli ultimi anni non ha nulla a che vedere con il peer-review, si tratta di un null-review.....
CONCORDO PIENAMENTE, SONO STATO NELLA COMMISSIONE PRIN 2006 ED E` STATA LA PEGGIORE ESPERIENZA DI "VALUTAZZIONE" DELLA MIA VITA. Sono stato anche nel CIVR che invece ha funzionato con il metodo della Peer Review. Il problema e` che in Italia il metodo della peer review non e` stato mai veramente usato tranne nel caso Civr.
.
Qualunque cosa ci raccontiamo, quali che siano i buoni propositi, il sistema della peer-review, da solo, in Italia non funziona, basti pensare alla gestione dei PRIN.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Il problema e` che in Italia il metodo della peer review non e` stato mai veramente usato tranne nel caso Civr.
Io credo pero` che il metodo della peer review (che, intendiamoci, e` quello giusto!) sia piu` efficace se sia preceduto da una prima scrematura ottenuta con brutali metodi deterministici. Cosi` i commissari avrebbero meno candidati da peerrevieware e lo potrebbero fare meglio. Inoltre, un minimo di criteri deterministici nella selezione dei peerreviewer potrebbe evitare che ci siano commissari con 0 (zero) pubblicazioni (in Italia, sembra, sia successo spesso anche questo)...
Ciao, E,
Sì, i Prin sono un vero disastro! E¹ una situazione dove si dovrebbe intervenire con urgenza.
Anche quest¹anno assisteremo al solito massacro, pochi soldi, pochi progetti finanziati con fondi ridotti rispetto alla richiesta, progetti stroncati sulla base di giudizi superficiali e spesso contraddittori. I fondi dovrebbero essere almeno raddoppati, da 90 a 180 milioni di euro, i revisori scelti in modo appropriato, con una buona rappresentanza di stranieri, almeno per isettori scientifici e la valutazione condotta secondo un vero e approfondito peer-review.
Basterebbe che al Mur ci fosse qualche persona seria (ossimoro), dotata di un livello normale di comprendonio per assegnare i progetti a revisori competenti utilizzando con raziocinio le parole chiave. Evitando, ad esempio, quello che è successo l¹anno scorso per le Scienze Bioogiche, dove un genetista umano si è visto arrivare un progetto di Ecologia marina, poi rimandato al mittente. Il collega, persona seria, non se l¹è sentita, ma quanti altri invece avranno giudicato progetti di cui sapevano poco o nulla? Corre anche voce che alcuni direttori generali facciano il bello e cattivo tempo e che certi progetti siano dirottati in mani ³amiche²......altro che parole chiave, revisori anonimi, peer-review........
Il comitato dei ³saggi² è responsabile dei problemi nelle assegnazioni e andrebbe rivisto; i membri sono sempre ³suggeriti² dal CUN e sempre dalle stesse aree; nelle scienze biologiche sempre farmacologi o biochimici, con tutto il rispetto, sarebbe ora di un ricambio. Non so cosa accada nella Fisica o nella Matematica o in ambito umanistico............
Saluti a tutti!
Patrizio Dimitri
On Mon, January 19, 2009 4:40 pm, P. Dimitri wrote:
Permettetemi di dire che la "valutazione" dei progetti Prin degli ultimi anni non ha nulla a che vedere con il peer-review, si tratta di un null-review.....
CONCORDO PIENAMENTE, SONO STATO NELLA COMMISSIONE PRIN 2006 ED E` STATA LA PEGGIORE ESPERIENZA DI "VALUTAZZIONE" DELLA MIA VITA. Sono stato anche nel CIVR che invece ha funzionato con il metodo della Peer Review. Il problema e` che in Italia il metodo della peer review non e` stato mai veramente usato tranne nel caso Civr.
Temo, invece, che qualche direttore generale del Miur abbia la possibilit àd idirottare i porgetti a revisori ³amici²
.
Qualunque cosa ci raccontiamo, quali che siano i buoni propositi, il sistema della peer-review, da solo, in Italia non funziona, basti pensare alla gestione dei PRIN.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
At 19:26 +0100 19.01.2009, P. Dimitri wrote:
Sì, i Prin sono un vero disastro! ... Non so cosa accada ... in ambito umanistico............
Di tutto un po'. Se poi pensate che l'area nella quale mi trovo comprende le "Scienze storiche, filosofiche, pedagogiche e psicologiche" potete facilmente immaginare.
- Maurizio Tirassa
ieri a Bologna c'è stato un forum promosso dalla Federazione Italiana delle Scienze della Terra (FIST) sulla valutazione della ricerca, che ha affrontato vari temi, tra cui la valutazione dei prodotti non censiti secondo gli standard ISI (rilevanti nelle Scienze della Terra, es. carte geologiche) e la valutazione dei PRIN le lamentazioni sono state più o meno del tipo che riporta Dimitri e altri un (parziale) rimedio che è stato proposto è la procedura seguente: la FIST, dopo ampia consultazione (e non senza qualche polemica....), ha proposto al CUN, alla CRUI e al MIUR una rosa di nove nomi, invitando a scegliere tra questi il garante per l'area 04 (naturalmente non c'è nessuna certezza che ciò avvenga, ma da contatti informali ci sono buone speranze). Le suddette persone si sono impegnate a (tentare di) applicare una procedura condivisa di referaggio, comprendente l'aggiornamento della lista dei revisori (anche al di fuori dell'Albo, sembra che ciò sia possibile a discrezione dei garanti, e sarebbe fondamentale per coinvolgere un congruo numero di revisori stranieri, che nell'albo attuale sono assolutamente insufficienti, almeno nelle scienze della Terra) l'aggiornamento della lista comprenderebbe anche una scheda per la verifica delle competenze (parole chiave, elenco significativo di pubblicazioni, qualcuno addirittura ha proposto di esplicitare per ogni revisore l'h-index) non è detto che il sistema funzioni in modo ottimale, sopratutto perchè è stato discusso, senza trovare una soluzione pratica soddisfacente, il problema delle valutazioni "biased" da parte dei revisori Piero Lattanzi
-------------------------------------------------- From: "P. Dimitri" liviapat@inwind.it Sent: Monday, January 19, 2009 7:26 PM To: "Università e Ricerca procesi@mat.uniroma1.it, Forum" universitas_in_trasformazione@mail.dm.unipi.it Subject: Re: [Universitas_in_trasformazione] 'sperimentali' e non
Sì, i Prin sono un vero disastro! E¹ una situazione dove si dovrebbe intervenire con urgenza.
Anche quest¹anno assisteremo al solito massacro, pochi soldi, pochi progetti finanziati con fondi ridotti rispetto alla richiesta, progetti stroncati sulla base di giudizi superficiali e spesso contraddittori. I fondi dovrebbero essere almeno raddoppati, da 90 a 180 milioni di euro, i revisori scelti in modo appropriato, con una buona rappresentanza di stranieri, almeno per isettori scientifici e la valutazione condotta secondo un vero e approfondito peer-review.
Basterebbe che al Mur ci fosse qualche persona seria (ossimoro), dotata di un livello normale di comprendonio per assegnare i progetti a revisori competenti utilizzando con raziocinio le parole chiave. Evitando, ad esempio, quello che è successo l¹anno scorso per le Scienze Bioogiche, dove un genetista umano si è visto arrivare un progetto di Ecologia marina, poi rimandato al mittente. Il collega, persona seria, non se l¹è sentita, ma quanti altri invece avranno giudicato progetti di cui sapevano poco o nulla? Corre anche voce che alcuni direttori generali facciano il bello e cattivo tempo e che certi progetti siano dirottati in mani ³amiche²......altro che parole chiave, revisori anonimi, peer-review........
Il comitato dei ³saggi² è responsabile dei problemi nelle assegnazioni e andrebbe rivisto; i membri sono sempre ³suggeriti² dal CUN e sempre dalle stesse aree; nelle scienze biologiche sempre farmacologi o biochimici, con tutto il rispetto, sarebbe ora di un ricambio. Non so cosa accada nella Fisica o nella Matematica o in ambito umanistico............
Saluti a tutti!
Patrizio Dimitri
On Mon, January 19, 2009 4:40 pm, P. Dimitri wrote:
Permettetemi di dire che la "valutazione" dei progetti Prin degli ultimi anni non ha nulla a che vedere con il peer-review, si tratta di un null-review.....
CONCORDO PIENAMENTE, SONO STATO NELLA COMMISSIONE PRIN 2006 ED E` STATA LA PEGGIORE ESPERIENZA DI "VALUTAZZIONE" DELLA MIA VITA. Sono stato anche nel CIVR che invece ha funzionato con il metodo della Peer Review. Il problema e` che in Italia il metodo della peer review non e` stato mai veramente usato tranne nel caso Civr.
Temo, invece, che qualche direttore generale del Miur abbia la possibilit àd idirottare i porgetti a revisori ³amici²
.
Qualunque cosa ci raccontiamo, quali che siano i buoni propositi, il sistema della peer-review, da solo, in Italia non funziona, basti pensare alla gestione dei PRIN.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Nessun virus nel messaggio in arrivo. Controllato da AVG - http://www.avg.com Versione: 8.0.176 / Database dei virus: 270.10.9/1902 - Data di rilascio: 19/01/2009 9.37
Ti faccio i miei migliori auguri! Per curiosità, Enzo Boschi avrà o ha avuto un ruolo nel gestire questa valutazione? Te lo chiedo perchè la sua fama non è delle migliori ..... Leggi il link sottostante http://www.lastampa.it/_web/CMSTP/tmplrubriche/giornalisti/grubrica.asp?ID_b log=124&ID_articolo=405&ID_sezione=274&sezione=
Saluti
ieri a Bologna c'è stato un forum promosso dalla Federazione Italiana delle Scienze della Terra (FIST) sulla valutazione della ricerca, che ha affrontato vari temi, tra cui la valutazione dei prodotti non censiti secondo gli standard ISI (rilevanti nelle Scienze della Terra, es. carte geologiche) e la valutazione dei PRIN le lamentazioni sono state più o meno del tipo che riporta Dimitri e altri un (parziale) rimedio che è stato proposto è la procedura seguente: la FIST, dopo ampia consultazione (e non senza qualche polemica....), ha proposto al CUN, alla CRUI e al MIUR una rosa di nove nomi, invitando a scegliere tra questi il garante per l'area 04 (naturalmente non c'è nessuna certezza che ciò avvenga, ma da contatti informali ci sono buone speranze). Le suddette persone si sono impegnate a (tentare di) applicare una procedura condivisa di referaggio, comprendente l'aggiornamento della lista dei revisori (anche al di fuori dell'Albo, sembra che ciò sia possibile a discrezione dei garanti, e sarebbe fondamentale per coinvolgere un congruo numero di revisori stranieri, che nell'albo attuale sono assolutamente insufficienti, almeno nelle scienze della Terra) l'aggiornamento della lista comprenderebbe anche una scheda per la verifica delle competenze (parole chiave, elenco significativo di pubblicazioni, qualcuno addirittura ha proposto di esplicitare per ogni revisore l'h-index) non è detto che il sistema funzioni in modo ottimale, sopratutto perchè è stato discusso, senza trovare una soluzione pratica soddisfacente, il problema delle valutazioni "biased" da parte dei revisori Piero Lattanzi
From: "P. Dimitri" liviapat@inwind.it Sent: Monday, January 19, 2009 7:26 PM To: "Università e Ricerca procesi@mat.uniroma1.it, Forum" universitas_in_trasformazione@mail.dm.unipi.it Subject: Re: [Universitas_in_trasformazione] 'sperimentali' e non
Sì, i Prin sono un vero disastro! E¹ una situazione dove si dovrebbe intervenire con urgenza.
Anche quest¹anno assisteremo al solito massacro, pochi soldi, pochi progetti finanziati con fondi ridotti rispetto alla richiesta, progetti stroncati sulla base di giudizi superficiali e spesso contraddittori. I fondi dovrebbero essere almeno raddoppati, da 90 a 180 milioni di euro, i revisori scelti in modo appropriato, con una buona rappresentanza di stranieri, almeno per isettori scientifici e la valutazione condotta secondo un vero e approfondito peer-review.
Basterebbe che al Mur ci fosse qualche persona seria (ossimoro), dotata di un livello normale di comprendonio per assegnare i progetti a revisori competenti utilizzando con raziocinio le parole chiave. Evitando, ad esempio, quello che è successo l¹anno scorso per le Scienze Bioogiche, dove un genetista umano si è visto arrivare un progetto di Ecologia marina, poi rimandato al mittente. Il collega, persona seria, non se l¹è sentita, ma quanti altri invece avranno giudicato progetti di cui sapevano poco o nulla? Corre anche voce che alcuni direttori generali facciano il bello e cattivo tempo e che certi progetti siano dirottati in mani ³amiche²......altro che parole chiave, revisori anonimi, peer-review........
Il comitato dei ³saggi² è responsabile dei problemi nelle assegnazioni e andrebbe rivisto; i membri sono sempre ³suggeriti² dal CUN e sempre dalle stesse aree; nelle scienze biologiche sempre farmacologi o biochimici, con tutto il rispetto, sarebbe ora di un ricambio. Non so cosa accada nella Fisica o nella Matematica o in ambito umanistico............
Saluti a tutti!
Patrizio Dimitri
On Mon, January 19, 2009 4:40 pm, P. Dimitri wrote:
Permettetemi di dire che la "valutazione" dei progetti Prin degli ultimi anni non ha nulla a che vedere con il peer-review, si tratta di un null-review.....
CONCORDO PIENAMENTE, SONO STATO NELLA COMMISSIONE PRIN 2006 ED E` STATA LA PEGGIORE ESPERIENZA DI "VALUTAZZIONE" DELLA MIA VITA. Sono stato anche nel CIVR che invece ha funzionato con il metodo della Peer Review. Il problema e` che in Italia il metodo della peer review non e` stato mai veramente usato tranne nel caso Civr.
Temo, invece, che qualche direttore generale del Miur abbia la possibilit àd idirottare i porgetti a revisori ³amici²
.
Qualunque cosa ci raccontiamo, quali che siano i buoni propositi, il sistema della peer-review, da solo, in Italia non funziona, basti pensare alla gestione dei PRIN.
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Nessun virus nel messaggio in arrivo. Controllato da AVG - http://www.avg.com Versione: 8.0.176 / Database dei virus: 270.10.9/1902 - Data di rilascio: 19/01/2009 9.37
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Caro Vianello,
sto raccogliendo volontari, il formato è praticamente quello che ho proposto nel mail scorso.
I volontari sono per ora:
Enzo Marinari enzo.marinari@uniroma1.it giovanni giacometti g.giacometti@chfi.unipd.it Marco Vianello marcov@math.unipd.it
Riusciamo ad arrivare a 10 ?
Per non appesantire questo forum, invito i futuri volontari a contattarmi in privato.
I criteri proposti sono :
1) insisterei per questo esperimento nell' usare google scholar (nonostante i commenti sui limiti di questo database) data la sua facilità di accesso e di interrogarlo con il programma PoP (publish or perish) della Harzing (che funziona su PC, per chi ha il mac o mette su parallels, o usa interfacce simili che si trovano direttamente in rete).
2) definizione dell'intervallo temporale: es tutto il periodo coperto (fino al 2008), gli ultimi 20 anni, gli ultimi 10 anni, gli ultimi 5 anni.
3) un formato semplice da mettere su tabella excel:
0) Settore disciplinare: 1-14, ssd: n
1) ordinario : ultimi 5 anni, ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo (O, H1,H2,H3,H4,Na) 2) associato: ultimi 5 anni, ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo (A, H1,H2,H3, H4, Na) 3) ricercatore: ultimi 5 anni, ultimi 10 anni, ultimi 20 annni, tutto il periodo, da quanti anni è nel ruolo( R, H1,H2,H3, H4,Na) 4) assegnista post doc: tutto il periodo, da quanti anni è laureato (Pod, H3, Na) 5) dottorando : tutto il periodo (Phd, H3)
es: 1,4,O,5,8,13,17,22 = matematico, sottosettore 4, Ordinario, h5=4, h10=8, h20=13, htot=17, 22 anni in ruolo
4) anonimato delle persone analizzate.
5) togliere gli omonimi.....nessuno si offenderà se in questa fase i Paolo Rossi non verranno considerati, magari elencando che se ne sono stati tolti n dal gruppo analizzato. Lasciare invece i riferimenti al Dipartimento/Università.
6) per ora non si affronta il problema della autocitazione
7) onde evitare polemiche, affermiamo sempre che i dati analizzati sono da considerare un best effort e che siamo pronti a confrontarci con chiunque vorrà proporre una rianalisi dello stesso campione.
8) si inizia ciascuno dal proprio dipartimento. Poi vediamo cosa succede. I dati vengono pubblicati a forma di tabelle ed istogrammi in apposite pagine di www.pubblicoergosum.org
RB
On [DATE], "[NAME]" <[ADDRESS]> wrote:
Quanto proposto da Battiston e' un ottimo punto di partenza, bisognerebbe trovare un volontario per ogni dipartimento (io sono disponibile per il mio che e' bello grosso, 120 persone), almeno per quanto riguarda i dipartimenti rappresentati in questa mailing list, e provare ad applicare come gia' proposto, per cominciare, l'h-index (con tutti i suoi pregi e difetti).
Forse arrivo in ritardo, ma ci sono novita' su questo? e' stata stabilita una procedura standard? una lista di volontari? sta partendo qualcosa?
Marco Vianello associato di analisi numerica dip.to di matematica pura e applicata Universita' di Padova e-mail: marcov@math.unipd.it web page: www.math.unipd.it/~marcov
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Caro Battiston, sarei interessato a partecipare all'esperimento sui fattori bibliometrici. Faccio parte di un dipartimento che aveva ottenuto una buona valutazione da parte del CIVR (la nostra facoltà di Ingegneria era seconda in Italia per le piccole sedi) e potrebbe essere interessante confrontare i risultati con un metodo puramente statistico. Non mi è chiaro però il punto 0: il SSD va sulla stessa riga di ogni esaminato o la valutazione viene fatta per gruppi di SDD? Grazie, Marco Mucciarelli
Prof. Marco Mucciarelli DiSGG - Università della Basilicata Viale dell'Ateneo Lucano 10 85100 Potenza PZ (Italy) tel +39 0971205094 fax +39 0971205070 cel +39 3293606180 marco.mucciarelli@unibas.it
Bravo Marco, da parte mia sto attendendo istruzioni Giovanni Giacometti
On Mon, 19 Jan 2009 10:36:33 +0100 (CET), Marco Vianello wrote
Saro' superficiale, ma sulla questione della valutazione e degli indicatori di qualita' a me sembrano emerse due distinte posizioni culturali:
- gli "sperimentali" (definizione di Giacometti), ovvero se
capisco bene scienziati di aree in cui le teorie sono sempre e comunque sottoposte alla verifica sperimentale
- gli altri (la maggior parte dei matematici, aree umanistiche, ...)
Gli "sperimentali" credono in maggioranza nella possibilita' di "misurare" in modo oggettivo la qualita' della ricerca (parametri bibliometrici), gli altri sono in maggioranza pieni di dubbi (almeno in base alle mail che si vedono qui, e in parte anche in base alle risultanze del CUN).
Qualunque cosa ci raccontiamo, quali che siano i buoni propositi, il sistema della peer-review, da solo, in Italia non funziona, basti pensare alla gestione dei PRIN. Personalmente resto convinto che dovremmo farci aiutare dagli "sperimentali" a trovare strumenti di misura della qualita' della ricerca, adattati alle singole aree. Ma sembra che siamo ad un punto morto, i dubbi sembrano prevalere.
Come matematico dissento dall'atteggiamento mentale di molti miei colleghi, che consiste nel prendere un singolo parametro e smontarlo con opportuni controesempi (non difficili da trovare o da inventare) . Forse questo e' intrinseco nell'essenza culturale di un matematico. Ma questo metodo puo' funzionare con un singolo parametro, molto meno se si considerasse una lista abbastanza lunga di parametri significativi, (h-index, g-index, n. max citazioni, IF medio, ...) normalizzati all'area o meglio al settore dell'area. Ad esempio, se uno ha scritto solo 10 lavori ne' l'h-index ne' il g-index possono superare quota 10, anche se uno di questi lavori ha avuto 1000 citazioni. Ma se si comincia a considerare anche il numero max di citazioni, le cose cambiano. E cosi' via ... I casi di scienziati outstanding il cui valore non sia riconosciuto da nessun parametro di una lista cominciano a diventare molto improbabili. E poi si continua a trascurare il fatto che in Italia c'e' da valutare una massa di ricercatori e di strutture, questa sarebbe una vera rivoluzione, non si puo' pensare sempre e solo al reclutamento e agli outstanding.
Quanto proposto da Battiston e' un ottimo punto di partenza, bisognerebbe trovare un volontario per ogni dipartimento (io sono disponibile per il mio che e' bello grosso, 120 persone), almeno per quanto riguarda i dipartimenti rappresentati in questa mailing list, e provare ad applicare come gia' proposto, per cominciare, l'h- index (con tutti i suoi pregi e difetti).
Forse arrivo in ritardo, ma ci sono novita' su questo? e' stata stabilita una procedura standard? una lista di volontari? sta partendo qualcosa?
Marco Vianello associato di analisi numerica dip.to di matematica pura e applicata Universita' di Padova e-mail: marcov@math.unipd.it web page: www.math.unipd.it/~marcov
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
-- Open WebMail Project (http://openwebmail.org)
universitas_in_trasformazione@lists.dm.unipi.it
-
Alessio Guglielmi -
claudio procesi -
Enrico Valdinoci -
giovanni giacometti -
Marco Mucciarelli -
Marco Vianello -
Maurizio Tirassa -
P. Dimitri -
Patrizio Dimitri -
Piero Lattanzi -
Roberto Battiston