Salve.
E' la prima volta che intervengo su questa lista.
Da tutta l'esperienza fatta da me e da vari colleghi sinora analizzando CV di vari candidati e colleghi (sono un fisico teorico e la mia esperienza e' soprattutto nell'ambito della fisica, ma ad esempio per i finanziamenti dell'ateneo della scienza e della tecnologia della Sapienza abbiamo analizzato aree molto diverse) emergono mi sembra due cose chiare:
1. i vari parametri quantitativi che vanno di moda sono molto correlati fra loro. L'indice h e' probabilmente il miglior punto di partenza.
2. Valori ricavati, ad esempio, da ISI o da PoP (Publish or Perish, che io preferisco perche' non a pagamento e non proprietario) sono sempre diversi, ma estremamente correlati (la correlazione e' molto vicina ad uno): una classifica fatta con ISI e' tipicamente identica ad una fatta con PoP.
Naturalmente gli indicatori quantitativi devono essere solo un ausilio nelle mani di scienziati competenti che giudicano i loro pari, e le diverse aree o sotto aree non possono essere paragonate mediante questi parametri: pero' se nel mio campo succede che un giovane fisico teorico con un h=3 batte ad un concorso per ricercatore un altro giovane con h=16 io so, senza troppi dubbi, che c'e' stato un problema.
Cari saluti
Enzo Marinari
On Sun, Jan 11, 2009 at 6:35 PM, Vincenzo Fiorentini vincenzo.fiorentini@gmail.com wrote:
supposto che h sia una buona misura di impatto (e secondo me non e' male) mi risulta che ISI (http://www.isiwebofknowledge.com/) sia discretamente accurato nel calcolarlo automaticamente. E comunque per una lista di pubblicazioni di 50-100 lavori ci si mette (un commissario ci mette) 5 minuti a derivare l'indice a mano con la lista lavori su ISI. ISI va benissimo per la fisica. non so per altre discipline scientifiche. google scholar etc sono buoni ma incompleti.
Vincenzo Fiorentini
On 11 Jan 2009, at 6:27 PM, giovanni giacometti wrote:
Con tutti gli informatici e matematici che abbiamo, si può si può, SI DEVE!! Giovanni Giacometti
On Sun, 11 Jan 2009 16:46:53 +0100, Mauro Beltrametti wrote
Sarei sostanzialmente (o meglio, teoricamente) d'accordo, purche' fosse possibile trovare un algoritmo funzionante con precisione accettabile.
Il modo con cui a Genova (e credo altrove) viene calcolato il famigerato H-index e simili, si basa su
Publish or perish via Google Scholar e fornisce (per quel che mi risulta) risultati non sufficientemente affidabili (aggiunge e/o toglie lavori e
citazioni, differisce in modo consistente dal sito AMS, etc...). E' un programma --a mio parere-- troppo rozzo. E dubito se ne possano avere in tempi
finiti di piu' raffinati.
Anche se so perfettamente non essere opinione condivisa, ritengo sia meglio vincere o non vincere una un concorso a causa di una commissione che valuta umanamente
(e magari un po' liberamente) piuttosto che a causa di un computer, che difficilmente potra' essere dotato di un programma all'altezza.
Ovviamente, niente di male se, poi, la commissione tiene magari conto di un H-index <1 (e/o di uno >>0) ; questo si'.
Saluti,
Mauro Beltrametti
On 11/gen/09, at 16:22, giovanni giacometti wrote:
Cari tutti D'accordo con Vianello e con Sassi La valutazione deve essere fatta praticamente da un computer!!! Altrimenti in Italia non se ne esce Potranno variare i parametri per i diversi settori che comunque DEVONO ESSERE MOLTO VASTI!!! Questo punto DEVE ESSERE CONCORDATO presto Poi si cecherà l'algoritmo e i parametri Giovanni Giacometti
On Sun, 11 Jan 2009 11:28:01 +0100, Francesco Paolo Sassi wrote
Sono veramente sconcertato nel leggere quanto riferito da Vianello, sullle cui valutazioni concordo pienamente ed intimamente. Io credo che tra la soluzione proposta dalla Commissione Scientifica dell'UMI e la AUTOREFERENZIALITA' non ci sia una sostamziale differenza. Sono veramente sconcertato anche dal fatto che proprio i matematici, che dovrebbero avere una ovvia padronanza nel capire i limiti ma anche i messaggi di ogni indicatore bibliometrico, preferiscano buttarli a mare, anzichè sforzarsi di tenere obbligatoriamente presenti, come sfondo, un vettore di parametri bibliometrici, nel fare tutte le altre valutazioni autonome sulla qualita', l'originalita', il rilievo e la persistenza dei risultati scientifici ottenuti dai candidati. Francesco Sassi
At 18.44 09/01/2009, you wrote:
Cari colleghi,
ho visto oggi la mozione della Commissione Scientifica dell'UMI (Unione Matematica Italiana) relativa ai criteri di valutazione nei concorsi, che si puo' leggere per intero qui:
http://umi.dm.unibo.it/italiano/Varie/2008/varie12.html#citation
Se qualcuno era sorpreso da quanto uscito dal CUN relativamente alla matematica, direi che la sorgente e' tutta qui. Direi anzi che c'e' poco da prendersela col CUN, se gli input sono questi.
Per quanto questa mozione appaia pacata e ragionevole, contiene un aspetto che la rende a mio avviso controproducente (soprattutto perche' espressione di una societa' scientifica) anche alla luce del dibattito che si sta sviluppando per fortuna fuori dalle singole comunita' scientifiche (come quello nostro di universitas_in_trasformazione).
La sostanza e' che, appellandosi alla specificita' della matematica
"... nessun gruppo di parametri basati esclusivamente su dati bibliometrici (numero di citazioni, indice H, impact factor delle riviste su cui compaiono le pubblicazioni) puo', da solo, dare risultati affidabili nella valutazione dell'attivita' scientifica, pur costituendo un utile elemento di giudizio. La Commissione Scientifica dell'Unione Matematica Italiana auspica quindi che tra i parametri che verranno individuati dal Ministero figurino, in posizione predominante, la qualita', l'originalita', il rilievo e la persistenza dei risultati scientifici ottenuti dai candidati. Sulla base dell'esperienza internazionale, tali parametri non possono essere calcolati automaticamente a partire da dati statistici, ma possono essere determinati soltanto sulla base del parere di un gruppo di esperti della materia, che si assume la responsabilita' del giudizio scientifico. Nel caso delle valutazioni comparative per il reclutamento dei ricercatori, la soluzione piu' naturale affidare questo compito alla stessa commissione giudicatrice, che potrebbe, ove lo ritenesse opportuno, richiedere il parere di riconosciuti esperti internazionali."
Attenzione, non un singolo parametro bibliometrico, ma neppure un gruppo di parametri e' ritenuto affidabile. Teniamo presente che qui non ci si sta riferendo al confronto di un matematico con un fisico o un biologo, ma a concorsi che vedono candidati omogenei appartenenti ad uno stesso singolo ssd della matematica. Ovvero, per fare un esempio, se un candidato in un concorso di analisi numerica, in cui si confronta con altri analisti numerici, ha un vettore di parametri bibliometrici nettamente superiore agli altri in quella valutazione, bene, questo non e' affidabile a priori e ci si appella al solo giudizio degli esperti di turno (nominati chissa' come, magari per sorteggio), i quali soli sarebbero in grado di
determinare
"la qualita', l'originalita', il rilievo e la persistenza dei risultati scientifici ottenuti dai candidati". Attenzione, persino la persistenza, che mi sembra il tipico parametro non valutabile se non con indici bibliometrici.
Qualcuno dovrebbe spiegarmi cosa c'e' di nuovo in una presa di posizione di questo tipo. Quello che io leggo e': "lasciateci fare come si e' sempre fatto, che funziona bene". Anzi, all'inizio si legge addirittura: "Nel recente passato criteri di questo genere erano gia' stati adottati in maniera autonoma dalla stragrande maggioranza delle commissioni dei settori MAT/*." Per di piu', nel caso di concorsi a ricercatore, sarebbe addirittura la stessa commissione giudicatrice a poter decidere autonomamente se richiedere il parere di esperti internazionali (ne vedo gia' a frotte fare una cosa di questo genere).
Ovviamente non e' cosi' semplice, altrimenti perche' discuteremmo tanto di valutazioni e concorsi se le commissioni si fossero sempre comportate in modo cosi' trasparente e oggettivo? Io la vedo all'opposto: i vettori di parametri bibliometrici andrebbero usati pesantemente, a maggior ragione in valutazioni omogenee, e nel caso in cui una commissione ritenesse di far vincere un candidato che e' nettamente inferiore ad altri sula base di tali parametri, dovrebbe esplicitare questo fatto motivandone molto bene la superiorita' (nonostante i parametri oggettivi) e prendendosene tutta la responsabilita' di fronte alla comunita' scientifica. Adesso dubito che se non costretta dall'esterno, una qualche commissione di matematici fara' una cosa di questo tipo, avendo alle spalle la mozione dell'UMI.
Per fortuna in universitas_in_trasformazione ci stiamo muovendo in tutt'altra direzione (autonomia e valutazione), ma devo dire che se le societa' scientifiche nazionali cominciano a isolarsi nel rapporto con la politica come in questo caso, sara' comunque molto difficile cambiare le cose.
Saluti a tutti,
Marco Vianello associato di analisi numerica dip.to di matematica pura e applicata Universita' di Padova e-mail: marcov@math.unipd.it web page: www.math.unipd.it/~marcov
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie
impostazioni:
https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
--
Francesco P. SASSI Dipartimento Mineralogia e Petrologia,C.so Garibaldi, 37 - 35137 PADOVA (ITALY) Tel: +39-49-8272004 Fax: +39-49-8272010 E- mail: sassi@dmp.unipd..it
--
The reasonable man adapts himself to the world; the unreasonable one persists in adapting the world to himself. Therefore, all progress depends upon the unreasonable man. (George Bernard Shaw)
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie
impostazioni:
https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
-- Open WebMail Project (http://openwebmail.org)
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
Prof. Mauro Beltrametti Dipartimento di Matematica Universita' di Genova Via Dodecaneso, 35 16146 Genova Italy beltrametti@dima.unige.it
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie
impostazioni:
https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
-- Open WebMail Project (http://openwebmail.org)
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html