Ho confrontato, con l'aiuto della nostra bibliotecaria, Publish or Perish, Web of Science e Mathematical Review. In particolare abbiamo guardato per me stessa e a parita' di h-factor 11 su Publish or Perish e su Web of Science, gli articoli coinvolti nel totale risultano diversi, inoltre il numero di citazioni cambia da un caso all'altro. Esiste anche un problema legato all'identificazione dell'autore (piu' facile con il Web of Science). I risultati cambiano secondo come si digitano i nomi. Spesso solo l'autore e' in grado di distinguere casi di omonimia.
Mathematical Review mi sembra il meno affidabile: lavori che so citati (in ambito matematico e su riviste matematiche) non risultano avere citazioni, per motivi che mi sono oscuri. Inoltre mancano tutte le citazioni su riviste non matemtiche (ma magari border line con la Matematica tipo Biological Cybernetics o Neural Computation).
Publish or Perish tende a trovare tutto, anche preprint e archive (cosi lo stesso lavoro compare piu' volte) ma perde riviste a pagamento.
Web of Science, forse, e' il piu' affidabile ma anch'esso manca di alcune riviste a pagamento (non so il motivo) e, almeno a Torino, si ferma al 1991 perdendo lavori precedenti che magari sono molto citati.
Esiste quindi un problema tecnico: volendo usare per concorsi strumenti tipo h-factor occorrerebbe un'autocertificazione dei candidati che elencassero le citazioni che hanno avuto. DIversamente si rischierebbe di danneggiare qualcuno perche' il sistema usato e' troppo rozzo.
Personalmente non credo che questi indici possano ne' debbano creare automatismi in situazioni concorsuali: farlo innescherebbe situazioni pericolose e scientificamente negative. Mi sembrerebbe pericoloso un concorso svolto in questo modo (ne' questo avviene in alcuna parte del mondo da quanto mi risulta). Credo che gli indici debbano essere parte integrante del giudizio e che una commissione non dovrebbe essere autoreferenziale e che se dovesse decidere diversamente da quanto gli indici suggeriscono dovrebbe giustificare molto ampliamente.Per capirsi: non mi sentirei pero' di decidere che un candidato con h-factor 9 e' "peggiore" di uno con h-factor 11. Me la sentirei di piu' se avesse 5 contro 11.
Concludo spendendo qualche parola a favore di quanto uscito dal lavoro dei presidenti di CCS (cui ho partecipato) che e' stato l'input per il CUN. Guardando i cv interni ai vari settori della matematica escono situazioni variegate: algebristi e numerici non potranno mai avere indici simili. Accanto a questo esiste una resistenza enorme da parte di colleghi a introdurre indici: la linea proposta nasce dall'esigenza di cominciare a proporre qualcosa di quantitativo, nella speranza di andare oltre successivamente. Per quanto io non vedessi male indici bibliometrici, colleghi (sicuramente seri e scientificamente molto attivi) li hanno ritenuti totalemente inadatit alla matemtica. Io ho letto questa posizione come legata a settori diversi dal mio (probabilita'), mi farebbe piacere sapere se altri tra voi ritengono possibile usare tali indici per esempio per algebra o geometria. Nello stesso tempo si e' cercato di passare un documento condiviso da molti evitando forzature che ne avrebbero determinato il rifiuto. Tutto e' migliorabile, forse pero' occorrerebbe studiare "matematicamente" questi indici, capendone meglio pregi e limiti (qualcosa esiste nella letteratura scientifica ed era citato nel documento dei presidenti di CCS)
Laura Sacerdote
2009/1/11 Mauro Beltrametti beltrame@dima.unige.it
Sarei sostanzialmente (o meglio, teoricamente) d'accordo, purche' fosse possibile trovare un algoritmo funzionante con precisione accettabile.
Il modo con cui a Genova (e credo altrove) viene calcolato il famigerato H-index e simili, si basa su
Publish or perish via Google Scholar e fornisce (per quel che mi risulta) risultati non sufficientemente affidabili (aggiunge e/o toglie lavori e
citazioni, differisce in modo consistente dal sito AMS, etc...). E' un programma --a mio parere-- troppo rozzo. E dubito se ne possano avere in tempi
finiti di piu' raffinati.
Anche se so perfettamente non essere opinione condivisa, ritengo sia meglio vincere o non vincere una un concorso a causa di una commissione che valuta umanamente
(e magari un po' liberamente) piuttosto che a causa di un computer, che difficilmente potra' essere dotato di un programma all'altezza.
Ovviamente, niente di male se, poi, la commissione tiene magari conto di un H-index <1 (e/o di uno >>0) ; questo si'.
Saluti,
Mauro Beltrametti
On 11/gen/09, at 16:22, giovanni giacometti wrote:
Cari tutti D'accordo con Vianello e con Sassi La valutazione deve essere fatta praticamente da un computer!!! Altrimenti in Italia non se ne esce Potranno variare i parametri per i diversi settori che comunque DEVONO ESSERE MOLTO VASTI!!! Questo punto DEVE ESSERE CONCORDATO presto Poi si cecherà l'algoritmo e i parametri Giovanni Giacometti
On Sun, 11 Jan 2009 11:28:01 +0100, Francesco Paolo Sassi wrote
Sono veramente sconcertato nel leggere quanto riferito da Vianello, sullle cui valutazioni concordo pienamente ed intimamente. Io credo che tra la soluzione proposta dalla Commissione Scientifica dell'UMI e la AUTOREFERENZIALITA' non ci sia una sostamziale differenza. Sono veramente sconcertato anche dal fatto che proprio i matematici, che dovrebbero avere una ovvia padronanza nel capire i limiti ma anche i messaggi di ogni indicatore bibliometrico, preferiscano buttarli a mare, anzichè sforzarsi di tenere obbligatoriamente presenti, come sfondo, un vettore di parametri bibliometrici, nel fare tutte le altre valutazioni autonome sulla qualita', l'originalita', il rilievo e la persistenza dei risultati scientifici ottenuti dai candidati. Francesco Sassi
At 18.44 09/01/2009, you wrote:
Cari colleghi,
ho visto oggi la mozione della Commissione Scientifica dell'UMI (Unione Matematica Italiana) relativa ai criteri di valutazione nei concorsi, che si puo' leggere per intero qui:
http://umi.dm.unibo.it/italiano/Varie/2008/varie12.html#citation
Se qualcuno era sorpreso da quanto uscito dal CUN relativamente alla matematica, direi che la sorgente e' tutta qui. Direi anzi che c'e' poco da prendersela col CUN, se gli input sono questi.
Per quanto questa mozione appaia pacata e ragionevole, contiene un aspetto che la rende a mio avviso controproducente (soprattutto perche' espressione di una societa' scientifica) anche alla luce del dibattito che si sta sviluppando per fortuna fuori dalle singole comunita' scientifiche (come quello nostro di universitas_in_trasformazione).
La sostanza e' che, appellandosi alla specificita' della matematica
"... nessun gruppo di parametri basati esclusivamente su dati bibliometrici (numero di citazioni, indice H, impact factor delle riviste su cui compaiono le pubblicazioni) puo', da solo, dare risultati affidabili nella valutazione dell'attivita' scientifica, pur costituendo un utile elemento di giudizio. La Commissione Scientifica dell'Unione Matematica Italiana auspica quindi che tra i parametri che verranno individuati dal Ministero figurino, in posizione predominante, la qualita', l'originalita', il rilievo e la persistenza dei risultati scientifici ottenuti dai candidati. Sulla base dell'esperienza internazionale, tali parametri non possono essere calcolati automaticamente a partire da dati statistici, ma possono essere determinati soltanto sulla base del parere di un gruppo di esperti della materia, che si assume la responsabilita' del giudizio scientifico. Nel caso delle valutazioni comparative per il reclutamento dei ricercatori, la soluzione piu' naturale affidare questo compito alla stessa commissione giudicatrice, che potrebbe, ove lo ritenesse opportuno, richiedere il parere di riconosciuti esperti internazionali."
Attenzione, non un singolo parametro bibliometrico, ma neppure un gruppo di parametri e' ritenuto affidabile. Teniamo presente che qui non ci si sta riferendo al confronto di un matematico con un fisico o un biologo, ma a concorsi che vedono candidati omogenei appartenenti ad uno stesso singolo ssd della matematica. Ovvero, per fare un esempio, se un candidato in un concorso di analisi numerica, in cui si confronta con altri analisti numerici, ha un vettore di parametri bibliometrici nettamente superiore agli altri in quella valutazione, bene, questo non e' affidabile a priori e ci si appella al solo giudizio degli esperti di turno (nominati chissa' come, magari per sorteggio), i quali soli sarebbero in grado di
determinare
"la qualita', l'originalita', il rilievo e la persistenza dei risultati scientifici ottenuti dai candidati". Attenzione, persino la persistenza, che mi sembra il tipico parametro non valutabile se non con indici bibliometrici.
Qualcuno dovrebbe spiegarmi cosa c'e' di nuovo in una presa di posizione di questo tipo. Quello che io leggo e': "lasciateci fare come si e' sempre fatto, che funziona bene". Anzi, all'inizio si legge addirittura: "Nel recente passato criteri di questo genere erano gia' stati adottati in maniera autonoma dalla stragrande maggioranza delle commissioni dei settori MAT/*." Per di piu', nel caso di concorsi a ricercatore, sarebbe addirittura la stessa commissione giudicatrice a poter decidere autonomamente se richiedere il parere di esperti internazionali (ne vedo gia' a frotte fare una cosa di questo genere).
Ovviamente non e' cosi' semplice, altrimenti perche' discuteremmo tanto di valutazioni e concorsi se le commissioni si fossero sempre comportate in modo cosi' trasparente e oggettivo? Io la vedo all'opposto: i vettori di parametri bibliometrici andrebbero usati pesantemente, a maggior ragione in valutazioni omogenee, e nel caso in cui una commissione ritenesse di far vincere un candidato che e' nettamente inferiore ad altri sula base di tali parametri, dovrebbe esplicitare questo fatto motivandone molto bene la superiorita' (nonostante i parametri oggettivi) e prendendosene tutta la responsabilita' di fronte alla comunita' scientifica. Adesso dubito che se non costretta dall'esterno, una qualche commissione di matematici fara' una cosa di questo tipo, avendo alle spalle la mozione dell'UMI.
Per fortuna in universitas_in_trasformazione ci stiamo muovendo in tutt'altra direzione (autonomia e valutazione), ma devo dire che se le societa' scientifiche nazionali cominciano a isolarsi nel rapporto con la politica come in questo caso, sara' comunque molto difficile cambiare le cose.
Saluti a tutti,
Marco Vianello associato di analisi numerica dip.to di matematica pura e applicata Universita' di Padova e-mail: marcov@math.unipd.it web page: www.math.unipd.it/~marcovhttp://www.math.unipd.it/%7Emarcov
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie
impostazioni:
https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/http://www.mat.uniroma1.it/%7Eprocesi/ lettera.html
Francesco P. SASSI Dipartimento Mineralogia e Petrologia,C.so Garibaldi, 37 - 35137 PADOVA (ITALY) Tel: +39-49-8272004 Fax: +39-49-8272010 E- mail: sassi@dmp.unipd..it
The reasonable man adapts himself to the world; the unreasonable one persists in adapting the world to himself. Therefore, all progress depends upon the unreasonable man. (George Bernard Shaw)
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie
impostazioni:
https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/http://www.mat.uniroma1.it/%7Eprocesi/ lettera.html
-- Open WebMail Project (http://openwebmail.org)
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/http://www.mat.uniroma1.it/%7Eprocesi/ lettera.html
Prof. Mauro Beltrametti Dipartimento di Matematica Universita' di Genova Via Dodecaneso, 35 16146 Genova Italy beltrametti@dima.unige.it
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.htmlhttp://www.mat.uniroma1.it/%7Eprocesi/lettera.html