cari colleghi, vedo che si e` riaperta la diatriba sugli indicatori.
A me sembra una polemica abbastanza fuorviante, indipendentemente dal fatto che vi sono opinioni diverse sulla loro efficacia ed anche in quali situazioni hanno maggior significato. Abbiamo detto chiaramente che e` necessaria una agenzia di valutazione che operi sulla base del sistema della "poeer review", abbiamo anche detto di eliminare i vincoli burocratici. E` proprio necessario entrare in dettaglio su come deve avvenire la "peer review"? Visto che nessuno di noi ha come "peer" un computer e` chiaro che stiamo parlando di strumenti quindi perche' imporre uno strumento specifico?
Personalmente ritengo che alcuni dati prodotti per me da un computer potrebbero essermi utili per orientare il mio lavoro (concentrarmi su alcune persone o su alcuni lavori specifici) ma non mi pare necessario imporli per legge, anche perche' sarebbe molto difficile farlo.
On Sun, January 11, 2009 6:52 pm, Piero Lattanzi wrote:
non esistono, a mio parere, indicatori infallibili (per quanto riguarda l'H-index, segnalo il divertente What the h? di Jerald L. Schnoor, editor di ES&T (Environmental Science & Technology, 2008, 42 (9), p 3121) tuttavia NEL CONTESTO ITALIANO l'introduzione, certamente cum grano salis, di indicatori almeno semiquantitativi e non del tutto arbitrari sarebbe già un bel progresso! Piero Lattanzi Università di Cagliari
From: "Mauro Beltrametti" beltrame@dima.unige.it Sent: Sunday, January 11, 2009 4:46 PM To: "Forum Università e Ricerca " universitas_in_trasformazione@mail.dm.unipi.it Subject: Re: [Universitas_in_trasformazione] ancora sui parametri oggettivi:mozione UMI
Sarei sostanzialmente (o meglio, teoricamente) d'accordo, purche' fosse possibile trovare un algoritmo funzionante con precisione accettabile.
Il modo con cui a Genova (e credo altrove) viene calcolato il famigerato H-index e simili, si basa su
Publish or perish via Google Scholar e fornisce (per quel che mi risulta) risultati non sufficientemente affidabili (aggiunge e/o toglie lavori e
citazioni, differisce in modo consistente dal sito AMS, etc...). E' un programma --a mio parere-- troppo rozzo. E dubito se ne possano avere in tempi
finiti di piu' raffinati.
Anche se so perfettamente non essere opinione condivisa, ritengo sia meglio vincere o non vincere una un concorso a causa di una commissione che valuta umanamente
(e magari un po' liberamente) piuttosto che a causa di un computer, che difficilmente potra' essere dotato di un programma all'altezza.
Ovviamente, niente di male se, poi, la commissione tiene magari conto di un H-index <1 (e/o di uno >>0) ; questo si'.
Saluti,
Mauro Beltrametti
On 11/gen/09, at 16:22, giovanni giacometti wrote:
Cari tutti D'accordo con Vianello e con Sassi La valutazione deve essere fatta praticamente da un computer!!! Altrimenti in Italia non se ne esce Potranno variare i parametri per i diversi settori che comunque DEVONO ESSERE MOLTO VASTI!!! Questo punto DEVE ESSERE CONCORDATO presto Poi si cecherà l'algoritmo e i parametri Giovanni Giacometti
On Sun, 11 Jan 2009 11:28:01 +0100, Francesco Paolo Sassi wrote
Sono veramente sconcertato nel leggere quanto riferito da Vianello, sullle cui valutazioni concordo pienamente ed intimamente. Io credo che tra la soluzione proposta dalla Commissione Scientifica dell'UMI e la AUTOREFERENZIALITA' non ci sia una sostamziale differenza. Sono veramente sconcertato anche dal fatto che proprio i matematici, che dovrebbero avere una ovvia padronanza nel capire i limiti ma anche i messaggi di ogni indicatore bibliometrico, preferiscano buttarli a mare, anzichè sforzarsi di tenere obbligatoriamente presenti, come sfondo, un vettore di parametri bibliometrici, nel fare tutte le altre valutazioni autonome sulla qualita', l'originalita', il rilievo e la persistenza dei risultati scientifici ottenuti dai candidati. Francesco Sassi
At 18.44 09/01/2009, you wrote:
Cari colleghi,
ho visto oggi la mozione della Commissione Scientifica dell'UMI (Unione Matematica Italiana) relativa ai criteri di valutazione nei concorsi, che si puo' leggere per intero qui:
http://umi.dm.unibo.it/italiano/Varie/2008/varie12.html#citation
Se qualcuno era sorpreso da quanto uscito dal CUN relativamente alla matematica, direi che la sorgente e' tutta qui. Direi anzi che c'e' poco da prendersela col CUN, se gli input sono questi.
Per quanto questa mozione appaia pacata e ragionevole, contiene un aspetto che la rende a mio avviso controproducente (soprattutto perche' espressione di una societa' scientifica) anche alla luce del dibattito che si sta sviluppando per fortuna fuori dalle singole comunita' scientifiche (come quello nostro di universitas_in_trasformazione).
La sostanza e' che, appellandosi alla specificita' della matematica
"... nessun gruppo di parametri basati esclusivamente su dati bibliometrici (numero di citazioni, indice H, impact factor delle riviste su cui compaiono le pubblicazioni) puo', da solo, dare risultati affidabili nella valutazione dell'attivita' scientifica, pur costituendo un utile elemento di giudizio. La Commissione Scientifica dell'Unione Matematica Italiana auspica quindi che tra i parametri che verranno individuati dal Ministero figurino, in posizione predominante, la qualita', l'originalita', il rilievo e la persistenza dei risultati scientifici ottenuti dai candidati. Sulla base dell'esperienza internazionale, tali parametri non possono essere calcolati automaticamente a partire da dati statistici, ma possono essere determinati soltanto sulla base del parere di un gruppo di esperti della materia, che si assume la responsabilita' del giudizio scientifico. Nel caso delle valutazioni comparative per il reclutamento dei ricercatori, la soluzione piu' naturale affidare questo compito alla stessa commissione giudicatrice, che potrebbe, ove lo ritenesse opportuno, richiedere il parere di riconosciuti esperti internazionali."
Attenzione, non un singolo parametro bibliometrico, ma neppure un gruppo di parametri e' ritenuto affidabile. Teniamo presente che qui non ci si sta riferendo al confronto di un matematico con un fisico o un biologo, ma a concorsi che vedono candidati omogenei appartenenti ad uno stesso singolo ssd della matematica. Ovvero, per fare un esempio, se un candidato in un concorso di analisi numerica, in cui si confronta con altri analisti numerici, ha un vettore di parametri bibliometrici nettamente superiore agli altri in quella valutazione, bene, questo non e' affidabile a priori e ci si appella al solo giudizio degli esperti di turno (nominati chissa' come, magari per sorteggio), i quali soli sarebbero in grado di
determinare
"la qualita', l'originalita', il rilievo e la persistenza dei risultati scientifici ottenuti dai candidati". Attenzione, persino la persistenza, che mi sembra il tipico parametro non valutabile se non con indici bibliometrici.
Qualcuno dovrebbe spiegarmi cosa c'e' di nuovo in una presa di posizione di questo tipo. Quello che io leggo e': "lasciateci fare come si e' sempre fatto, che funziona bene". Anzi, all'inizio si legge addirittura: "Nel recente passato criteri di questo genere erano gia' stati adottati in maniera autonoma dalla stragrande maggioranza delle commissioni dei settori MAT/*." Per di piu', nel caso di concorsi a ricercatore, sarebbe addirittura la stessa commissione giudicatrice a poter decidere autonomamente se richiedere il parere di esperti internazionali (ne vedo gia' a frotte fare una cosa di questo genere).
Ovviamente non e' cosi' semplice, altrimenti perche' discuteremmo tanto di valutazioni e concorsi se le commissioni si fossero sempre comportate in modo cosi' trasparente e oggettivo? Io la vedo all'opposto: i vettori di parametri bibliometrici andrebbero usati pesantemente, a maggior ragione in valutazioni omogenee, e nel caso in cui una commissione ritenesse di far vincere un candidato che e' nettamente inferiore ad altri sula base di tali parametri, dovrebbe esplicitare questo fatto motivandone molto bene la superiorita' (nonostante i parametri oggettivi) e prendendosene tutta la responsabilita' di fronte alla comunita' scientifica. Adesso dubito che se non costretta dall'esterno, una qualche commissione di matematici fara' una cosa di questo tipo, avendo alle spalle la mozione dell'UMI.
Per fortuna in universitas_in_trasformazione ci stiamo muovendo in tutt'altra direzione (autonomia e valutazione), ma devo dire che se le societa' scientifiche nazionali cominciano a isolarsi nel rapporto con la politica come in questo caso, sara' comunque molto difficile cambiare le cose.
Saluti a tutti,
Marco Vianello associato di analisi numerica dip.to di matematica pura e applicata Universita' di Padova e-mail: marcov@math.unipd.it web page: www.math.unipd.it/~marcov
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie
impostazioni:
https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
--
Francesco P. SASSI Dipartimento Mineralogia e Petrologia,C.so Garibaldi, 37 - 35137 PADOVA (ITALY) Tel: +39-49-8272004 Fax: +39-49-8272010 E- mail: sassi@dmp.unipd..it
The reasonable man adapts himself to the world; the unreasonable one persists in adapting the world to himself. Therefore, all progress depends upon the unreasonable man. (George Bernard Shaw)
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie
impostazioni:
https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
-- Open WebMail Project (http://openwebmail.org)
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
Prof. Mauro Beltrametti Dipartimento di Matematica Universita' di Genova Via Dodecaneso, 35 16146 Genova Italy beltrametti@dima.unige.it
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Nessun virus nel messaggio in arrivo. Controllato da AVG - http://www.avg.com Versione: 8.0.176 / Database dei virus: 270.10.5/1884 - Data di rilascio: 09/01/2009 8.38
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html