la FIST (Federazione Italiana delle Scienze della Terra) organizza per lunedi prossimo a Bologna un forum sulla valutazione della ricerca nelle Scienze della Terra, con la partecipazione dei rappresentanti al CUN dell'Area 04 per i dettagli vedi http://www.geoitalia.org/forum/ pur essendo dedicata ad un settore specifico, è probabile che la discussione tocchi temi di interesse generale almeno per le discipline scientifiche saluti Piero Lattanzi
-------------------------------------------------- From: "Jacopo Meldolesi" <> Sent: Monday, January 12, 2009 10:18 AM To: procesi@mat.uniroma1.it; "Universitàe Ricerca Forum" universitas_in_trasformazione@mail.dm.unipi.it Subject: Re: [Universitas_in_trasformazione] ancora sui parametri oggettivi:mozione UMI
Ho scritto una volta in passato per dissentire da Procesi mentre ora sono d'accordo con la sua ultima precisazione. Mi pare che la cosa che emerge dal lungo di battito è che non solo ci sono dissensi personali vari, ma (più importante) ci sono differenze almeno parziali tra gruppi disciplinari. Di questo potremmo discutere in futuro ma non continuando a scriverci messaggi. Il mio feeling ormai è di perdere tempo a scorrerli, mi domando quanto se ne è perso a criverli. Ora è tempo di organizzare qualcosa di serio, che abbia impatto politico. Ci sono idee in proposito? Io tra qualche settimana potrei esplorare se ce ne sono all'Accademia, ci sono altre possibilità? J.M.
-- Jacopo Meldolesi Division of Neuroscience Unit of Molecular and Cellular Neuroscience Vita-Salute San Raffaele University and San Raffaele Institute via Olgettina, 18, 20129, Milano Italy Tel: +39 02 2643 2770
From: claudio procesi procesi@mat.uniroma1.it Reply-To: "procesi@mat.uniroma1.it" procesi@mat.uniroma1.it, Università e Ricerca Forum universitas_in_trasformazione@mail.dm.unipi.it Date: Mon, 12 Jan 2009 02:22:25 +0100 To: Forum Università e Ricerca universitas_in_trasformazione@mail.dm.unipi.it Subject: Re: [Universitas_in_trasformazione] ancora sui parametri oggettivi:mozione UMI
cari colleghi, vedo che si e` riaperta la diatriba sugli indicatori.
A me sembra una polemica abbastanza fuorviante, indipendentemente dal fatto che vi sono opinioni diverse sulla loro efficacia ed anche in quali situazioni hanno maggior significato. Abbiamo detto chiaramente che e` necessaria una agenzia di valutazione che operi sulla base del sistema della "poeer review", abbiamo anche detto di eliminare i vincoli burocratici. E` proprio necessario entrare in dettaglio su come deve avvenire la "peer review"? Visto che nessuno di noi ha come "peer" un computer e` chiaro che stiamo parlando di strumenti quindi perche' imporre uno strumento specifico?
Personalmente ritengo che alcuni dati prodotti per me da un computer potrebbero essermi utili per orientare il mio lavoro (concentrarmi su alcune persone o su alcuni lavori specifici) ma non mi pare necessario imporli per legge, anche perche' sarebbe molto difficile farlo.
On Sun, January 11, 2009 6:52 pm, Piero Lattanzi wrote:
non esistono, a mio parere, indicatori infallibili (per quanto riguarda l'H-index, segnalo il divertente What the h? di Jerald L. Schnoor, editor di ES&T (Environmental Science & Technology, 2008, 42 (9), p 3121) tuttavia NEL CONTESTO ITALIANO l'introduzione, certamente cum grano salis, di indicatori almeno semiquantitativi e non del tutto arbitrari sarebbe già un bel progresso! Piero Lattanzi Università di Cagliari
From: "Mauro Beltrametti" beltrame@dima.unige.it Sent: Sunday, January 11, 2009 4:46 PM To: "Forum Università e Ricerca " universitas_in_trasformazione@mail.dm.unipi.it Subject: Re: [Universitas_in_trasformazione] ancora sui parametri oggettivi:mozione UMI
Sarei sostanzialmente (o meglio, teoricamente) d'accordo, purche' fosse possibile trovare un algoritmo funzionante con precisione accettabile.
Il modo con cui a Genova (e credo altrove) viene calcolato il famigerato H-index e simili, si basa su
Publish or perish via Google Scholar e fornisce (per quel che mi risulta) risultati non sufficientemente affidabili (aggiunge e/o toglie lavori e
citazioni, differisce in modo consistente dal sito AMS, etc...). E' un programma --a mio parere-- troppo rozzo. E dubito se ne possano avere in tempi
finiti di piu' raffinati.
Anche se so perfettamente non essere opinione condivisa, ritengo sia meglio vincere o non vincere una un concorso a causa di una commissione che valuta umanamente
(e magari un po' liberamente) piuttosto che a causa di un computer, che difficilmente potra' essere dotato di un programma all'altezza.
Ovviamente, niente di male se, poi, la commissione tiene magari conto di un H-index <1 (e/o di uno >>0) ; questo si'.
Saluti,
Mauro Beltrametti
On 11/gen/09, at 16:22, giovanni giacometti wrote:
Cari tutti D'accordo con Vianello e con Sassi La valutazione deve essere fatta praticamente da un computer!!! Altrimenti in Italia non se ne esce Potranno variare i parametri per i diversi settori che comunque DEVONO ESSERE MOLTO VASTI!!! Questo punto DEVE ESSERE CONCORDATO presto Poi si cecherà l'algoritmo e i parametri Giovanni Giacometti
On Sun, 11 Jan 2009 11:28:01 +0100, Francesco Paolo Sassi wrote
Sono veramente sconcertato nel leggere quanto riferito da Vianello, sullle cui valutazioni concordo pienamente ed intimamente. Io credo che tra la soluzione proposta dalla Commissione Scientifica dell'UMI e la AUTOREFERENZIALITA' non ci sia una sostamziale differenza. Sono veramente sconcertato anche dal fatto che proprio i matematici, che dovrebbero avere una ovvia padronanza nel capire i limiti ma anche i messaggi di ogni indicatore bibliometrico, preferiscano buttarli a mare, anzichè sforzarsi di tenere obbligatoriamente presenti, come sfondo, un vettore di parametri bibliometrici, nel fare tutte le altre valutazioni autonome sulla qualita', l'originalita', il rilievo e la persistenza dei risultati scientifici ottenuti dai candidati. Francesco Sassi
At 18.44 09/01/2009, you wrote:
> Cari colleghi, > > > ho visto oggi la mozione della Commissione Scientifica dell'UMI > (Unione Matematica Italiana) relativa ai criteri di valutazione > nei concorsi, che si puo' leggere per intero qui: > > http://umi.dm.unibo.it/italiano/Varie/2008/varie12.html#citation > > > Se qualcuno era sorpreso da quanto uscito dal CUN relativamente > alla matematica, direi che la sorgente e' tutta qui. Direi anzi che > c'e' poco da prendersela col CUN, se gli input sono questi. > > Per quanto questa mozione appaia pacata e ragionevole, contiene > un aspetto che la rende a mio avviso controproducente (soprattutto > perche' espressione di una societa' scientifica) anche alla luce > del dibattito che si sta sviluppando per fortuna fuori dalle > singole comunita' scientifiche (come quello nostro di > universitas_in_trasformazione). > > La sostanza e' che, appellandosi alla specificita' della > matematica > > "... nessun gruppo di parametri basati esclusivamente su > dati bibliometrici (numero di citazioni, indice H, impact factor > delle riviste su cui compaiono le pubblicazioni) puo', da solo, > dare risultati affidabili nella valutazione dell'attivita' > scientifica, pur costituendo un utile elemento di giudizio. La > Commissione Scientifica dell'Unione Matematica Italiana > auspica quindi che tra i parametri che verranno individuati dal > Ministero > figurino, in posizione predominante, la qualita', l'originalita', > il rilievo e la persistenza dei risultati scientifici ottenuti dai > candidati. Sulla base > dell'esperienza internazionale, tali parametri non possono essere > calcolati automaticamente a partire da dati statistici, ma possono > essere determinati soltanto sulla base del parere di un gruppo di > esperti della materia, che si assume la responsabilita' del > giudizio scientifico. Nel caso delle valutazioni comparative per il > reclutamento dei ricercatori, la soluzione piu' naturale affidare > questo compito alla stessa commissione giudicatrice, che potrebbe, > ove lo ritenesse opportuno, richiedere il parere di riconosciuti > esperti internazionali." > > Attenzione, non un singolo parametro bibliometrico, ma neppure un > gruppo di parametri e' ritenuto affidabile. Teniamo presente che > qui non ci si sta riferendo al confronto di un matematico con un > fisico o un biologo, ma a concorsi che vedono candidati omogenei > appartenenti ad uno stesso singolo ssd della matematica. Ovvero, > per fare un esempio, se un candidato in un concorso di analisi > numerica, in cui si confronta con altri analisti numerici, ha un > vettore di parametri bibliometrici nettamente superiore agli altri > in quella valutazione, bene, questo non e' affidabile a priori e ci > si appella al solo giudizio degli esperti di turno (nominati > chissa' come, magari per sorteggio), i quali soli sarebbero in > grado di
determinare
> "la qualita', l'originalita', il rilievo e la persistenza dei > risultati scientifici ottenuti dai candidati". Attenzione, persino > la persistenza, che mi sembra il tipico parametro non valutabile se > non con indici bibliometrici. > > Qualcuno dovrebbe spiegarmi cosa c'e' di nuovo in una presa di > posizione di questo tipo. Quello che io leggo e': "lasciateci fare > come si e' sempre fatto, che funziona bene". Anzi, all'inizio si > legge addirittura: "Nel recente passato criteri di questo genere > erano gia' stati adottati in maniera autonoma dalla stragrande > maggioranza delle commissioni dei settori MAT/*." Per di piu', nel > caso di concorsi a ricercatore, sarebbe addirittura la stessa > commissione giudicatrice a poter decidere autonomamente se > richiedere il parere di esperti internazionali (ne vedo gia' a > frotte fare una cosa di questo genere). > > Ovviamente non e' cosi' semplice, altrimenti perche' discuteremmo > tanto di valutazioni e concorsi se le commissioni si fossero > sempre comportate in modo cosi' trasparente e oggettivo? Io la vedo > all'opposto: i vettori di parametri bibliometrici > andrebbero usati pesantemente, a maggior ragione in valutazioni > omogenee, e nel caso in cui una commissione ritenesse di far > vincere un candidato che e' nettamente inferiore ad altri sula > base di tali parametri, dovrebbe esplicitare questo fatto > motivandone molto bene la superiorita' (nonostante i parametri > oggettivi) e prendendosene tutta la responsabilita' di fronte alla > comunita' scientifica. Adesso dubito che se non costretta > dall'esterno, una qualche commissione di matematici fara' una cosa > di questo tipo, avendo alle spalle la mozione dell'UMI. > > Per fortuna in universitas_in_trasformazione ci stiamo muovendo > in tutt'altra direzione (autonomia e valutazione), ma devo dire > che se le societa' scientifiche nazionali cominciano a isolarsi nel > rapporto con la politica come in questo caso, sara' comunque molto > difficile cambiare le cose. > > > Saluti a tutti, > > > Marco Vianello > associato di analisi numerica dip.to di matematica pura e applicata > Universita' di Padova > e-mail: marcov@math.unipd.it > web page: www.math.unipd.it/~marcov > > > > _______________________________________________ > Universitas_in_trasformazione@mail.dm.unipi.it mailing list > > > Per consultare gli archivi, cancellarsi, o cambiare le proprie >
impostazioni:
> https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione > > > Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ > lettera.html
--
Francesco P. SASSI Dipartimento Mineralogia e Petrologia,C.so Garibaldi, 37 - 35137 PADOVA (ITALY) Tel: +39-49-8272004 Fax: +39-49-8272010 E- mail: sassi@dmp.unipd..it
The reasonable man adapts himself to the world; the unreasonable one persists in adapting the world to himself. Therefore, all progress depends upon the unreasonable man. (George Bernard Shaw)
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie
impostazioni:
https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
-- Open WebMail Project (http://openwebmail.org)
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/ lettera.html
Prof. Mauro Beltrametti Dipartimento di Matematica Universita' di Genova Via Dodecaneso, 35 16146 Genova Italy beltrametti@dima.unige.it
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Nessun virus nel messaggio in arrivo. Controllato da AVG - http://www.avg.com Versione: 8.0.176 / Database dei virus: 270.10.5/1884 - Data di rilascio: 09/01/2009 8.38
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Universitas_in_trasformazione@mail.dm.unipi.it mailing list
Per consultare gli archivi, cancellarsi, o cambiare le proprie impostazioni: https://mail.dm.unipi.it/listinfo/universitas_in_trasformazione
Ulteriori informazioni: http://www.mat.uniroma1.it/~procesi/lettera.html
Nessun virus nel messaggio in arrivo. Controllato da AVG - http://www.avg.com Versione: 8.0.176 / Database dei virus: 270.10.6/1888 - Data di rilascio: 12/01/2009 7.04