Caro Marco, Cari colleghi,
vi scrivo a proposito dei "dati della valutazione della didattica ottenuti con la distribuzione dei questionari", relativi al corso "Operatori Differenziali" da me tenuto al II semestre. Innanzitutto voglio precisare che gli studenti che hanno seguito il corso sono stati 5 o 6, sempre gli stessi per tutto il semestre, che tali studenti hanno dimostrato di seguire e comprendere a fondo gli argomenti; alcuni mi hanno chiesto di poter sostenere l'esame, oltre che con una normale prova orale, anche con seminari, che si sono rivelati poi veramente ben preparati. Sono stato quindi molto sorpreso dai risultati del questionario: l'80% degli studenti mi ha dato una valutazione pessima, su tutti i punti. Il restante 20%, al contrario, è stato decisamente "generoso". Ma, soprattutto, sono stato sorpreso dal fatto che i questionari riempiti sono stati 25! Perché i questionari riempiti sono stati 25, mentre gli studenti 5 o 6, sempre gli stessi? Ci sarà forse un rapporto tra 100% / 20% e 25 / 5? Mi domando: quale studente ha diritto di voto su di un dato corso? C'è un controllo della correlazione tra lo studente che esprime un voto, ed il corso oggetto del voto? A questo punto ho ripreso i risultati del mio corso al I semestre. Il caso era del tutto analogo: lì avevo circa 12 - 14 studenti, contro 21 questionari raccolti. Altri docenti mi hanno poi segnalato casi simili. Non posso allora non concludere: che senso ha questo tipo di valutazione? Che affidabilità puo avere? Io personalmente non credo molto in questi metodi di valutazione. Ma se qualcuno, per convinzione propria, o per compito istituzionale, vi crede, non sarebbe male che cercasse di far sì che tali operazioni non cadessero nella più totale ridicolaggine!
Saluti
Ferruccio Colombini
Sono totalmente d'accordo con tua valutazione sulla questione di questionari. Penso che questo esercizio e' per conpiacimento di burocrati. Io sono sempre stato scettico di quest'operazione.
Ciao, cordiali saluti
Murthy
On Thu, 22 Sep 2005, ferruccio colombini wrote:
Caro Marco, Cari colleghi,
vi scrivo a proposito dei "dati della valutazione della didattica ottenuti con la distribuzione dei questionari", relativi al corso "Operatori Differenziali" da me tenuto al II semestre. Innanzitutto voglio precisare che gli studenti che hanno seguito il corso sono stati 5 o 6, sempre gli stessi per tutto il semestre, che tali studenti hanno dimostrato di seguire e comprendere a fondo gli argomenti; alcuni mi hanno chiesto di poter sostenere l'esame, oltre che con una normale prova orale, anche con seminari, che si sono rivelati poi veramente ben preparati. Sono stato quindi molto sorpreso dai risultati del questionario: l'80% degli studenti mi ha dato una valutazione pessima, su tutti i punti. Il restante 20%, al contrario, è stato decisamente "generoso". Ma, soprattutto, sono stato sorpreso dal fatto che i questionari riempiti sono stati 25! Perché i questionari riempiti sono stati 25, mentre gli studenti 5 o 6, sempre gli stessi? Ci sarà forse un rapporto tra 100% / 20% e 25 / 5? Mi domando: quale studente ha diritto di voto su di un dato corso? C'è un controllo della correlazione tra lo studente che esprime un voto, ed il corso oggetto del voto? A questo punto ho ripreso i risultati del mio corso al I semestre. Il caso era del tutto analogo: lì avevo circa 12 - 14 studenti, contro 21 questionari raccolti. Altri docenti mi hanno poi segnalato casi simili. Non posso allora non concludere: che senso ha questo tipo di valutazione? Che affidabilità puo avere? Io personalmente non credo molto in questi metodi di valutazione. Ma se qualcuno, per convinzione propria, o per compito istituzionale, vi crede, non sarebbe male che cercasse di far sì che tali operazioni non cadessero nella più totale ridicolaggine!
Saluti
Ferruccio Colombini
Caro Ferruccio (e cari tutti),
quello che e' successo (e di cui ci siamo subito accorti esaminando i risultati dei questionari) e' che un gruppo di studenti del terzo anno ha deciso di prendere di mira alcuni corsi (4, per la precisione) dando valutazioni negative (tutti 1) a tutte le domande.
Questo tipo di risposte (chiaramente inattendibili, e contraddittorie al loro interno) invalida quel gruppo di questionari, che quindi non devono essere considerati nell'esaminare i risultati della valutazione. Sfortunatamente, pero', il programma di elaborazione dei questionari dell'ateneo non permette di escludere solo alcuni questionari dalla valutazione; o tutti, o nessuno.
Di conseguenza, i corsi che hanno subito questo trattamento quest'anno non saranno valutati. Abbiamo mandato ai singoli docenti coinvolti i risultati, per permettere loro di esaminare i questionari validi (che comunque qualche indicazione danno); ma per il resto non verranno considerati, e in particolare i risultati ottenuti da questi corsi non saranno resi pubblici.
Inoltre, sono stati avvisati i rappresentanti degli studenti, che capiscono perfettamente come questo modo di usare i questionari sia scorretto e controproducente, e che si sono impegnati a sensibilizzare gli studenti verso un uso sensato dei questionari.
Infine, io stesso mandero' settimana prossima un messaggio a tutti gli studenti spiegando la scorrettezza e l'inutilita' di questo tipo di comportamenti.
Questa e' la risposta ufficiale; permettetemi ora qualche commento personale.
Il primo e' che questo tipo di comportamenti denuncia comunque un qualche tipo di malessere, anche se lo denuncia nel modo sbagliato, in quanto non permette di capire qual e' il problema. Compito mio (o meglio, del mio successore) e dei rappresentanti degli studenti sara' capire quali sono i motivi di questo malessere. Motivi che, s'intende, possono essere fondati (nel qual caso bisogna fare qualcosa) oppure completamente privi di senso (nel qual caso possiamo dimenticarcene tranquillamente); ma questa e' una decisione che potremo prendere solo una volta capito quali sono questi motivi.
Il secondo riguarda l'interpretazione dei questionari. Ritengo che sia un buon sistema per tastare il polso agli studenti, ma solo se interpretati con le giuste cautele. I risultati di un singolo anno hanno un valore relativo; ma si possono ottenere buone indicazioni tendenziali confrontando l'andamento su piu' anni e su piu' corsi. Piccole variazioni da un anno all'altro non significano nulla; grosse variazioni sono invece sicuramente il segnale di qualcosa. Il questionario da' solo delle indicazioni grossolane su cosa sia questo "qualcosa", ma sono indicazioni che altrimenti non riceveremmo.
Il terzo riguarda i nostri studenti. Qualsiasi meccanismo di valutazione anonima si presta a possibili distorsioni; ma per nostra fortuna i nostri studenti sono in stragrande maggioranza persone sensate e responsabili, che usano questo strumento in maniera sensata e responsabile, per cui le indicazioni che ci pervengono dai questionari sono in gran parte attendibili (anche se da usare con le dovute cautele indicate sopra). Ovviamente, bisogna intervenire immediatamente non appena si avvertono usi impropri dei questionari; ed e' quanto abbiamo fatto.
Infine, permettetemi una battuta: siccome i questionari danno un ottimo giudizio del corso di laurea e dei docenti di matematica, sensibilmente migliore della media dell'ateneo, forse ci conviene ritenerli (con tutte le cautele del caso) essenzialmente validi...
Ciao e grazie, Marco
On 22/set/05, at 10:10, ferruccio colombini wrote:
Caro Marco, Cari colleghi,
vi scrivo a proposito dei "dati della valutazione della didattica ottenuti con la distribuzione dei questionari", relativi al corso "Operatori Differenziali" da me tenuto al II semestre. Innanzitutto voglio precisare che gli studenti che hanno seguito il corso sono stati 5 o 6, sempre gli stessi per tutto il semestre, che tali studenti hanno dimostrato di seguire e comprendere a fondo gli argomenti; alcuni mi hanno chiesto di poter sostenere l'esame, oltre che con una normale prova orale, anche con seminari, che si sono rivelati poi veramente ben preparati. Sono stato quindi molto sorpreso dai risultati del questionario: l'80% degli studenti mi ha dato una valutazione pessima, su tutti i punti. Il restante 20%, al contrario, è’ stato decisamente "generoso". Ma, soprattutto, sono stato sorpreso dal fatto che i questionari riempiti sono stati 25! Perché i questionari riempiti sono stati 25, mentre gli studenti 5 o 6, sempre gli stessi? Ci sarà forse un rapporto tra 100% / 20% e 25 / 5? Mi domando: quale studente ha diritto di voto su di un dato corso? C'è un controllo della correlazione tra lo studente che esprime un voto, ed il corso oggetto del voto? A questo punto ho ripreso i risultati del mio corso al I semestre. Il caso era del tutto analogo: lì avevo circa 12 - 14 studenti, contro 21 questionari raccolti. Altri docenti mi hanno poi segnalato casi simili. Non posso allora non concludere: che senso ha questo tipo di valutazione? Che affidabilità puo avere? Io personalmente non credo molto in questi metodi di valutazione. Ma se qualcuno, per convinzione propria, o per compito istituzionale, vi crede, non sarebbe male che cercasse di far sì che tali operazioni non cadessero nella più totale ridicolaggine!
Saluti
Ferruccio Colombini
**********************************************************
Marco Abate Tel: +39/050/2213.230 Dipartimento di Matematica Fax: +39/050/2213.224 Universita' di Pisa Largo Pontecorvo 5 E-mail: abate@dm.unipi.it 56127 Pisa Italy Web: www.dm.unipi.it/~abate/
**********************************************************
Caro Marco,
capisco la tua considerazione finale, che i risultati in media per matematica sono buoni e quindi ci conviene, anche se e' un po' cinica. Vorrei pero' che almeno noi la piantassimo di accettare la solita scusa del burocrate ignorante "e' colpa del computer". Se un programma e' sbagliato, hanno sbagliato gli uomini che lo hanno scritto, non il computer. Io penso che sia del tutto assurdo che non ci sia un modo di verificare se le valutazioni vengono da chi ha seguito i corsi e almeno tentato gli esami, oppure se viene da uno studente che non ha capito nulla perche' non ha seguito o adirittura vuole solo creare confusione, come sembra sia successo.
Gli ignoranti in informatica (non noi, ma molti di quei laureati in informatica che lavorano all'amministrazione centrale) sembrano confondere il requisito dell'anonimita' con quello della verifica dell'identita'. Con l'uso moderno della crittografia non c'e alcun bisogno di sapere il nome dello studente per poter verificare che ha superato, o almeno tentato, un esame.
Basta che i database delle segreterie funzionino (requisito che da noi non e' banale) e si puo' tramite web usare una propria password, depositare la risposta ad un questionario, con il programma che verifica sul database delle segreterie se sono soddisfatte alcune condizioni, e poi lascia come traccia solo la risposta al questionario (resa anonima) con un flag che dice se l'esame e' stato superato o almeno tentato. Naturalmente questo flag andrebbe poi usato nell'elaborazione dei dati. Se vi dicono che non si puo' fare, rispondete che a una simile risposta dovrebbe seguire una bocciatura nel piu' semplice esame di informatica della nostra universita'.
Se invece lo spirito e' di prendere tutti i metodi di valutazione come delle seccature che bisogna aggirare con il minimo sforzo, allora continuiamo pure con i questionari riempiti da qualunque pasante, ma poi non lamentiamoci se le indicazioni sono inattendibili. Io penso che questo atteggiamento lassista alla lunga lo pagheremmo caro. Abbbiamo bisogno di valutazioni attendibili, il fatto che siano buone per ora non toglie che potrebbero divetare cattive, e allora le conseguenze sarebbero pesanti. Non e' meglio avere dei meccanismi di misura affidabili?
Saluti Andrea Milani
================================================ Andrea Milani Comparetti Dipartimento di Matematica Piazzale B. Pontecorvo 5 56127 PISA ITALY
tel. +39-050-2213254 fax +39-050-2213224 cellular phone +39-349-4482751 E-mail: milani@dm.unipi.it WWW: http://copernico.dm.unipi.it/~milani/ ================================================
Caro Andrea,
sospetto che tu lo sappia gia' (visto che ne avevamo gia' parlato), ma ovviamente sono d'accordo con te su tutta la linea... e non e' l'unico punto su cui quei questionari si potrebbero ampiamente migliorare (per esempio, distinguendo molto meglio la valutazione del docente da quella delle strutture in cui si svolge il corso; in questo momento sono impropriamente mescolate).
Ma non mi era parso il caso di scrivere un messaggio fiume (era gia' lungo cosi') con tutte le osservazioni che ho in mente al riguardo. Non c'e' dubbio che sia un sistema che si puo' (e si deve: e' importante che in qualche forma il nostro operato sia valutato dagli studenti) migliorare; ma gia' cosi', interpretato nel modo giusto, fornisce delle informazioni.
Infine, permettimi di rovesciare la battuta finale che ti e' piaciuta cosi' tanto: potremmo anche dire che, proprio perche' le cose da noi vanno bene, i questionari non sono cosi' importanti, in quanto non ci sono grossi problemi da rivelare.... ma ovviamente nessuna delle due versioni e' corretta, i meccanismi di valutazione sono importanti indipendentemente dai loro risultati.
Ciao e grazie per l'intervento, Marco
On 22/set/05, at 12:07, Andrea Milani wrote:
Caro Marco,
capisco la tua considerazione finale, che i risultati in media per matematica sono buoni e quindi ci conviene, anche se e' un po' cinica. Vorrei pero' che almeno noi la piantassimo di accettare la solita scusa del burocrate ignorante "e' colpa del computer". Se un programma e' sbagliato, hanno sbagliato gli uomini che lo hanno scritto, non il computer. Io penso che sia del tutto assurdo che non ci sia un modo di verificare se le valutazioni vengono da chi ha seguito i corsi e almeno tentato gli esami, oppure se viene da uno studente che non ha capito nulla perche' non ha seguito o adirittura vuole solo creare confusione, come sembra sia successo.
Gli ignoranti in informatica (non noi, ma molti di quei laureati in informatica che lavorano all'amministrazione centrale) sembrano confondere il requisito dell'anonimita' con quello della verifica dell'identita'. Con l'uso moderno della crittografia non c'e alcun bisogno di sapere il nome dello studente per poter verificare che ha superato, o almeno tentato, un esame.
Basta che i database delle segreterie funzionino (requisito che da noi non e' banale) e si puo' tramite web usare una propria password, depositare la risposta ad un questionario, con il programma che verifica sul database delle segreterie se sono soddisfatte alcune condizioni, e poi lascia come traccia solo la risposta al questionario (resa anonima) con un flag che dice se l'esame e' stato superato o almeno tentato. Naturalmente questo flag andrebbe poi usato nell'elaborazione dei dati. Se vi dicono che non si puo' fare, rispondete che a una simile risposta dovrebbe seguire una bocciatura nel piu' semplice esame di informatica della nostra universita'.
Se invece lo spirito e' di prendere tutti i metodi di valutazione come delle seccature che bisogna aggirare con il minimo sforzo, allora continuiamo pure con i questionari riempiti da qualunque pasante, ma poi non lamentiamoci se le indicazioni sono inattendibili. Io penso che questo atteggiamento lassista alla lunga lo pagheremmo caro. Abbbiamo bisogno di valutazioni attendibili, il fatto che siano buone per ora non toglie che potrebbero divetare cattive, e allora le conseguenze sarebbero pesanti. Non e' meglio avere dei meccanismi di misura affidabili?
Saluti Andrea Milani
================================================ Andrea Milani Comparetti Dipartimento di Matematica Piazzale B. Pontecorvo 5 56127 PISA ITALY
tel. +39-050-2213254 fax +39-050-2213224 cellular phone +39-349-4482751 E-mail: milani@dm.unipi.it WWW: http://copernico.dm.unipi.it/~milani/ ================================================
**********************************************************
Marco Abate Tel: +39/050/2213.230 Dipartimento di Matematica Fax: +39/050/2213.224 Universita' di Pisa Largo Pontecorvo 5 E-mail: abate@dm.unipi.it 56127 Pisa Italy Web: www.dm.unipi.it/~abate/
**********************************************************
-
add -
Andrea Milani -
ferruccio colombini -
Marco Abate