Nuovi Seminari PRISMA 2024
Annunciamo con piacere il nuovo programma di seminari on-line del gruppo UMI - PRISMA (PRobability In Statistics, Mathematics and Applications: http://www.umi-prisma.polito.it/).
Da quest'anno i seminari avranno un formato diverso, in uno stile di "colloquium", per creare un'occasione di scambio e discussione con tutta la comunità dei probabilisti e statistici italiani. Ogni giornata comprenderà due relatori, che terranno due seminari di 30 minuti strettamente connessi, per presentare alla comunità una prospettiva sul proprio ambito di ricerca.
Il primo appuntamento si terrà lunedì 5 febbraio 2024. I relatori saranno Sandra Fortini (Università Bocconi) e Dario Trevisan (Università di Pisa) che presenteranno
Un'introduzione ai limiti di scala delle reti neurali artificiali
con il seguente orario:
16:00 Primo seminario 16:30 Pausa e discussione 16:45 Secondo seminario 17:15 Conclusione e discussione
Trovate di seguito il riassunto. I seminari verranno trasmessi via Zoom al seguente link:
https://uniroma1.zoom.us/j/82939128330 https://uniroma1.zoom.us/j/82939128330
Meeting ID: 829 3912 8330
Vi aspettiamo numerosi!
Valentina Cammarota e Francesco Caravenna
%%%%%%%%%%%%%%%%%%%%%%%%%%%%
RELATORI: Sandra Fortini (Università Bocconi), Dario Trevisan (Università di Pisa)
TITOLO: Un'introduzione ai limiti di scala delle reti neurali artificiali
RIASSUNTO: Il seminario si propone di presentare un'introduzione alla teoria dei limiti di scala delle reti neurali artificiali, con un'attenzione particolare rivolta a un pubblico esperto di probabilità e statistica matematica. La tendenza attuale nel campo dell'apprendimento automatico è di utilizzare reti neurali profonde con un numero enorme di parametri, inizializzati spesso in modo (pseudo-)casuale. Questo approccio, che nella pratica si rivela estremamente efficace, offre anche una prospettiva teorica utile per comprendere alcune delle proprietà che rendono tale tecnica così potente, ma anche di evidenziarne possibili limiti.
L'intervento sarà suddiviso in due parti, ciascuna incentrata su un aspetto del tema.
Dopo una breve introduzione alle reti neurali artificiali e al loro utilizzo pratico nell'apprendimento automatico, la prima parte si concentrerà sulla struttura delle reti all'inizializzazione, limitandoci per semplicità alle architetture più semplici. Esploreremo in più dettaglio alcuni dei risultati principali riguardanti i limiti di scala ``ampio'' e ``profondo'' per reti neurali inizializzate con pesi casuali, concentrandoci su alcuni risultati recenti che stabiliscono una equivalenza asintotica tra reti neural profonde e opportuni processi gaussiani.
Nella seconda parte, ci concentreremo sulla dinamica dell'addestramento delle reti neurali. Dopo una breve panoramica sui principali algoritmi utilizzati in scenari reali, ci concentreremo su alcuni dei risultati teorici rigorosi, validi per reti ampie e/o profonde: descriveremo in particolare la dinamica guidata dal Neural Tangent Kernel (NTK) nel limite dell'addestramento ``lazy'' e la dinamica di gradiente di Wasserstein nel limite di campo medio.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%