1001829 - ULTERIORI ATTIVITA' FORMATIVE

Il corso fornisce un’introduzione compatta al “Robust & Adaptive Deep Learning” (RD-DL) ed all’Intelligenza Artificiale Generativa (Generative AI) con attenzione ai paradigmi di robustezza avversaria e regolarizzazione (gradiente/Jacobiano, vincoli di Lipschitz), domain shift/adaptation, continual learning (stabilità–plasticità), Modelli generativi, Large Language Models. Si introdurra’ il “Robust & Adaptive Deep Learning” in spazi geometrici non-convenzionali e si presenteranno alcune applicazioni nel settore industriale, legale e finanziario.

Conoscenza e capacità di comprensione (knowledge and understanding):  lo studente acquisirà le competenze necessarie per comprendere le tematiche relative al “Robust & Adaptive Deep Learning” (RD-DL) ed all’AI Generativa, le tecniche di sensibilità all’input e robustezza, gli scenari/metodi di continual learning, le architetture dei principali modelli generativi, il paradigma Transformer/LLM e relativi approcci di training, le principali applicazioni di settore.

Capacità di applicare conoscenza e comprensione (applying knowledge and understanding): lo studente sarà in grado di progettare una pipeline AI-based di training/valutazione (in ambiente python), proteggere sistemi di “Robust & Adaptive Deep Learning” (RD-DL) e/o Generativi da attacchi “adversarial”, applicare approcci di domain adaptation, addestrare e valutare modelli generativi, costruire una pipeline applicativa che utilizza motori LLMs.

Autonomia di giudizio (making judgements): lo studente sarà in grado di analizzare i trade-off stabilità–plasticità, selezionare regolarizzazioni/difese del sistema AI, scegliere tra approcci generativi o discriminativi, definire metriche appropriate e interpretare risultati.

Abilità comunicative (communication skills): lo studente acquisirà le competenze necessarie che gli forniranno proprietà di linguaggio nell’area “Artificial Intelligence / Deep Learning” con particolare attenzione ai modelli generativi, redigere report sintetici e notebook riproducibili, presentare scelte e risultati tecnici, includendo brevi model cards e note su limiti/rischi.

Capacità di apprendimento (learning skills): lo studente sarà in grado di sviluppare un metodo personalizzato di aggiornamento su nuove architetture/tecniche (lettura critica di papers scientifici/benchmark) di “Robust & Adaptive Deep Learning” (RD-DL) ed AI Generativa , applicare buone pratiche di riproducibilità e trasferire le competenze a nuovi domini (industriale, legale, finanziario) attraverso esercitazioni su problemi reali.

Le lezioni sono tenute in aula con l'ausilio di slide, messe a disposizione degli studenti. Le slide non sostituiscono i testi di riferimento, ma, oltre che agevolare la comprensione della lezione, forniscono un dettaglio puntuale sul programma svolto.

In caso di necessità, a seguito di apposite indicazioni da parte degli organi di Ateneo, l'insegnamento potrà essere impartito in modalità mista o a distanza, con le necessarie variazioni rispetto a quanto dichiarato in precedenza, al fine di rispettare il programma previsto qui riportato.

Per la piena comprensione dei contenuti del corso sono necessari i seguenti pre-requisiti:

• Programmazione in C e Python (incluso ambiente di sviluppo Pytorch);
• Nozioni di Deep Learning / Machine Learning;
• Nozioni basilari di Analisi Matematica e Statistica;

La frequenza delle lezioni rispecchia le modalità previste dal Manifesto degli studi e dal Regolamento Didattico di Ateneo;

1) Robust & Adaptive Deep Learning (RA-DL):

• Introduzione e richiami teorici;
• Input sensitivity;
• Adversarial attack: Fast Gradient Sign Method (FGSM)/Projected Gradient Descent (PGD); Altri metodi di Adversarial Attack (cenni)
• Regolarizzazione di Lipschitz (cenni); Analisi di stabilità (Lipschitz/Lyapunov – cenni);
• Regolarizzazione dello Jacobiano;
• Richiami di Domain shift/adaptation;

2) Continual Learning (CL) – Problematiche di Stabilità–Plasticità nel “Robust & Adaptive Deep Learning”:

• Definizioni e scenari. Catastrophic Forgetting;
• Metodi CL: regularization-based, Replay, metodi ibridi ed adattativi;
• Lipschitz analysis e Meta-plasticità (cenni);
• Bio-inspired models / Neuro-modulazione (cenni);

3) Generative AI Models:

• Autoencoder (AE): Denoising Autoencoder (DAE), Contractive Auto-Encoder (CAE); spazi latenti e controlli di regolarità;
• Variational Autoencoder (VAE): Evidence Lower Bound (ELBO), Beta-Variational Autoencoder (β-VAE), Conditional Variational Autoencoder (cVAE);
• Generative Adversarial Networks (GANs);
• Diffusion Models;

4) LLM, Transformers, Embeddings & Retrieval

• Transformer models: Richiami di teoria, Architetture Encoder/Decoder; meccanismi di Attention; Applicazioni;
• Large Language Models (LLMs): Introduzione e descrizione, paradigmi di learning;
• Embeddings semantici;
• Utilizzo dei motori LLMs: Prompting, Indexing, Re-Ranking, Retrieval-Augmented Generation (RAG), Chain of Thought. Cenni alle problematiche di privacy, sicurezza, robustezza;

5) “Robust & Adaptive Deep Learning” e Generative AI: Applicazioni

• Knowledge Distillation (KD) per sistemi di AI sostenibili/embedded: Teacher–student model, paradigmi di KD, Hyper-complex deep learning (cenni);
• “Robust & Adaptive Deep Learning” in spazi geometrici non-convenzionali (cenni)
• “Robust & Adaptive Deep Learning“ e Generative AI nel settore industriale;
• “Robust & Adaptive Deep Learning” e Generative AI nel settore Legale/Finanziario;

1.    Slides fornite dal Docente

2.    I. Goodfellow et al., Deep Learning

3.    D. Foster, Generative Deep Learning (2a edizione)

4.    R. Gupta et al, Generative AI: Techniques, Models and Applications, ISSN 2367-4512

5.    Pubblicazioni scientifiche suggerite/fornite dal Docente;

L'esame finale sarà cosi articolato:

1.    Prova scritta;

2.    Realizzazione di un progetto in ambiente python concordato con il docente. 

La prova scritta è costituita da cinque domande a risposta aperta. La prenotazione per la partecipazione alla prova scritta è obbligatoria.

Note:

• È vietato l'uso di qualsiasi strumento hardware (calcolatrici programmabili/scientifiche, tablet, smartphone, smartwatch, cellulari, auricolari BT etc.), di libri o documenti personali durante la prova scritta. Eventuale documentazione sarà fornita dalla commissione durante l'esame. 
• Durante le prove scritte non potranno essere tenuti a portata di mano zaini, bose ed altri contenitori, che dovranno essere lasciati a debita distanza. Si consiglia di non portare con sè oggetti di valore: la commissione non prenderà in custodia nulla e non potrà essere ritenuta responsabile di eventuali mancanze.
• Per sostenere gli esami è necessario avere effettuato la prenotazione sul portale SmartEdu. Per eventuali problemi tecnici relativi alla prenotazione occorre rivolgersi alla Segreteria didattica.
• Non sono ammesse prenotazioni tardive tramite email. In mancanza di prenotazione, l'esame non può essere nè sostenuto nè verbalizzato.
• Gli studenti con disabilità e/o DSA dovranno contattare, con largo anticipo rispetto alla data dell'esame, la commissione e il referente CInAP del DMI (Prof.ssa P. Daniele) per comunicare che intendono sostenere l'esame fruendo delle opportune misure compensative. Tali misure devono essere certificate dal CInAP.

Prove in Itinere: Non previste

In caso di necessità, a seguito di apposite indicazioni da parte degli organi di Ateneo, la verifica potrà essere effettuata in modalità telematica, con le necessarie variazioni rispetto a quanto dichiarato in precedenza.

Le prove sono finalizzate ad ottenere una valutazione complessiva della preparazione dello studente. La valutazione finale di idoneità si baserà sulla valutazione sia della prova scritta che del progetto.

• Lo studente descriva le problematiche di "Adversarial Attack" in un sistema RL-DL;
• Quali sono le caratteristiche e le criticità del paradigma di apprendimento di architetture GAN;
• Lo studente descriva la modalità RAG relativamente ai sistemi LLMs, identificando punti di forza e criticità

Si precisa che tali domande hanno carattere puramente indicativo: le domande proposte all'esame potranno divergere, anche in modo significativo.