1014450 - MACHINE LEARNING

Lo scopo del corso è quello di fornire un'approfondita introduzione delle principali teorie e tecniche algoritmiche del Learning Machine. A tal proposito, saranno presentati formalmente i modelli fondamentali e architetture dello stato dell’arte per la classificazione e la regressione, con particolare enfasi sulle metodologie basate su reti neurali. Verrà introdotto l’approccio moderno dell’apprendimento automatico mediante tecniche basate su reti neurali e convoluzionali e saranno presentati casi applicativi in diversi contesti di rilevanza accademica e industriale (es. object detection). Saranno discusse le metodologie per realizzare e ottimizzare algoritmi di apprendimento automatico, e quelle utili alla valutazione delle performance dei sistemi di Machine Learning. La presentazione degli argomenti si sviluppa mediante lezioni teoriche e laboratoriali in cui gli studenti implementeranno e utilizzeranno gli algoritmi trattati mediante linguaggio Python e librerie software open source (es. PyTorch) adattandoli a problemi specifici mediante un progetto sviluppato dagli studenti del corso. Obiettivi formativi generali dell'insegnamento in termini di risultati di apprendimento attesi:

• Conoscenza e capacità di comprensione (knowledge and understanding): lo studente acquisirà le conoscenze e i concetti alla base dei sistemi di apprendimento automatico ed in particolare le metodologie base che permettono di creare sistemi di classificazione/regressione a partire da dati eterogenei
• Capacità di applicare conoscenza e comprensione (applying knowledge and understanding): lo studente acquisirà le competenze pratiche di realizzazione di sistemi di apprendimento automatico attraverso attività laboratoriale
• Autonomia di giudizio (making judgements): Attraverso gli homework e le correzioni in classe degli stessi lo studente sarà in grado di elaborare autonomamente soluzioni in grado di risolvere i problemi di base che potrebbero presentarsi nel mondo del lavoro
• Abilità comunicative (communication skills): lo studente acquisirà le necessarie abilità comunicative e di appropriatezza espressiva nell'impiego del linguaggio tecnico nell'ambito generale dei sistemi di apprendimento automatico.
• Capacità di apprendimento (learning skills): Lo scopo del corso è quello di fornire un'approfondita introduzione delle principali teorie e tecniche algoritmiche del Learning Machine. A tal proposito, saranno presentati modelli fondamentali per la classificazione e la regressione, e le architetture basate su reti neurali (es. Deep Learning). Saranno discusse le metodologie per realizzare e ottimizzare gli algoritmi di apprendimento automatico, e quelle utili alla valutazione delle performance dei sistemi di Machine Learning. Si utilizzeranno librerie software open source in linguaggio Python per mettere in pratica le nozioni teoriche presentate nel corso. In particolare, il corso si propone di formare studenti che:

• comprendano concetti chiave alla base delle tecniche di Machine Learning;
• conoscano una ampia gamma di algoritmi di apprendimento per risolvere problemi classici del Machine Learning (classificazione e regressione);
• comprendano come effettuare il design e il tuning degli algoritmi al fine di applicare gli stessi a nuovi set di dati;
• siano in grado di eseguire la valutazione degli algoritmi di Machine Learning in modo da poter selezionare il modello migliore;
• saranno in grado di sviluppare nuovi algoritmi di Machine Learning in Python o di adattare algoritmi esistenti a nuovi casi d’uso.

Qualora l'insegnamento venisse impartito in modalità mista o a distanza potranno essere introdotte le necessarie variazioni rispetto a quanto dichiarato, al fine di rispettare il programma previsto e riportato nel syllabus

Le lezioni sono tenute in aula con l'ausilio di slide, messe a disposizione degli studenti. Le slide non sostituiscono i testi di riferimento, ma, oltre che agevolare la comprensione della lezione, forniscono un dettaglio puntuale sul programma svolto. Le lezioni frontali teoriche sono intervallate da esercitazioni pratiche in linguaggio python, svolte nella stessa aula di lezione. Gli studenti sono invitati a formare piccoli gruppi di lavoro (massimo 3 persone) per lo svolgimento delle esercitazioni proposte e del progetto finale.

Non si richiedono prerequisiti specifici. Si utilizzeranno nozioni di base delle seguenti materie: 

Elementi di Analisi Matematica

Matematica Discreta

Fondamenti di Informatica

Programmazione

Interazione e Multimedia

Algoritmi

La frequenza delle lezioni non è obbligatoria ma è fortemente consigliata. In particolare si consiglia la frequenza alle ore di esercitazione.

• Basic Concepts: Machine Learning, Probability Theory, Supervised Learning, Unsupervised Learning, Classificazione, Regressione, Training/Validation/Test Set, Performance Evaluation, Data Normalization, Overfitting and Regularization, XOR Problem, Perceptron
• Linear Models for Regression: Linear Regression, Gradient descent algorithm, Learning Rate and Debugging, Polynomial Regression, Overfitting e Regularization for Linear Regression, Regressione Lineare in Pytorch, API ad oggetti di Pytorch, Monitoring del training con Tensorboard, Linear Regression Evaluation, Learning Algorithms Design
• Linear Models for Classification: Logistic Regression, Logistic Regression with Pytorch, Regularization for Logistic Regression,  Stochastic Gradient Descent, Momentum for Gradient Descent, Multi-Class Classification, Classifiers Evaluation
• Softmax Classifier and python implementation
• Computational Graphs and Backpropagation
• Neural Networks and python implementation
• Deep Learning: Convolutional Neural Network and python implementation, Transfer Learning
• Object Detection: One-Stage vs. Two-Stage, Evaluation Measures
• Python programming and Python Libraries for Machine Learning

1. R. O. Duda, P. E. Hart, D. G. Stork, "Pattern Classification", Wiley, 2000
2. C. Bishop, “Pattern Recognition and Machine Learning", Springer, 2006
3. E. Alpaydin, “Introduction to Machine Learning”, MIT Press, 2014
4. I. Goodfellow, Y. Bengio and A. Courville, "Deep Learning", MIT Press, 2016
5. Raul Rojas, Neural Networks - A Systematic Introduction, Springer, 1996
6. M. P. Deisenroth, A A. Faisal, and C. Soon On, Mathematics for Machine Learning, MIT Press, 2019

L'esame finale consiste in una prova scritta e la realizzazione di un progetto (che include relazione) concordato con il docente.

La prova scritta è costituita, di norma, da tre domande a risposta aperta. La prenotazione per la partecipazione alla prova scritta è obbligatoria.

Il voto finale è ottenuto dalla media dei voti della prova scritta e del progetto.

Prova in Itinere: Non prevista

Salvo diversa comunicazione:

- l'esame scritto si svolge nei giorni previsti nel calendario ufficiale del Corso di Laurea

- il progetto, insieme alla relazione, deve essere consegnato entro una settimana dallo scritto

La verifica dell’apprendimento potrà essere effettuata anche per via telematica, qualora le condizioni lo dovessero richiedere.

La votazione è espressa in trentesimi secondo il seguente schema: 

Voto 29-30 e lode 

Lo studente ha una conoscenza approfondita dei concetti fondamentali e i principali algoritmi di Machine Learning. Riesce a formalizzare problemi di Machine Learning, individuando gli algoritmi e le tecniche più idonee alla risoluzione dei problemi considerati in maniera autonoma e con spirito critico. Ha ottime capacità comunicative e proprietà di linguaggio. 

Voto 26-28 

Lo studente ha una buona conoscenza dei concetti fondamentali e i principali algoritmi di Machine Learning.  Riesce a formalizzare problemi di Machine Learning, individuando degli algoritmi e tecniche idonee alla risoluzione dei problemi considerati. Ha buone capacità comunicative e proprietà di linguaggio. 

Voto 22-25 

Lo studente ha una discreta conoscenza dei concetti fondamentali e i principali algoritmi di Machine Learning.  Riesce a formalizzare problemi di Machine Learning, seppure non sempre in maniera esaustiva, individuando degli algoritmi e tecniche idonee alla risoluzione del problema considerato. Ha discrete capacità comunicative e proprietà di linguaggio. 

Voto 18-21 

Lo studente ha la minima conoscenza dei concetti fondamentali e i principali algoritmi di Machine Learning. Ha una modesta capacità di formalizzare problemi di Machine Learning, e di individuare degli algoritmi e tecniche idonee alla risoluzione dei problemi considerati. Ha sufficienti capacità comunicative, seppure non sempre una appropriata proprietà di linguaggio. 

Esame non superato 

Lo studente non possiede la conoscenza minima richiesta dei contenuti principali dell’insegnamento. La capacità di utilizzare il linguaggio specifico è scarsissima o nulla e non è in grado di applicare autonomamente le conoscenze acquisite.

- Si discuta l'algoritmo di Backpropagation utilizzato per addrestrare le Reti Neurali

- Si definisca il problema dell'overfitting e si discuta la regolarizzazione

- di discuta il classificatore Softmax