9796562 - MULTIMEDIA DATA MODELLING

Obiettivi formativi generali dell'insegnamento in termini di risultati di apprendimento attesi.

1. Conoscenza e capacità di comprensione (knowledge and understanding): l'obiettivo del corso è quello di far acquisire conoscenze che consentano allo studente di comprendere i concetti base sulle immagini e video digitali, nonché la loro elaborazione per l’analisi accurata di features discriminative di basso livello utili a risolvere i più comuni task (face recognition; face detection; etc) 
2.  Capacità di applicare conoscenza e comprensione (applying knowledge and understanding): lo studente acquisirà le competenze necessarie per l’elaborazione e l’analisi di contenuti multimediali. A tale riguardo una parte del corso consisterà in lezioni di laboratorio, con esempi pratici di programmi scritti in linguaggio Python e utilizzo di librerie ad-hoc (principalmente OpenCV). 
3.  Autonomia di giudizio (making judgements): Lo studente sarà in grado di elaborare autonomamente soluzioni in grado scrivere soluzioni algoritmiche per l’analisi di contenuti multimediali. 
4. Abilità comunicative (communication skills): lo studente acquisirà le necessarie abilità comunicative e di appropriatezza espressiva nell'impiego del linguaggio tecnico nell'ambito generale delle immagini e video digitali e i concetti base di computer vision di basso livello.
5. Capacità di apprendimento (learning skills): il corso si propone, come obiettivo, di fornire allo studente le necessarie metodologie teoriche e pratiche per poter affrontare e risolvere autonomamente nuove problematiche che dovessero sorgere durante una attività lavorativa. A tale scopo diversi argomenti saranno trattati a lezione coinvolgendo lo studente nella ricerca di possibili soluzioni a problemi reali
   

• Conoscenze base del linguaggio Python
• Concetti base di Machine Learning: 

La prima parte del corso riguarda le immagini digitali:

• Introduzione alle immagini digitali + Lab. Sessione
• Operazioni di interpolazione: replication, bilinear and bicubic + Lab. Sessione
• Dominio spaziale e dominio della frequenza + Lab. Sessione
• Trasformata di Fourier e DCT + Lab. Sessione
• La convoluzione e il teorema della convoluzione
• Compressione con e senza perdite
• Lo standard JPEG
• Morfologia matematica applicata alle immagini digitali.
• Morfologia matematica applicata alle immagini in scala di grigio + Lab. Sessione
• Restauro di immagini e modelli di rumore + Lab. Sessione
• Filtri: media aritmetica, geometrica, armonica e controarmonica + Lab. Sessione
• Mediana, minimo, massimo, punto medio,  + Lab. Sessione
• Filtri adattivi + Lab. Sessione
• Rumore periodico. Rimozione del rumore nel dominio della frequenza + Lab. Sessione
• Filtraggio nel dominio spaziale. Rilevatore di bordi. Algoritmo di Canny + Lab. Sessione
• Steganografia e steganalisi + Lab. Sessione

La seconda parte del corso riguarda il video digitale:

• Introduzione al video digitale e principali definizioni: aspect ratio, risoluzione, formato file video.
• Laboratorio. Sessione: OpenCV applicata ai video digitali
• Formati video (MPEG-1, MPEG-2, MPEG-4, H.264).

La terza parte del corso riguarda il Visione a basso livello:

• Visione a basso livello: Filtri e features: Bordi, Texture, Piramide Laplaciana, Rilevamento di edge (Harris, ...), SIFT.
• Applicazioni di visione artificiale: rilevamento e riconoscimento di volti, ecc.

La quarta parte del corso riguarda la modellazione e l'elaborazione dei dati digitali:

• Modellazione di dati (features estratti da contenuti multimediali) e task di classificazione 

Sessione di laboratorio:

• Verrà utilizzato il linguaggio Python applicato all'elaborazione di immagini e video digitali
• Introduzione a OpenCV e ad altre librerie di elaborazione di immagini/video
• Implementazione di algoritmi di Computer Vision (studiati nella parte teorica)

Durante il corso saranno previsti diversi seminari su diverse tematiche attinenti agli argomenti trattati nel corso, come ad esempio "Cenni sulle tecniche di manipolazione e rilevamento dei contenuti multimediali: dall'Image Forgery ai Deepfakes"

Digital Image Processing, (3rd Edition) Rafael C. Gonzalez, Richard E. Woods, Ediz. Pearson, Prentice Hall

G. Bradski, A. Kaehler, “Learning OpenCV Computer Vision with the OpenCV Library” O'Reilly Media, 2008;

Mubarak Shah, "Fundamentals of Computer Vision" (pdf), 1997

Richard Szeliski, Computer Vision: Algorithms and Application, Springer 2010

1.       Cos'è un'immagine digitale?

a)       Una fotografia scattata con una fotocamera analogica

b)      Una matrice di valori di intensità luminosa

c)       Un video compresso

d)      Un'immagine disegnata a mano

2.       Quali sono le tipologie di immagini?

a)       Bianco e Nero, Grigio e Blu

b)      Grigio e Verde, A colori, Rosa e Blu

c)       Bianco e Nero, Scala di grigio, A colori

d)      Giallo e Rosso, Verde e Blu, A colori

3.       Cosa rappresenta lo spazio colore RGB?

a)       Una serie di coordinate astratte

b)      Una rappresentazione dei colori basata su rosso, giallo e blu

c)       La retta dei grigi

d)      Una rappresentazione dei colori basata su rosso, verde e blu

4.       Cos'è la risoluzione spaziale di un'immagine?

a)       Il numero di colori presenti nell'immagine

b)      Il numero di punti di informazione (pixel) dell'immagine

c)       La dimensione fisica dell'immagine

d)      La velocità a cui l'immagine viene visualizzata

5.       Quali sono i tre tipi principali di frame nei video?

a)       I, P, L

b)      I, Q, B

c)       I, P, B

d)      I, X, Z