MULTIMEDIA E LABORATORIO

9 CFU - 1° semestre

Docenti titolari dell'insegnamento

FILIPPO STANCO - Modulo MULTIMEDIA - INF/01 - 6 CFU
DARIO ALLEGRA - Modulo LABORATORIO - INF/01 - 3 CFU

Obiettivi formativi

MULTIMEDIA
Diventare esperto di sistemi multimediali: immagini, audio e video.

Obiettivi formativi generali dell'insegnamento in termini di risultati di apprendimento attesi.
1. Conoscenza e capacità di comprensione (knowledge and understanding): l'obiettivo del corso è quello di far acquisire conoscenze che consentano allo studente di comprendere i meccanismi teorici e fisici che stanno alla base del sistema visivo umano, della formazione ed elaborazione del suono, del video e delle immagini digitali, del miglioramento della qualità visiva delle immagini digitali e della qualità audio.
2. Capacità di applicare conoscenza e comprensione (applying knowledge and understanding): lo studente acquisirà le competenze necessarie per acquisire, editare, comprimere e salvare un segnale viedeo e audio. In particolare una parte del corso sarà relativa allo studio del software Matlab per applicare tali conoscenze teoriche.
3. Autonomia di giudizio (making judgements): Attraverso esempi in aula lo studente sarà messo nelle condizioni di comprendere se le soluzioni da lui proposte soddisfano un certo grado di qualità.
4. Abilità comunicative (communication skills): lo studente acquisirà le necessarie abilità comunicative e la proprietà di linguaggio tecnico nell'ambito del settore Multimediale.
5. Capacità di apprendimento (learning skills): il corso si propone, come obiettivo, di fornire allo studente le necessarie metodologie teoriche e pratiche per poter affrontare e risolvere autonomamente nuove problematiche che dovessero sorgere durante una attività lavorativa. A tale scopo diversi argomenti saranno trattati a lezione coinvolgendo lo studente nella ricerca di possibili soluzioni a problemi reali.
LABORATORIO
Diventare esperto di sistemi multimediali - immagini, audio e video - acquisendo le competenze per programmare sistemi di elaborazioni per informazioni di questo tipo.

Obiettivi formativi generali dell'insegnamento in termini di risultati di apprendimento attesi.
1. Conoscenza e capacità di comprensione (knowledge and understanding): l'obiettivo del corso è quello di far acquisire conoscenze che consentano allo studente di comprendere i meccanismi teorici e fisici che stanno alla base del sistema visivo umano, della formazione ed elaborazione del suono, del video e delle immagini digitali, del miglioramento della qualità visiva delle immagini digitali e della qualità audio.
2. Capacità di applicare conoscenza e comprensione (applying knowledge and understanding): lo studente acquisirà le competenze necessarie per acquisire, editare, comprimere e salvare un segnale viedeo e audio. In particolare una parte del corso sarà relativa allo studio del software Matlab per applicare tali conoscenze teoriche.
3. Autonomia di giudizio (making judgements): Attraverso esempi in aula lo studente sarà messo nelle condizioni di comprendere se le soluzioni da lui proposte soddisfano un certo grado di qualità.
4. Abilità comunicative (communication skills): lo studente acquisirà le necessarie abilità comunicative e la proprietà di linguaggio tecnico nell'ambito del settore Multimediale.
5. Capacità di apprendimento (learning skills): il corso si propone, come obiettivo, di fornire allo studente le necessarie metodologie teoriche e pratiche per poter affrontare e risolvere autonomamente nuove problematiche che dovessero sorgere durante una attività lavorativa. A tale scopo diversi argomenti saranno trattati a lezione coinvolgendo lo studente nella ricerca di possibili soluzioni a problemi reali.

Modalità di svolgimento dell'insegnamento

MULTIMEDIA
Didattica frontale

Attività laboratoriali in Aula
LABORATORIO
Attività laboratoriali in Aula

Prerequisiti richiesti

MULTIMEDIA
Aver superato il corso di Interazione e Multimedia della Laurea Triennale
LABORATORIO
Aver superato il corso di Interazione e Multimedia della Laurea Triennale che comprende un modulo di laboratorio svolto nel linguaggio Processing.

Frequenza lezioni

MULTIMEDIA
la frequenza è fortemente consigliata
LABORATORIO
La frequenza è fortemente consigliata.

Contenuti del corso

MULTIMEDIA
Valutazione della qualità di una immagine. Criteri oggettivi e soggettivi. PSNR, SSIM, Delta E in CIE L*a*b*.
Formati delle immagini Raster e vettoriale. Formati delle immagini: BMP, PNG, TIFF, GIF. Compressione e codifiche: Huffman, Golomb, Aritmetica.
Codifiche LZW, differenziale, RLE, basate su i simboli, sul bit plane. Codifica mediante la trasformata.
Trasformate Haar, Fourier, DCT.
La morfologia matematica applicata alle immagini.
La morfologia matematica applicata alle immagini in scala di grigio.
restauro di immagini. Modelli di rumore
Filtri di media aritmetica, geometrica, armonica e contrarmonica. Filtro mediano, minimo, massimo, punto medio, alpha-trimmed. Filtri adattivi. Rumore periodico. Rimozione del rumore nel dominio delle frequenze. Notch filter. Filtro di Wiener.
Filtraggio nel dominio spaziale. Edge detector. Algoritmo di Canny. Filtraggio nel dominio delle frequenze. Filtraggio di enfasi. Filtraggio omomorfico. Trasformata di Hough.
Segmentazione delle immagini
Audio Digitale: Definizione di suono e audio, cenni sulle onde, serie di Fourier.
Audio Digitale: Frequenza dei suoni, spettro udibile, toni puri e complessi, note musicali, diapason, rifrazione, riflessione e diffrazione delle onde sonore, eco, riverbero.
Audio Digitale: Effetto doppler, ampiezza dei suoni, decibel, decibel SPL e SIL, inviluppo, spettro dei suoni, rumori colorati.
Audio Digitale: Audio analogico, campionamento e quantizzazione segnali audio, SNR e SQNR, formati audio digitale, codifica PCM e u-law.
Audio Digitale: Codifica A-law, altre tipologie di codifica, rappresentazione audio digitale ed elaborazione nel dominio del tempo (modifica volume, inviluppo e effetti).
Audio Digitale: Laboratorio in aula: implementazione in matlab di algoritmi di elaborazione audio.
Video Digitale: Aspect Ratio; Risoluzione; Interlacciamento; Formati di trasmissione e registrazione analogici e digitali.
Video Digitale: Conversione Analogico-Digitale; Parte II – Errori di registrazione, artefatti e drop analogici e digitali più comuni; Parte III – Proiezioni fra spazio 3D e 2D, modello CAHV, laboratorio Matlab sulle proiezioni, introduzione ai motion field più comuni.
Video Digitale: Laboratorio Matlab: Confronto fra motion field ideali ed empirici, calcolo ed analisi visuale di motion field generici. Modelli di movimento della telecamera a 4-parametri e a 6-parametri. Criterio di stima del movimento: Displaced Frame Difference. Algoritmi di block matching: esaustivo e three-step search. Algoritmi di feature matching: FAST.
Video Digitale: Stabilizzazione. Sistemi di Stabilizzazione Digitale: algoritmi di filtraggio del movimento (Motion Vector Integration, Frame Position Smoothing e filtro Kalman); esempi di deformazione dell'immagine e di stabilizzazione cromatica. Laboratorio Matlab: rilevamento del movimento con sottrazione del background; esempio applicativo del filtro Kalman; esempio applicativo di stabilizzazione video tramite algoritmo FAST.
Video Digitale: Formati video MPEG-1, MPEG-2, MPEG-4, H.264. 3D Scan - tipologie di laser scanning (a triangolazione, a luce strutturata, a tempo di volo, tramite fotografie): hardware, metodi ed esempi.
LABORATORIO
Nel modulo di laboratorio si riprenderanno i contenuti della parte teorica, fornendo degli strumenti pratici per poter implementare alcuni degli algoritmi noti.

I linguaggi di programmazione utilizzati saranno Python e Matlab.

Testi di riferimento

MULTIMEDIA
ELABORAZIONE DELLE IMMAGINI DIGITALI, Terza Edizione, Rafael C. Gonzalez, Richard E. Woods, Ediz. Pearson, Prentice Hall

Audio e multimedia 3 ed., di Lombardo, Valle, Apogeo ISBN: 9788850327621

Video Processing and Communications, Wang, Osternmann, Zhang, Prentice Hall, Pearson Education, ISBN: 0-13-017547-1
LABORATORIO
ELABORAZIONE DELLE IMMAGINI DIGITALI, Terza Edizione, Rafael C. Gonzalez, Richard E. Woods, Ediz. Pearson, Prentice Hall

Audio e multimedia 3 ed., di Lombardo, Valle, Apogeo ISBN: 9788850327621

Video Processing and Communications, Wang, Osternmann, Zhang, Prentice Hall, Pearson Education, ISBN: 0-13-017547-1

Altro materiale didattico

MULTIMEDIA
Tutto il materiale didattico è presente su Studium
LABORATORIO
Trattandosi di un modulo di laboratorio, la documentazione relativa ai linguaggi di programmazione e alle librerie usato costituirà uno dei principali strumenti didattici.

Programmazione del corso

MULTIMEDIA
	Argomenti	Riferimenti testi
1	Restauro e ricostruzione di immagini	Capitolo 5 di "Elaborazione delle Immagini Digitali"
2	Morfologia applicata alle immagini digitali	Capitolo 9 di "Elaborazione delle immagini digitali"
3	La Segmentazione di immagini	Capitolo 10 di "Elaborazione delle immagini digitali"
4	Codifiche, formati di immagini	Capitolo 8 di "Elaborazione delle immagini digitali"
5	Modelli per la telecamera e stima del movimento	Capitolo 5 di "Video Processing and Communications"
6	Stima del movimento a due dimensioni	Capitolo 6 di "Video Processing and Communications"
7	Fondamenti di codifica video	Capitolo 8 di "Video Processing and Communications"
8	Standard di compressione video	Capitolo 13 di "Video Processing and Communications"
9	Acustica e natura del suono. Forme d'onda e Analisi di Fourier.	Capitolo 1 di "Audio e multimedia"
10	La fisica del suono e la percezione uditiva	Capitolo 2 di "Audio e multimedia"
11	Digitalizzazione del suono	Capitolo 3 di "Audio e multimedia"
12	Compressione e codifiche u-law e A-law	Capitolo 4 di "Audio e multimedia"
13	Effetti sonori	Capitolo 5 di "Audio e multimedia"
LABORATORIO
	Argomenti	Riferimenti testi
1	Python programmig for multimedia.	Python Docs.
2	Matlab programmin for multimedia.	Matlab Docs.

Verifica dell'apprendimento

MODALITÀ DI VERIFICA DELL'APPRENDIMENTO

MULTIMEDIA
1. test scritto su contenuto del corso
2. eventuale progetto integrativo
E' prevista una prova in itinere nel periodo di sospensione delle lezioni per prove in itinere previsto dal Corso di Laurea. Le date sono riportate su http://web.dmi.unict.it/corsi/lm-18/calendario-didattico
LABORATORIO
L'apprendimento verrà verificato svolgendo un progetto software concordato con il docente.

ESEMPI DI DOMANDE E/O ESERCIZI FREQUENTI

MULTIMEDIA
Rumore casuale nelle immagini:
- Cos’è il rumore casuale nelle immagini? Da cosa può essere introdotto?
- Sia P una distribuzione di probabilità di legge P(x)=0.10 per x=0; P(x)=0.25 per x=255; P(x)=0 altrimenti. Dove x è un valore (intero) di luminanza a 8 bit. Come si chiama il rumore che segue tale distribuzione di probabilità? Discutere del significato della distribuzione descritta.
- Cos’è il filtro di media contrarmonica? Com’è definito?
- Il filtro di media contrarmonica può essere utilizzato per attenuare il suddetto rumore con distribuzione P? Se si, spiegare come. Se no, proporre un altro tipo di filtraggio.
Operatori morfologici:
- Cos’è l’elemento strutturante nella morfologia matematica applicata alle immagini?
- A cosa serve l’operatore morfologico Bottom-hat?
- Nella definizione dell’operazione di Bottom-hat si utilizza l’operatore di Chiusura. Com’è definita tale operazione di Chiusura? Quali sono i suoi effetti?
- Indicare almeno una proprietà matematica dell’operatore di Chiusura.
Fenomeni fisici legati al suono:
- Cosa si intende per “ombra sonora”? A quale fenomeno fisico è legato?
- Cos’è l’effetto Doppler? Discutere.
- Cosa succede se una sorgente sonora si muove alla stessa velocità del suono che emette? Cosa avvertirà un ricevitore fermo?
Bitrate:
- Cos’è il bitrate nell’audio digitale? Da quali valori dipende? Cosa rappresentano tali valori?
- Discutere delle operazioni di sovracampionamento e sottocampionamento. Cosa sono? Come si possono effettuare? Che effetti hanno?
- Un segnale audio non compresso con bitrate pari a 1200 kbps e frequenza di campionamento pari a 44000Hz viene sottocampionato 2 volte. La prima volta il bitrate viene portato a 600 kbps e la seconda volta a 300kbps. Dopo il primo sottocampionamento il segnale non presenta distorsioni. Dopo il secondo sottocampionamento si rileva invece una distorsione. E’ possibile una cosa del genere? Motivare.
- E’ possibile stabilire un range di valori per la frequenza di Nyquist di tale segnale? Se si qual è?
Formati di trasmissione e registrazione:
- Dire a cosa sia dovuto l’acronimo “SECAM” dell’omonimo formato TV analogico, e descriverne brevemente il funzionamento.
- Che sistema di modulazione adotta SECAM? Ci sono differenze rispetto al sistema di modulazione adottato in NTSC e PAL?
- Quale spazio di colore è utilizzato nel formato TV analogico SECAM? Cosa rappresentano e come sono calcolati i 3 canali di tale spazio di colore?
- -Quali sono i principali vantaggi e svantaggi del formato TV analogico SECAM?
Dispositivi, metodi di registrazione e scansione:
- Descrivere il funzionamento del sistema di scansione con interlacciamento.
- In presenza di interlacciamento come cambiano le relazione fra larghezza di banda del canale, banda del segnale e frequenza di visualizzazione?
- L’interlacciamento può introdurre degli artefatti. Quali? Fare un esempio.
- Quale difetto di visualizzazione può essere invece corretto utilizzando l’interlacciamento?
- Su quale tipologia di monitor è preferibile utilizzare formati video interlacciati e su quale no? Come si chiama l’alternativa al sistema di scansione con interlacciamento?
LABORATORIO
I progetti verteranno sugli argomenti del corso, per cui si potrebbe chiedere l'implementazione di:
- Algoritmi per il miglioramento della qualità di contenuti multimediali;
- Algoritmi per l'elaborazione di contenuti audio/immagini/video;
- Algoritmi per la codifica e compressione di informazioni multimediali;
- Algoritmi per l'estrazione di informazioni relative alla semantica dei contenuti multimediali;

Apri in formato Pdf English version