MULTIMEDIA E LABORATORIO

9 CFU - 1° semestre

Docenti titolari dell'insegnamento

FILIPPO STANCO - Modulo MULTIMEDIA - INF/01 - 6 CFU
DARIO ALLEGRA - Modulo LABORATORIO - INF/01 - 3 CFU

Obiettivi formativi

MULTIMEDIA
Diventare esperto di sistemi multimediali: immagini, audio e video.

Obiettivi formativi generali dell'insegnamento in termini di risultati di apprendimento attesi.
1. Conoscenza e capacità di comprensione (knowledge and understanding): l'obiettivo del corso è quello di far acquisire conoscenze che consentano allo studente di comprendere i meccanismi teorici e fisici che stanno alla base del sistema visivo umano, della formazione ed elaborazione del suono, del video e delle immagini digitali, del miglioramento della qualità visiva delle immagini digitali e della qualità audio.
2. Capacità di applicare conoscenza e comprensione (applying knowledge and understanding): lo studente acquisirà le competenze necessarie per acquisire, editare, comprimere e salvare un segnale viedeo e audio. In particolare una parte del corso sarà relativa allo studio del software Matlab per applicare tali conoscenze teoriche.
3. Autonomia di giudizio (making judgements): Attraverso esempi in aula lo studente sarà messo nelle condizioni di comprendere se le soluzioni da lui proposte soddisfano un certo grado di qualità.
4. Abilità comunicative (communication skills): lo studente acquisirà le necessarie abilità comunicative e la proprietà di linguaggio tecnico nell'ambito del settore Multimediale.
5. Capacità di apprendimento (learning skills): il corso si propone, come obiettivo, di fornire allo studente le necessarie metodologie teoriche e pratiche per poter affrontare e risolvere autonomamente nuove problematiche che dovessero sorgere durante una attività lavorativa. A tale scopo diversi argomenti saranno trattati a lezione coinvolgendo lo studente nella ricerca di possibili soluzioni a problemi reali.
LABORATORIO
Diventare esperto di sistemi multimediali - immagini, audio e video - acquisendo le competenze per programmare sistemi di elaborazioni per informazioni di questo tipo.

Obiettivi formativi generali dell'insegnamento in termini di risultati di apprendimento attesi.
1. Conoscenza e capacità di comprensione (knowledge and understanding): l'obiettivo del corso è quello di far acquisire conoscenze che consentano allo studente di comprendere i meccanismi teorici e fisici che stanno alla base del sistema visivo umano, della formazione ed elaborazione del suono, del video e delle immagini digitali, del miglioramento della qualità visiva delle immagini digitali e della qualità audio.
2. Capacità di applicare conoscenza e comprensione (applying knowledge and understanding): lo studente acquisirà le competenze necessarie per acquisire, editare, comprimere e salvare un segnale viedeo e audio. In particolare una parte del corso sarà relativa allo studio del software Matlab per applicare tali conoscenze teoriche.
3. Autonomia di giudizio (making judgements): Attraverso esempi in aula lo studente sarà messo nelle condizioni di comprendere se le soluzioni da lui proposte soddisfano un certo grado di qualità.
4. Abilità comunicative (communication skills): lo studente acquisirà le necessarie abilità comunicative e la proprietà di linguaggio tecnico nell'ambito del settore Multimediale.
5. Capacità di apprendimento (learning skills): il corso si propone, come obiettivo, di fornire allo studente le necessarie metodologie teoriche e pratiche per poter affrontare e risolvere autonomamente nuove problematiche che dovessero sorgere durante una attività lavorativa. A tale scopo diversi argomenti saranno trattati a lezione coinvolgendo lo studente nella ricerca di possibili soluzioni a problemi reali.

Modalità di svolgimento dell'insegnamento

MULTIMEDIA
Didattica frontale

Attività laboratoriali in Aula
LABORATORIO
Attività laboratoriali in Aula

Qualora l'insegnamento venisse impartito in modalità mista o a distanza potranno essere introdotte le necessarie variazioni rispetto a quanto dichiarato in precedenza, al fine di rispettare il programma previsto e riportato nel syllabus.

Prerequisiti richiesti

MULTIMEDIA
Aver superato il corso di Interazione e Multimedia della Laurea Triennale
LABORATORIO
Aver superato il corso di Interazione e Multimedia della Laurea Triennale che comprende un modulo di laboratorio svolto nel linguaggio Processing.

Frequenza lezioni

MULTIMEDIA
la frequenza è fortemente consigliata
LABORATORIO
La frequenza è fortemente consigliata.

Contenuti del corso

MULTIMEDIA
Segnali: cenni sulle onde, serie di Fourier ed esercizi
Segnali: tipi di segnale, campionamento, teoremi di shannon per il campionamento e la ricostruzione, quantizzazione uniforme e non uniforme, SQNR e RMS
Segnali: dithering, tipologie di dithering: random, ordered, error diffusion; algoritmo di Floyd-Steinberg, algoritmo di Jarvis
Segnali: Trasformate discrete, metodo di costruzione, trasformata di Haar, di Walsh/Hadamard e di Fourier
Segnali: Laboratorio in MATLAB sugli argomenti trattati

Valutazione della qualità di una immagine. Criteri oggettivi e soggettivi. PSNR, SSIM, Delta E in CIE L*a*b*.
Formati delle immagini Raster e vettoriale. Formati delle immagini: BMP, PNG, TIFF, GIF. Compressione e codifiche: Huffman, Golomb, Aritmetica.
Codifiche LZW, differenziale, RLE, basate su i simboli, sul bit plane. Codifica mediante la trasformata.
Trasformate Haar, Fourier, DCT.
La morfologia matematica applicata alle immagini.
La morfologia matematica applicata alle immagini in scala di grigio.
restauro di immagini. Modelli di rumore
Filtri di media aritmetica, geometrica, armonica e contrarmonica. Filtro mediano, minimo, massimo, punto medio, alpha-trimmed. Filtri adattivi. Rumore periodico. Rimozione del rumore nel dominio delle frequenze. Notch filter. Filtro di Wiener.
Filtraggio nel dominio spaziale. Edge detector. Algoritmo di Canny. Filtraggio nel dominio delle frequenze. Filtraggio di enfasi. Filtraggio omomorfico. Trasformata di Hough.
Segmentazione delle immagini

Video Digitale: Aspect Ratio; Risoluzione; Interlacciamento; Formati di trasmissione e registrazione analogici e digitali.
Video Digitale: Conversione Analogico-Digitale; Parte II – Errori di registrazione, artefatti e drop analogici e digitali più comuni; Parte III – Proiezioni fra spazio 3D e 2D, modello CAHV, laboratorio Matlab sulle proiezioni, introduzione ai motion field più comuni.
Video Digitale: Laboratorio Matlab: Confronto fra motion field ideali ed empirici, calcolo ed analisi visuale di motion field generici. Modelli di movimento della telecamera a 4-parametri e a 6-parametri. Criterio di stima del movimento: Displaced Frame Difference. Algoritmi di block matching: esaustivo e three-step search. Algoritmi di feature matching: FAST.
Video Digitale: Stabilizzazione. Sistemi di Stabilizzazione Digitale: algoritmi di filtraggio del movimento (Motion Vector Integration, Frame Position Smoothing e filtro Kalman); esempi di deformazione dell'immagine e di stabilizzazione cromatica. Laboratorio Matlab: rilevamento del movimento con sottrazione del background; esempio applicativo del filtro Kalman; esempio applicativo di stabilizzazione video tramite algoritmo FAST.
Video Digitale: Formati video MPEG-1, MPEG-2, MPEG-4, H.264. 3D Scan - tipologie di laser scanning (a triangolazione, a luce strutturata, a tempo di volo, tramite fotografie): hardware, metodi ed esempi.

Qualora l'insegnamento venisse impartito in modalità mista o a distanza potranno essere introdotte le necessarie variazioni rispetto a quanto dichiarato in precedenza, al fine di rispettare il programma previsto e riportato nel syllabus
LABORATORIO
Nel modulo di laboratorio si riprenderanno i contenuti della parte teorica, fornendo degli strumenti pratici per poter implementare alcuni degli algoritmi noti.

I linguaggi di programmazione utilizzati saranno Python e Matlab.

Testi di riferimento

MULTIMEDIA
ELABORAZIONE DELLE IMMAGINI DIGITALI, Terza Edizione, Rafael C. Gonzalez, Richard E. Woods, Ediz. Pearson, Prentice Hall

Video Processing and Communications, Wang, Osternmann, Zhang, Prentice Hall, Pearson Education, ISBN: 0-13-017547-1
LABORATORIO
ELABORAZIONE DELLE IMMAGINI DIGITALI, Terza Edizione, Rafael C. Gonzalez, Richard E. Woods, Ediz. Pearson, Prentice Hall

Audio e multimedia 3 ed., di Lombardo, Valle, Apogeo ISBN: 9788850327621

Video Processing and Communications, Wang, Osternmann, Zhang, Prentice Hall, Pearson Education, ISBN: 0-13-017547-1

Altro materiale didattico

MULTIMEDIA
Tutto il materiale didattico è presente su Studium
LABORATORIO
Trattandosi di un modulo di laboratorio, la documentazione relativa ai linguaggi di programmazione e alle librerie usate costituirà uno dei principali strumenti didattici.

Programmazione del corso

MULTIMEDIA
	Argomenti	Riferimenti testi
1	Restauro e ricostruzione di immagini	Capitolo 5 di "Elaborazione delle Immagini Digitali"
2	Morfologia applicata alle immagini digitali	Capitolo 9 di "Elaborazione delle immagini digitali"
3	La Segmentazione di immagini	Capitolo 10 di "Elaborazione delle immagini digitali"
4	Codifiche, formati di immagini	Capitolo 8 di "Elaborazione delle immagini digitali"
5	Modelli per la telecamera e stima del movimento	Capitolo 5 di "Video Processing and Communications"
6	Stima del movimento a due dimensioni	Capitolo 6 di "Video Processing and Communications"
7	Fondamenti di codifica video	Capitolo 8 di "Video Processing and Communications"
8	Standard di compressione video	Capitolo 13 di "Video Processing and Communications"
9	Acustica e natura del suono. Forme d'onda e Analisi di Fourier.	Capitolo 1 di "Audio e multimedia"
10	La fisica del suono e la percezione uditiva	Capitolo 2 di "Audio e multimedia"
11	Digitalizzazione del suono	Capitolo 3 di "Audio e multimedia"
12	Compressione e codifiche u-law e A-law	Capitolo 4 di "Audio e multimedia"
13	Effetti sonori	Capitolo 5 di "Audio e multimedia"
LABORATORIO
	Argomenti	Riferimenti testi
1	Python programmig for multimedia.	Python Docs.
2	Matlab programming for multimedia.	Matlab Docs.

Verifica dell'apprendimento

MODALITÀ DI VERIFICA DELL'APPRENDIMENTO

MULTIMEDIA
1. test scritto su contenuto del corso
2. eventuale progetto integrativo
E' prevista una prova in itinere nel periodo di sospensione delle lezioni per prove in itinere previsto dal Corso di Laurea. Le date sono riportate su http://web.dmi.unict.it/corsi/lm-18/calendario-didattico

La verifica dell’apprendimento potrà essere effettuata anche per via telematica, qualora le condizioni lo dovessero richiedere.
LABORATORIO
L'apprendimento verrà verificato svolgendo un progetto software concordato con il docente.

La verifica dell’apprendimento potrà essere effettuata anche per via telematica, qualora le condizioni lo dovessero richiedere.

ESEMPI DI DOMANDE E/O ESERCIZI FREQUENTI

MULTIMEDIA
Rumore casuale nelle immagini:
- Cos’è il rumore casuale nelle immagini? Da cosa può essere introdotto?
- Sia P una distribuzione di probabilità di legge P(x)=0.10 per x=0; P(x)=0.25 per x=255; P(x)=0 altrimenti. Dove x è un valore (intero) di luminanza a 8 bit. Come si chiama il rumore che segue tale distribuzione di probabilità? Discutere del significato della distribuzione descritta.
- Cos’è il filtro di media contrarmonica? Com’è definito?
- Il filtro di media contrarmonica può essere utilizzato per attenuare il suddetto rumore con distribuzione P? Se si, spiegare come. Se no, proporre un altro tipo di filtraggio.
Operatori morfologici:
- Cos’è l’elemento strutturante nella morfologia matematica applicata alle immagini?
- A cosa serve l’operatore morfologico Bottom-hat?
- Nella definizione dell’operazione di Bottom-hat si utilizza l’operatore di Chiusura. Com’è definita tale operazione di Chiusura? Quali sono i suoi effetti?
- Indicare almeno una proprietà matematica dell’operatore di Chiusura.
Bitrate:
- Cos’è il bitrate nell’audio digitale? Da quali valori dipende? Cosa rappresentano tali valori?
- Discutere delle operazioni di sovracampionamento e sottocampionamento. Cosa sono? Come si possono effettuare? Che effetti hanno?
- Un segnale audio non compresso con bitrate pari a 1200 kbps e frequenza di campionamento pari a 44000Hz viene sottocampionato 2 volte. La prima volta il bitrate viene portato a 600 kbps e la seconda volta a 300kbps. Dopo il primo sottocampionamento il segnale non presenta distorsioni. Dopo il secondo sottocampionamento si rileva invece una distorsione. E’ possibile una cosa del genere? Motivare.
- E’ possibile stabilire un range di valori per la frequenza di Nyquist di tale segnale? Se si qual è?
Formati di trasmissione e registrazione:
- Dire a cosa sia dovuto l’acronimo “SECAM” dell’omonimo formato TV analogico, e descriverne brevemente il funzionamento.
- Che sistema di modulazione adotta SECAM? Ci sono differenze rispetto al sistema di modulazione adottato in NTSC e PAL?
- Quale spazio di colore è utilizzato nel formato TV analogico SECAM? Cosa rappresentano e come sono calcolati i 3 canali di tale spazio di colore?
- -Quali sono i principali vantaggi e svantaggi del formato TV analogico SECAM?
Dispositivi, metodi di registrazione e scansione:
- Descrivere il funzionamento del sistema di scansione con interlacciamento.
- In presenza di interlacciamento come cambiano le relazione fra larghezza di banda del canale, banda del segnale e frequenza di visualizzazione?
- L’interlacciamento può introdurre degli artefatti. Quali? Fare un esempio.
- Quale difetto di visualizzazione può essere invece corretto utilizzando l’interlacciamento?
- Su quale tipologia di monitor è preferibile utilizzare formati video interlacciati e su quale no? Come si chiama l’alternativa al sistema di scansione con interlacciamento?
LABORATORIO
I progetti verteranno sugli argomenti del corso, per cui si potrebbe chiedere l'implementazione di:
- Algoritmi per il miglioramento della qualità di contenuti multimediali;
- Algoritmi per l'elaborazione di contenuti audio/immagini/video;
- Algoritmi per la codifica e compressione di informazioni multimediali;
- Algoritmi per l'estrazione di informazioni relative alla semantica dei contenuti multimediali;

Apri in formato Pdf English version