9795814 - MACHINE LEARNING FOR PHYSICS

Gli obiettivi specifici di questo corso sono:

• Trasmettere i principi basilari del Machine Learning
• Fornire tramite degli esempi pratici alcune modalità di utilizzo del Machine Learning
• Comprendere tutti i vari passaggi che permettono di transitare dal problema da risolvere o dal fenomeno da analizzare (e/o simulare) alla sua implementazione.
• Acquisire la capacità di valutare tra più soluzioni quella più soddisfacenti.
• Acquisire capacità di analizzare correttamente dati sperimentali.

Inoltre, in riferimento ai cosiddetti Descrittori di Dublino, questo corso contribuisce a acquisire le
seguenti competenze trasversali:

Conoscenza e capacità di comprensione (knowledge and understanding):

L'obiettivo primario del corso è individuato nell’acquisizione da parte degli studenti della varie “filosofie" che stanno alla base di numerose tecniche differenti nell'ambito del Machine Learning.

Capacità di applicare conoscenza e comprensione (applying knowledge and understanding),

Si intende fornire agli studenti le seguenti abilità:

- Dato un problema come inquadrarlo nella giusta cornice di Machine Learning.

- Progettare, descrivere ed implementare classificatori e/o regressioni;

- Preparare opportunamente i dati da processare

- Autonomia di giudizio (making judgements).

Attraverso l'esame di  esempi generci e applicati alla fisica e una consistente componente pratica, il discente sarà in grado, sia in forma autonoma che in forma cooperativa, di analizzare problemi e progettare ed implementare le relative soluzioni.

Abilità comunicative (communication skills).

lo studente acquisirà le necessarie abilità comunicative e di appropriatezza espressiva nell'impiego del linguaggio verbale tecnico.

Capacità di apprendimento (learning skills).

Il corso intende fornire al discente le necessarie metodologie teoriche e pratiche da mettere in campo in contesti di ricerca e professionali con particolare attenzione all'ambito fisico.

Lezioni frontali ed esercitazioni pratiche

Qualora l'insegnamento venisse impartito in modalità mista o a distanza potranno essere introdotte le necessarie variazioni rispetto a quanto dichiarato, al fine di rispettare il programma previsto e riportato nel syllabus.

Approfondita conoscenza del linguaggio C e possibilmente del matlab.

E' anche consigliato caldamente a tutti ed in particolare a chi desiderasse sviluppare nuove tecniche di Machine Learning come la Programmazione Genetica di seguire il corso opzionale "Programmazione ad oggetti e Big Data" della triennale di Fisica

La frequenza al corso è di norma obbligatoria.

- Types of machine learning algorithms

 * Supervised Learning
 * Unsupervised Learning
 * Reinforcement Learning

- Regression or Classification what are them? Are they really different?

- Cost functions and their importance
  * Typical regression error measures and their shortcomings.
  * Classifier evaluation: Sensitivity, Specificity, Accuracy, ROC, AUC, etc. 
  
- Datasets and Machine Learning the first and most important step
  * Statistical validation
  * Missing values
  * Raw data: when we have to use or not to use them? 
  * Preprocessing
  * Feature Extraction
  * Feature Selection
  * Feature Reduction
  * Curse of dimensionality
  
- Model complexity
  * Underfitting and overfitting
  * Occam's razor principle
  * Many parameters and the importance of regularization 

- Singular Value Decomposition (SVD)
  * Linear modeling is not infrequently enough
  * Lowering machine learning algorithm coomplexity
  * SVD/PCA as feature reduction but sometimes fails

- Neural Networks
  * The biological neuron
  * The artifical neuron
  * Network topology
  * The Multilayer Perceptron
  * The universal approximation theorem
  * Fixed, Self Adaptive, and Stochastic Gradient descend as a general technique
    for parameter estimation
  * Backpropagation
  * Radial Basis Functions
  * Deep Learning

- Cluster Analysis and Vector Quantization
  * K-means/LBG algorithm
   = Serial improvements
      > Escaping from local minima: the Enhanced LBG Algorithm (ELBG)
      > From target error to clusters: Fully Automatic Clustering system (FACS)
   = Big data and parallel clustering 
      > Parallel algorithms for unsupervised learning (PAUL)
      > Very large data sets vector quantization (LBGS)
  * Other clustering approaches: Hierarchical Clustering, DBSCAN, and Fuzzy Clustering

- Global optimization inspired by biological evolution
  * From Monte Carlo methods to Evolutionary Computation
    = The Population: A set of candidate solutions as individuals
    = Selection among individuals: Roulette, Ordering, Tournament.
    = Generation of new solutions: offsprings
      > Recombination/crossover
      > Mutation
      > Hill-climbing
    = Multi-objective optimization: The Fitness Function
  * Evolutionary techniques, some examples 
    = Genetic Algorithms and Holland's schema theorem
    = Genetic Programming
    = Parallel/Distributed Genetic Programming for Mathematical Modelling: The Brain Project
  * Case study: Find the minimum of the function $y=\sum_{i=1}^1000$ (x_i-1000/i)^2 with $x_i in [0,2]$  

- Fuzzy logic from classical boolean logic to many-valued logic.
  * Fuzzy sets and membership functions.
  * Operations on Fuzzy sets.
  * Fuzzy relations, rules, propositions, implications and inferences.
  * Defuzzification techniques.
  * Fuzzy logic controller design.

- Hybridization is often the way to get better results
  
- Case studies in physics
  * Data Analysis of Gravitation Wave time series
  * Track recognition in Nuclear Physics Collisions
  * Structure of the proton using contemporary methods of artificial intelligence

Appunti forniti a lezione. Tali appunti, il codice sviluppato a lezione e qualunque altro materiale utile per il corso sarà disponibile sul sito del docente: superpippo.ct.infn.it/~marco/didattica.

Tesina pratica svolta in accordo col docente. Concordato l'argomento si procede alla realizzazione di un opportuno codice o hardware. Durante le lezioni il lavoro sarà svolto assieme al docente stesso. Al termine delle lezioni il tutto verrà ultimanto in completa autonomia dallo studente.  Assieme al codice/hw si prevede la consegna di una relazione scritta preferibilmente in latex. Nella valutazione finale dello studente si terranno in considerazione entrambi le componenti. Essendo il corso incentrato proprio sull'argomento prescelto all'inizio del corso stesso, tutto il materiale didattico dovra' essere acquisito dal discente al fine di superare l'esame.

Informazioni per studenti con disabilità e/o DSA: a garanzia di pari opportunità e nel rispetto delle leggi vigenti, gli studenti interessati possono chiedere un colloquio personale in modo da programmare eventuali misure compensative e/o dispensative, in base agli obiettivi didattici ed alle specifiche esigenze. E' possibile rivolgersi anche al docente referente CInAP (Centro per l’integrazione Attiva e Partecipata - Servizi per le Disabilità e/o i DSA) del nostro Dipartimento.

http://superpippo.ct.infn.it/~marco/didattica