• A.I.
• Compression
• Computer Vision
• Continual Learning
• Vision Transformer

Nella presente tesi magistrale viene condotta un’analisi approfondita su reti neurali compresse nell’ambito del continual learning, con lo scopo finale di definire una training baseline in grado di mitigare gli effetti del catastrophic forgetting su reti di dimensioni contenute. Lo studio si focalizza in particolare sul Vision Transformer, e ad esso applica diverse tecniche di compressione, sia generali che specifiche per la sua architettura, per comprendere quali siano le performance ottenute da queste opzioni in termini di accuratezza, tempi di training, consumo della memoria a runtime e altre metriche relative sia al training che all’inferenza. I risultati complessivi vengono presentati allo scopo di fornire maggiori indicazioni circa il training in continual learning di reti compresse e dei loro relativi punti di forza e debolezza.

The analysis presented in this master thesis revolves around compressed neural networks utilized in a continual learning scenario and has the objective of defining a simple training baseline capable of mitigating the effects of catastrophic forgetting. The study focuses on the Vision Transformer and applies to it numerous compression techniques, to understand what these options guarantee in terms of accuracy, training time, runtime memory consumption and other parameters related to both training and inference. The overall results obtained will be described in order to define the strength and weakness of compressed neural networks in continual learning.