Riassunto analitico
Il Federated Continual Learning (FCL) rappresenta l’unione di due approcci che stanno trovando sempre maggiore applicazione in scenari reali: il Continual Learning (CL), che consente ai modelli di apprendere in modo progressivo da sequenze di task, e il Federated Learning (FL), che permette l’apprendimento distribuito tutelando la privacy dei dati locali. In questo contesto, un modello deve adattarsi a dati non stazionari provenienti da più dispositivi, imparando continuamente senza accedere direttamente ai dati sensibili e cercando al contempo di evitare la dimenticanza catastrofica. Questa tesi propone una soluzione a tali sfide attraverso InfLoRA, un metodo di adattamento efficiente che integra moduli a bassa dimensionalità all’interno di un backbone Vision Transformer pre-addestrato. Per ogni nuovo task, il modello aggiorna solo un numero limitato di parametri, vincolandoli in sottospazi progettati per evitare interferenze con le conoscenze acquisite in passato. Questa separazione è ottenuta tramite la tecnica DualGPM, che orienta l’apprendimento lungo direzioni ortogonali ai task precedenti. InfLoRA è stato valutato in scenari federati class-incremental su CIFAR-100, ImageNet-R, ImageNet-A e CUB-200, mostrando prestazioni superiori rispetto a numerosi metodi allo stato dell’arte, sia in termini di accuratezza che di capacità di trattenere la conoscenza nel tempo.
|
Abstract
Federated Continual Learning (FCL) combines two approaches that are increasingly gaining traction in real-world scenarios: Continual Learning (CL), which enables models to learn progressively from sequences of tasks, and Federated Learning (FL), which allows distributed learning while preserving the privacy of local data. In this setting, a model must adapt to non-stationary data coming from multiple clients, continuously updating its knowledge without accessing raw data and avoiding catastrophic forgetting. This thesis proposes a solution to these challenges through InfLoRA, an efficient adaptation method that integrates low-rank modules into a pre-trained Vision Transformer backbone. For each new task, only a small number of parameters are updated, constrained within task-specific subspaces that are designed to minimize interference with previously acquired knowledge. This separation is achieved using the DualGPM technique, which guides learning along directions orthogonal to those used in past tasks. InfLoRA is evaluated in class-incremental federated scenarios on CIFAR-100, ImageNet-R, ImageNet-A, and CUB-200, showing superior performance compared to several state-of-the-art methods, both in terms of average accuracy and the ability to retain knowledge over time.
|
