Riassunto analitico
L'Intelligenza Artificiale sta diventando sempre più pervasiva, richiedendo continua adattabilità dei modelli di machine learning. Questi devono essere in grado di acquisire e aggiornare conoscenza in maniera incrementale. Tuttavia, il processo di adattamento presenta una sfida critica nota come catastrophic forgetting: le reti neurali tendono a dimenticare ciò che hanno precedentemente imparato mentre apprendono un nuovo task. Questo problema comporta una significativa degradazione delle performance complessive del modello.
In questo studio, ci concentriamo sull'utilizzo del modello Contrastive Language-Image Pre-Training (CLIP) con l'approccio Context Optimization (CoOp).
La nostra proposta consiste nell'implementazione di una versione incrementale di CoOp nel framework Mammoth, integrando la tecninca di generative replay utilizzando un Variational Autoencoder (VAE) come modello generativo.
Questo approccio è stato adottato per mitigare il problema del catastrophic forgetting e promuovere la generalizzazione sui dati.
L'integrazione del generative replay in CoOp permette al modello di preservare le informazioni replicando i dati precedenti, offrendo una solida base per l'acquisizione di nuova conoscenza evitando di compromettere quella già acquisita.
In particolare, ci focalizziamo sull'applicazione di questa tecnica nell'ambito dell'analisi delle immagini satellitari, le quali si discostano dal pre-training di CLIP. Questa caratteristica aggiunge complessità all'analisi e necessità di considerare la peculiarità dei dati.
|
Abstract
Artificial Intelligence is becoming increasingly pervasive, requiring continuous adaptability of machine learning models. These must be able to acquire and update knowledge incrementally. However, the adaptation process presents a critical challenge known as catastrophic forgetting: neural networks tend to forget what they have previously learned while learning a new task. This problem results in significant degradation of the overall performance of the model.
In this study, we focus on using the Contrastive Language-Image Pre-Training (CLIP) model with the Context Optimization (CoOp) approach. Our proposal is to implement an incremental version of CoOp in the Mammoth framework, by integrating generative replay technique, using a Variational Autoencoder (VAE) as generative model.
This approach was adopted to mitigate the catastrophic forgetting problem and promote generalization over data.
The integration of generative replay in CoOp allows the model to preserve information by replicating previous data, providing a solid base for the acquisition of new knowledge while avoiding compromising that already acquired.
In particular, we focus on the application of this technique in the context of satellite image analysis, which deviates from CLIP pre-training. This feature adds complexity to the analysis and the need to consider the peculiarity of the data.
|
