Riassunto analitico
Quello dell'intelligenza artificiale è uno dei temi più in voga degli ultimi anni. Al giorno d'oggi, l'Intelligenza Artificiale è già utilizzata in diversi campi, è piuttosto potente e ha grandi potenzialità, ma ha ancora diversi margini di miglioramento.
Il presupposto fondamentale per addestrare gli algoritmi di machine learning è l'I.I.D.: i dati dovrebbero essere indipendenti e distribuiti in modo identico. Tuttavia, questa ipotesi è limitante poiché, nel mondo reale, i dati di addestramento non sono sempre campionati casualmente dalla distribuzione, ma il campionamento potrebbe essere focalizzato su una porzione della distribuzione e questa porzione potrebbe cambiare nel tempo. Gli algoritmi di apprendimento automatico standard non sono progettati per funzionare senza il vincolo dell'I.I.D.; infatti, non funzionano correttamente senza di esso, causando il problema del catastrophic forgetting: dopo essersi allenati per un po' di tempo iniziano a dimenticare ciò che hanno imparato in precedenza. Il continual learning è un campo dell'apprendimento automatico che considera questo problema e cerca di risolverlo, fornendo agli algoritmi di apprendimento automatico la capacità di apprendere continuamente nuovi dati senza dimenticare quelli vecchi.
In questo lavoro affronteremo il problema comune del mode collapse nelle GAN, che, in questo caso, è causato da un discriminatore che soffre di problemi di catastrophic forgetting. Poiché l'addestramento delle GAN è sequenziale per natura e quindi intrinsecamente non I.I.D., la formazione può essere vista come un problema di continual learning. Di conseguenza, cercheremo di far funzionare correttamente la GAN applicando metodi di continual learning.
|
Abstract
Artificial Intelligence is one of the hottest topics of recent years. Nowadays, Artificial Intelligence is already used in several fields, is quite powerful, has great potentials, but it has still several margins of improvement.
The fundamental assumption to train machine learning algorithms is the I.I.D. assumption: the data should be Independent and Identically Distributed. However, this assumption is limiting since, in the real world, training data is not always sampled randomly from distribution but the sampling could be focused on a portion of the distribution and this portion could change over time. Standard Machine learning algorithms are not designed to work without the I.I.D. constraint; indeed, they don’t function properly without it, causing the problem of Catastrophic Forgetting: after training for some time they start to forget what they have previously learned. Continual Learning is a machine learning field that considers this problem and tries to solve it, providing the machine learning algorithms the ability to continuously learn new data without forgetting the old one.
In this work, we will deal with the common problem of mode collapse in GANs, which, in this case, is caused by a discriminator suffering from catastrophic forgetting problems. Since a GAN training is sequential by nature and thus intrinsically non-I.I.D., the training can be seen as a Continual Learning problem. Accordingly, we will try to make our GAN work correctly by applying Continual Learning methods to it.
|
