Riassunto analitico
The development of machine unlearning techniques with the objective of optimizing the forgetting of sensitive information from pre-trained models, has been increasing over the past years, especially after the introduction of the "right to be forgotten" in data protection regulations such as the GDPR and the California Consumer Privacy Act. Current unlearning techniques proposed in literature focus on performing unlearning on Convolutional Neural Networks, while transformer based architectures have not been subject of focus. Objective of this thesis is to reimplement existing relevant unlearning techniques for Vision and Swin Transformers and propose new methods to perform unlearning. The first novel proposal has been developed by taking advantage of the concept of entropy, the second one aims at modifying the images present in the dataset, so that when fine tuning is performed with the newly created images, the model becomes unable to recognize the ones pertaining to the class to unlearn. The experiments performed are then evaluated by using recently published unlearning metrics to obtain a more complete idea of their efficacy.
|
Abstract
Lo sviluppo di tecniche di machine unlearning con l'obiettivo di ottimizzare la cancellazione di informazioni sensibili da modelli pre-trainati, è aumentato negli ultimi anni, in particolare dopo l'introduzione del "diritto all'oblio" nelle normative sulla protezione dei dati come il GDPR e il California Consumer Privacy Act. Le attuali tecniche di unlearning presenti in letteratura vengono proposte per reti neurali convolutive, mentre architetture basate sui transformer non sono state approfondite. Obiettivi di questa tesi sono la reimplentazione dei metodi esistenti per Vision e Swin Transformers e lo sviluppo di nuove tecniche per effettuare unlearning. La prima proposta consiste nello sfruttare il concetto di entropia, mentre la seconda punta a modificare le immagini presenti nel dataset di training in modo da far sì che, tramite fine tuning, il modello non riesca più a riconoscere le immagini appartenenti alla classe da dimenticare. Gli esperimenti effettuati sono stati valutati tramite l'utilizzo di metriche recentemente pubblicate in letteratura cosicchè si possa avere una panoramica più ampia riguardo la loro efficacia.
|