Riassunto analitico
Lo scopo di questo elaborato è esplorare metodi di apprendimento più aderenti ai meccanismi di apprendimento umano, con l’obiettivo di individuare soluzioni capaci di raggiungere proprietà intellettive ed energetiche più efficienti.
Per perseguire tale obiettivo, il lavoro si articola in diverse fasi che integrano aspetti teorici, metodologici e sperimentali. Inizialmente, è stata affrontata la parte biologica relativa al funzionamento del neurone umano, analizzandone la struttura e il ruolo funzionale. Sono stati descritti i principali componenti del neurone, come il soma, i dendriti e l'assone, nonché i meccanismi di trasmissione del segnale, con un focus sulle sinapsi chimiche ed elettriche e sulla conduzione saltatoria. Successivamente, l’attenzione si è spostata sui modelli biologicamente ispirati, come il modello Leaky Integrate-and-Fire (LIF), e sul paradigma delle reti neurali di tipo spike (Spiking Neural Networks, SNN). Sono stati approfonditi i meccanismi di codifica neurale, quali il rate coding e il temporal coding, evidenziandone vantaggi e limitazioni, oltre alle principali topologie di rete (feedforward, ricorrenti e bio-ispirate) e alle dinamiche sinaptiche, come la Spike-Timing-Dependent Plasticity (STDP), fondamentali per il funzionamento delle SNN. Infine, è stata condotta un’analisi degli algoritmi di apprendimento neuromorfici presenti in letteratura, con particolare attenzione all’algoritmo Forward-Forward (FF) proposto da Geoffrey Hinton. Questo algoritmo, studiato come un’alternativa biologicamente plausibile alla retropropagazione del gradiente (backpropagation), supera alcune limitazioni in termini di plausibilità biologica ed efficienza energetica. Nello specifico, è stata esaminata la formulazione classica del metodo Forward-Forward per metterne in evidenza i concetti chiave.
Il focus principale dell’elaborato si concentra sulla riproposizione e sull’estensione dell’algoritmo Forward-Forward nella sua versione ricorrente (Recurrent Forward-Forward, RFF), che integra meccanismi di apprendimento temporale ispirati ai processi corticali umani. Tale versione ricorrente è stata implementata utilizzando Python, PyTorch e snnTorch, partendo dall'architettura proposta da Geoffrey Hinton. La struttura ricorrente è stata progettata per modellare effetti top-down, consentendo l’interazione tra strati adiacenti nel tempo e migliorando la capacità della rete di apprendere sequenze temporali. Un ulteriore contributo di questa tesi è stato lo sviluppo di una variante spike-based dell’algoritmo Recurrent Forward-Forward (Spike Recurrent Forward-Forward, SRFF), adattando l’architettura ricorrente alle dinamiche temporali delle reti neurali a spike. Dal punto di vista metodologico, sono stati condotti diversi esperimenti utilizzando il dataset MNIST, al fine di valutare le prestazioni delle diverse varianti dell’algoritmo. I risultati sperimentali hanno indicato che l'architettura SRFF, pur mostrando una maggiore lentezza nell'apprendimento rispetto alla versione standard, è in grado di apprendere sequenze temporali. Questo suggerisce una certa adattabilità ai dati temporali e un potenziale interesse per applicazioni neuromorfiche, senza però permettere di trarre conclusioni definitive sulle sue prestazioni complessive. In conclusione, il lavoro dimostra il potenziale delle combinazioni tra algoritmi di apprendimento biologicamente plausibili e reti neurali a spike, proponendo soluzioni che avvicinano le capacità computazionali artificiali ai meccanismi di apprendimento umani. Le prospettive future includono l’estensione degli algoritmi proposti ad altri dataset e domini applicativi, oltre all’esplorazione di configurazioni hardware ottimizzate per sistemi spike-based.
|
Abstract
The purpose of this work is to explore learning methods that are more aligned with human learning mechanisms, with the aim of identifying solutions capable of achieving more efficient intellectual and energetic properties. To achieve this objective, the work is structured in several phases that integrate theoretical, methodological, and experimental aspects. Initially, the biological functioning of the human neuron was addressed, analyzing its structure and functional role. The main components of the neuron, such as the soma, dendrites, and axon, were described, along with the mechanisms of signal transmission, with a focus on chemical and electrical synapses and saltatory conduction. Subsequently, the attention shifted to biologically inspired models, such as the Leaky Integrate-and-Fire (LIF) model, and the paradigm of Spiking Neural Networks (SNNs). Neural coding mechanisms, such as rate coding and temporal coding, were examined in depth, highlighting their advantages and limitations, as well as the main network topologies (feedforward, recurrent, and bio-inspired) and synaptic dynamics, such as Spike-Timing-Dependent Plasticity (STDP), which are fundamental for the operation of SNNs. Finally, an analysis of neuromorphic learning algorithms from the literature was conducted, with particular attention to the Forward-Forward (FF) algorithm proposed by Geoffrey Hinton. This algorithm, studied as a biologically plausible alternative to gradient backpropagation, overcomes some limitations in terms of biological plausibility and energy efficiency. Specifically, the classical formulation of the Forward-Forward method was examined to highlight its key concepts. The main focus of this work is on the revisitation and extension of the Forward-Forward algorithm into its recurrent version (Recurrent Forward-Forward, RFF), which integrates temporal learning mechanisms inspired by human cortical processes. This recurrent version was implemented using Python, PyTorch, and snnTorch, based on the architecture proposed by Geoffrey Hinton. The recurrent structure was designed to model top-down effects, enabling interaction between adjacent layers over time and improving the network's ability to learn temporal sequences. An additional contribution of this thesis was the development of a spike-based variant of the Recurrent Forward-Forward algorithm (Spike Recurrent Forward-Forward, SRFF), adapting the recurrent architecture to the temporal dynamics of spiking neural networks. From a methodological perspective, several experiments were conducted using the MNIST dataset to evaluate the performance of the different variants of the algorithm. Experimental results indicated that the SRFF architecture, while showing slower learning compared to the standard version, is capable of learning temporal sequences. This suggests a certain adaptability to temporal data and potential interest for neuromorphic applications, although it does not allow definitive conclusions to be drawn about its overall performance. In conclusion, this work demonstrates the potential of combining biologically plausible learning algorithms with spiking neural networks, proposing solutions that bring artificial computational capabilities closer to human learning mechanisms. Future prospects include extending the proposed algorithms to other datasets and application domains, as well as exploring optimized hardware configurations for spike-based systems.
|
