Riassunto analitico
La popolarità delle tecnologie basate sull'Intelligenza artificiale sta crescendo rapidamente. Queste reti neurali artificiali (ANN) sono in grado di svolgere compiti complessi, tuttavia al costo di elevati consumi energetici. Infatti, le ANN sono caratterizzate da un numero sempre crescente di parametri che provocano un continuo aumento della potenza di calcolo. La causa principale per le inefficienze energetiche dell’hardware tradizionale è rappresentata dal continuo trasferimento dei dati tra l’area di memoria e di elaborazione, ovvero il cosiddetto "collo di bottiglia di von Neumann".
Gli acceleratori hardware analogici basati sulle tecnologia di memorie resistive, rappresentano una soluzione promettente contro tale problema. Infatti, le memorie resistive possono essere utilizzate sia per immagazzinare i dati che per elaborarli, permettendo l’elaborazione direttamente in memoria.
Tali memorie sono tipicamente fabbricate in strutture a matrice 2D che, mentre da un lato permettono di ottenere elevate capacità di memoria, dall’altro introducono degli effetti indesiderati, quali le resistenze parassite delle linee, che influiscono negativamente sulle prestazioni dell’acceleratore.
Per analizzare e ridurre l'impatto di tali effetti, Pai-Yu Chen et al. hanno sviluppato un framework di simulazione per reti neurali artificiali, chiamato NeuroSim (NS), che considera tali effetti durante la fase di addestramento. In principio, considerare gli effetti indesiderati durante la fase di addestramento della rete può portare ad una rete più robusta alle non idealità. Tuttavia, la robustezza della rete è fortemente influenzata dall’accuratezza dei modelli utilizzati. All’interno di NS, gli effetti dovuti alle resistenze parassite delle linee sono introdotti mediante un modello approssimativo, che può portare a risultati poco affidabili. Tuttavia, in letteratura, un’analisi degli effetti dell’utilizzo di tale modello sulle prestazioni della ANN è attualmente assente.
In questa tesi, gli effetti del modello utilizzato in NS sono analizzati attraverso simulazioni LTSPICE. Tali prestazioni sono state confrontate con un ulteriore modello di approssimazione preso dalla letteratura, chiamato Diagonal Matrix Regression (DMR). Le analisi sono state condotte per diversi valori delle resistenze parassite ed ampiezza della finestra di memoria. Queste hanno evidenziato una maggiore accuratezza del modello DMR rispetto al modello NS. Per questo motivo, il modello DMR è stato introdotto nel framework di simulazione NS. Una rete neurale binarizzata a singolo layer è stata addestrata per un task di classificazione sul dataset del MNIST attraverso NS, utilizzando entrambi i modelli di approssimazione. Sebbene, al termine dell’addestramento un’accuratezza >90% è stata raggiunta per entrambi i modelli, simulazioni circuitali hanno rivelato come una mappatura diretta della rete sull’hardware comporti una completa degradazione dell’accuratezza. Le analisi delle cause di tale degradazione hanno rivelato come le approssimazioni introdotte provochino un offset tra le correnti di uscita dal primo layer rispetto a quelle calcolate tramite NS. Strategie di compensazione dell’offset per il recupero delle prestazioni della rete sono state implementate. A seguito della compensazione, le reti addestrate includendo le resistenze raggiungono prestazioni più elevate rispetto a reti addestrate senza, evidenziando l’importanza di considerare tali effetti in fase di addestramento. Inoltre, mentre la rete addestrata mediante DMR recupera la maggior parte della accuratezza (85%), la rete addestrata tramite il modello originale ne recupera solo una parte (65%), evidenziando come l’utilizzo di modelli più accurati sia fondamentale per il raggiungimento di elevate prestazioni.
|
Abstract
Artificial intelligence technologies are rapidly gaining popularity. Specifically, artificial neural networks (ANNs) can perform complex tasks, however, at the cost of high energy consumption. In fact, ANNs are characterized by an ever-increasing number of parameters that lead to a continuous increase in the required computing power resources. The main cause of these energy inefficiencies is represented by the continuous transfer of data between the memory and processing units, i.e., the "von Neumann bottleneck".
Resistive memory-based analog hardware accelerators are a promising solution to this problem. In fact, resistive memories can be used to both store and process data, enabling in-memory computing. Single memory cells are typically arranged in 2D matrix structure, and by mapping the weights of the neural network in the nonvolatile resistance of single memory elements, and the input activations in the line voltages, a matrix-vector multiplication can be efficiently computed in a single-step, with the result being encoded in the current flowing in the columns of the matrix thanks to Ohm’s and Kirchoff’s current laws. However, the 2D matrix structure introduces unwanted effects such as the parasitic resistances of the lines and interconnection between devices. These parasitic resistances can negatively impact the performance of the analog accelerator.
To analyze and reduce the impact of these effects, Pai-Yu Chen et al. developed a simulation framework for ANNs called NeuroSim (NS), which accounts for device and circuit-related non-idealities of resistive memory-based accelerators. In particular, NS considers the effects of line parasitic resistances during the training phase. In principle, this can lead to a more robust network against non-idealities. However, the robustness of the network is strongly influenced by the accuracy of the model used to represent the effects of parasitic resistances. NS uses an approximate model, whose accuracy is questionable, and can potentially lead to unreliable results. The effect of this approximation with respect to the ANNs’ performance has never been analyzed in the literature.
In this work, the effects of the model used in NS are analyzed through LTSPICE simulations. These performances were compared with an additional approximating model taken from the literature, called Diagonal Matrix Regression (DMR). The analyses were conducted for different values of parasitic resistances and memory windows. This analysis highlighted a higher accuracy of the DMR model compared to the NS model. Therefore, the DMR model was introduced into the NS simulation framework.
A single-layer binary neural network was trained to classify digits of the MNIST dataset, using both approximation models. Although both models achieved an accuracy >90%, the execution of circuit simulations revealed that directly mapping the network parameter on the hardware leads to a complete degradation of the network's accuracy. The analyses of the causes of this degradation revealed that the introduced approximations cause an offset between the output currents of the first layer estimated from accurate circuit simulations and through NS, respectively. Therefore, we implemented different compensation strategies to recover the network's performance. As a result, networks trained including the effect of line parasitic resistances achieve higher performance than networks trained without, highlighting the importance of considering these effects during training. Furthermore, while the network trained using DMR recovers most of the accuracy (85%), the network trained using the original model only recovers a smaller part (65%), highlighting how the use of more accurate models is essential for achieving high performance.
|
