• Hyper-parameters
• Neural Network
• Operational Research
• Optimization
• Scatter Search

Le reti neurali sono oggigiorno largamente utilizzate in molti campi differenti, sia lavorativi che nella vita quotidiana.
La superiorità mostrata da questi tipi di algoritmi, unita a una comunità di ricerca estremamente attiva, a portato allo sviluppo e alla necessità di modelli neurali di complessità sempre crescente.
Per rendere maggiormente fruibili questi algoritmi, e per aiutare lo sviluppo di nuove reti neurali, ad oggi ci si affida sempre di più a ciò che viene definito come Automated Machine Learning.
Questa branca del Machine Learning ha come obiettivo la creazione di modelli ad apprendimento automatico e la loro ottimizzazione.

In questo lavoro viene proposto un nuovo metodo per ottimizzare reti neurali, e più nello specifico, per ottimizzare iperparameteri di reti neurali.
Scatter Search è un algoritmo meta-euristico, largamente conosciuto nell'ambito della Ricerca Operativa, basato su concetti di popolazione e di ricombinazione di individui, simile in alcuni suoi aspetti agli algoritmi genetici.
Questo algoritmo non è mai stato adattato al problema dell'ottimizzazione degli iperparameteri, per cui viene proposta un’implementazione che utilizza gli elementi costituenti dello Scatter Search, adattandoli alle particolarità del problema.
La proposta di algoritmo viene testata in questo lavoro su reti neurali, ma anche su funzioni note provenienti dal campo dell'ottimizzazione globale.
Queste funzioni vengono utilizzate preliminariamente nella creazione dell'algoritmo e riportate in questo lavoro, per mostrare aspetti caratteristici della proposta, prima di passare ai test sul problema reale.
La Scatter Search proposta viene valutata confrontandola con altri tre approcci esistenti per l'otimizziazione di iperparametri, nello specifico: Random Search, Bayesian Optimization e Hyperband.

Il confronto degli algoritmi è fatto utilizzando tre noti benchmark e tre diverse reti neurali, considerando accuratezza delle soluzioni trovate e tempi medi spesi per la ricerca di tali soluzioni.

Questo lavoro di tesi è stato realizzato nel periodo di tirocinio part-time svolto da maggio 2019 a maggio 2020 sotto la supervisione del prof. Mauro Dell'Amico.
Dalla tesi è stato estratto un articolo sottoposto per pubblicazione su rivista internazionale.

Neural Networks are nowadays widely used in many different fields, both in working environments and in everyday life. The superiority shown by these types of algorithms, combined with an extremely active research community, has led to the development and need for neural models of ever-increasing complexity. To make these algorithms more usable, and to help the development of new Neural Networks, today we rely more and more on what is defined as Automated Machine Learning. This branch of Machine Learning aims to create and optimize machine learning models. In this work a new method is proposed to optimize Neural Networks, and more specifically, to optimize hyper-parameters of Neural Networks. Scatter Search is a meta-heuristic algorithm, widely known in the field of Operational Research, based on concepts of population and recombination of individuals, similar in some aspects to genetic algorithms. This algorithm has never been adapted to the Hyper-Parameters Optimization problem, thus, an implementation is proposed where the constituent elements of the Scatter Search are adapted to the singularities of the problem. The algorithm has been tested on Neural Networks, but also on known functions from the field of Global Optimization. These functions are used in a preliminary phase for the creation of the algorithm and reported in this work to show characteristic aspects of the proposal, before moving on to the real problem. The Scatter Search has been evaluated by comparing it with three other existing approaches for optimizing hyper-parameters, specifically: Random Search, Bayesian Optimization and Hyperband. The comparison of the algorithms is made using three known benchmarks and three different Neural Networks, considering the accuracy of the solutions found and the average time spent searching for such solutions. This thesis work was carried out in the part-time internship period carried out from May 2019 to May 2020 under the supervision of prof. Mauro Dell'Amico. An article submitted for publication in an international journal was extracted from the thesis.