Riassunto analitico
Le tecniche di ottimizzazione numerica sono ampiamente utilizzate nei modelli di apprendimento automatico. La loro efficienza è basilare per affrontare i problemi di grandi dimensioni provenienti dalle moderne applicazioni di apprendimento automatico. Per questo motivo, lo sviluppo di metodi di ottimizzazione per specifici problemi di apprendimento è attualmente un settore di ricerca che sta ricevendo notevole interesse. In particolare, gli algoritmi di Deep Learning richiedono lo sviluppo di tecniche di ottimizzazione specifiche per abbattere gli elevati tempi di calcolo richiesti nella fase di addestramento e per identificare i parametri ottimali della rete neurale. L’obiettivo principale di questa tesi è quello di analizzare le tecniche di ottimizzazione attualmente utilizzate nell'ambito del Deep Learning, valutarne le criticità e i possibili miglioramenti. A questo fine, saranno studiati i più recenti risultati provenienti dal settore dell’ottimizzazione numerica, riguardanti ad esempio gli algoritmi di discesa stocastica del gradiente e i metodi del secondo ordine approssimati.
|