Riassunto analitico
Il crescente interesse riguardante l’intelligenza artificiale ha coinvolto nelle ultime decadi gli investimenti di aziende pubbliche e private e ha contribuito ad un notevole sviluppo delle metodologie di apprendimento automatico. Uno dei pilastri dell’apprendimento automatico è l’ottimizzazione numerica, il cui scopo è quello di determinare nella fase di addestramento i valori ottimali dei parametri che definiscono la funzione di predizione richiesta dalla metodologia di apprendimento. I problemi di ottimizzazione che intervengono nell'apprendimento automatico possono raggrupparsi in due classi principali: problemi di ottimizzazione convessa derivanti dall’uso della regressione logistica o della metodologia support vector machines (SVM), oppure problemi non convessi derivanti dall’utilizzo delle Deep Neural Networks (DNN) e Convolutional Neural Networks (CNN).
Metodi di ottimizzazione tradizionali che coinvolgono l’utilizzo del gradiente sono ampiamente utilizzati per risolvere problemi di apprendimento con dimensioni limitate, mentre nel contesto del large-scale machine learning vengono utilizzati principalmente approcci di tipo gradiente stocastico (SG). Gli approcci basati sul gradiente stocastico sono relativamente recenti nel panorama dell’ottimizzazione numerica e necessitano quindi di grande lavoro teorico e algoritmico per l’adattamento di tecniche efficienti sviluppate nel contesto dei metodi del gradiente tradizionali. In questa tesi, a partire dai risultati classici sulla convergenza dei metodi del gradiente stocastico, vengono esaminatele principali strategie di accelerazione della convergenza basate sull’uso di speciali selezioni del learning rate, su approcci Quasi-Newton o sull'adattamento al contesto del gradiente stocastico di tecniche che sfruttano passi di estrapolazione o schemi "coordinate descent". L'efficacia dei metodi del gradiente stocastico viene valutata in termini di complessità computazionale nell'ambito dell'addestramento di DNNs su dataset ampiamente utilizzati nel settore dell'apprendimento automatico. Infine, il confronto con metodologie che richiedono strumenti di ottimizzazione deterministica Permette di evidenziare le motivazioni intuitive, pratiche e teoriche che hanno portato a un crescente interesse per i metodi di ottimizzazione stocastica.
|
