Riassunto analitico
Lo scopo di questa tesi è quello di studiare algoritmi efficienti che ottimizzino la steplength, anche detta
lunghezza di passo, negli algoritmi di tipo gradiente.
In particolare la tesi si focalizza sull'algoritmo del gradiente stocastico, utilizzato per problemi di ottimizzazione di grandi dimensioni che si presentano in apprendimento automatico.
All'interno della tesi è riportato uno studio di alcune recenti regole per la selezione adattiva del parametro lunghezza di passo e un'analisi delle proprietà di convergenza di varianti dell'algoritmo del gradiente stocastico, come i metodi Momentum ed Adam.
|
