Metode gradijentnog spusta u strojnom učenju

završni rad

• Naslov (engleski): Gradient descent methods for machine learning
• Autor: Nora Ivić
• Mentor: Josipa Pina Milišić (mentor)
• Član povjerenstva: Josipa Pina Milišić (predsjednik povjerenstva)
• Član povjerenstva: Tomislav Burić (član povjerenstva)
• Član povjerenstva: Mario Krnić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-09-11, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovom završnom radu dan je pregled optimizacijskih metoda koje se temelje na algoritmu gradijentnog spusta te je diskutirana njihova brzina konvergencije. Za bezuvjetnu minimizaciju glatkih konveksnih funkcija obrađena je metoda gradijentnog spusta, kao metoda prvog reda, i Newtonova metoda, kao metoda drugog reda. Nadalje, kako bismo proširili područje primjene gradijentnog spusta, za generalizaciju na nediferencijabilne Lipshitz-kontinuirane funkcije prikazana je metoda subgradijentnog spusta. Kako su ove metode u praksi često neupotrebljive zbog velike vremenske složenosti, napravljen je prikaz nekoliko akceleriranih metoda koje se temelje na gradijentnom spustu, od kojih je detaljnije opisana metoda stohastičkog gradijentnog spusta.

Sažetak (engleski)

This final thesis gives an overview of optimization methods based on the gradient descent algorithm and their convergence rates. For the unconstrained optimization of smooth convex functions, the gradient descent method is presented as a first-order method and the Newton method as a second-order method. In order to extend the range of application of gradient descent, the subgradient descent method is also given for generalization to non-differentiable Lipshitz continuous functions. Since these methods are often unusable in practice due to the high time complexity, several accelerated methods based on gradient descent are presented, of which the stochastic gradient descent method is described in more detail.

• Ključne riječi: iterativne metode; bezuvjetna minimizacija; gradijentni spust; subgradijentni spust; stohastički gradijentni spust; brzina konvergencije
• Ključne riječi (engleski): iterative methods; unconstrained minimization; gradient descent; subgradient descent; stochastic gradient descent; rate of convergence
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:324978
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 20:53:32