Evaluacija pristupa poboljšavanja velikih jezičnih modela na temelju metoda podržanog učenja

diplomski rad

• Naslov (engleski): Evaluation of Approaches for Enhancing Large Language Models based on Reinforcement Learning Methods
• Autor: Iva Bokšić
• Mentor: Damir Pintar (mentor)
• Član povjerenstva: Damir Pintar (predsjednik povjerenstva)
• Član povjerenstva: Mihaela Vranić (član povjerenstva)
• Član povjerenstva: Luka Humski (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-02-27, Hrvatska

Sažetak

Istraživački rad fokusira se na primjenu podržanog učenja iz ljudskih povratnih informacija (RLHF) za razvoj modela sažimanja teksta. Kroz korištenje nadziranog finog podešavanja i optimizacije proksimalne politike, analizirane su mogućnosti prilagodbe modela ljudskim preferencijama. Rezultati pokazuju uspješnost modela u sažimanju teksta, ali i izazove u postizanju potpune usklađenosti s ljudskim evaluacijama. Nestabilnost tijekom učenja, ograničeni datasetovi te odabir hiperparametara ističu se kao ključni čimbenici utjecaja na performanse modela. Ovi nalazi ukazuju na potrebu daljnjih istraživanja i prilagodbi kako bi se ostvarila bolja usklađenost modela sa željenim ljudskim preferencijama u sažimanju teksta.

Sažetak (engleski)

The research paper focuses on the application of Reinforcement Learning from Human Feedback (RLHF) for developing abstractive text summarization models. By employing supervised fine-tuning and proximal policy optimization, the possibilities of adapting the model to human preferences were analyzed. The results demonstrate the success of the model in text summarization but also highlight challenges in achieving complete alignment with human evaluations. Instabilities during learning, limited datasets, and the selection of hyperparameters stand out as crucial factors influencing the model's performance. These findings indicate the need for further research and adjustments to achieve better alignment of the model with desired human preferences in text summarization.

• Ključne riječi: veliki jezični model; fino podešavanje; podržano učenje iz ljudskih povratnih informacija
• Ključne riječi (engleski): large language model; fine-tuning; reinforcement learning from human feedback
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:274755
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-03-28 07:43:55