Evaluacija pristupa poboljšavanja velikih jezičnih modela na temelju metoda podržanog učenja

master's thesis

• Title (english): Evaluation of Approaches for Enhancing Large Language Models based on Reinforcement Learning Methods
• Author: Iva Bokšić
• Mentor: Damir Pintar (mentor)
• Committee member: Damir Pintar (predsjednik povjerenstva)
• Committee member: Mihaela Vranić (član povjerenstva)
• Committee member: Luka Humski (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-02-27, Croatia

Abstract

Istraživački rad fokusira se na primjenu podržanog učenja iz ljudskih povratnih informacija (RLHF) za razvoj modela sažimanja teksta. Kroz korištenje nadziranog finog podešavanja i optimizacije proksimalne politike, analizirane su mogućnosti prilagodbe modela ljudskim preferencijama. Rezultati pokazuju uspješnost modela u sažimanju teksta, ali i izazove u postizanju potpune usklađenosti s ljudskim evaluacijama. Nestabilnost tijekom učenja, ograničeni datasetovi te odabir hiperparametara ističu se kao ključni čimbenici utjecaja na performanse modela. Ovi nalazi ukazuju na potrebu daljnjih istraživanja i prilagodbi kako bi se ostvarila bolja usklađenost modela sa željenim ljudskim preferencijama u sažimanju teksta.

Abstract (english)

The research paper focuses on the application of Reinforcement Learning from Human Feedback (RLHF) for developing abstractive text summarization models. By employing supervised fine-tuning and proximal policy optimization, the possibilities of adapting the model to human preferences were analyzed. The results demonstrate the success of the model in text summarization but also highlight challenges in achieving complete alignment with human evaluations. Instabilities during learning, limited datasets, and the selection of hyperparameters stand out as crucial factors influencing the model's performance. These findings indicate the need for further research and adjustments to achieve better alignment of the model with desired human preferences in text summarization.

• Keywords: veliki jezični model; fino podešavanje; podržano učenje iz ljudskih povratnih informacija
• Keywords (english): large language model; fine-tuning; reinforcement learning from human feedback
• Language: croatian
• URN:NBN: urn:nbn:hr:168:274755
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-03-28 07:43:55