Podešavanje velikih jezičnih modela korištenjem tehnika poravnanja preferenci za identifikaciju investicijskih prilika

završni rad

• Naslov (engleski): Tuning large language models using preference alignment techniques to identify investment opportunities
• Autor: Borna Josipović
• Mentor: Mario Brčić (mentor)
• Član povjerenstva: Mario Brčić (predsjednik povjerenstva)
• Član povjerenstva: Mihael Kovač (član povjerenstva)
• Član povjerenstva: Kristina Ćaleta (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-07-05, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Cilj ovog rada bio je istražiti metode podržanog učenja kako bi podesili veliki jezični model za prepoznavanje investicijskih prilika. Fokus je bio na dvije metode: izravno poravnavanje preferenci (DPO) i podržano učenje iz povratnih informacija ljudi (RLHF). Skup podataka izgrađen je koristeći vlastite scraper skripte te filtriranjem i procesiranjem članaka. Skup podataka u završnom obliku imao je oko 35 tisuća elemenata. Metoda DPO se pokazala kao jednostavno i učinkovito rješenje za naš problem, dok je metoda RLHF nepotrebno komplicirana i prezahtjevna. Rezultati su pokazali poboljšanje modela koristeći metodu DPO. Također je naglašena važnost prepoznavanja i upotrebe pravilne metode za specifični problem koji se rješava.

Sažetak (engleski)

The goal of this bachelors thesis was to explore methods of reinforcement learning to fine-tune a large language model to recognize financial investment oppportunities. The focus was on two methods: direct preference optimisation (DPO) and reinforcement learning from human feedback (RLHF). The datawas was built using self-made scraper tools and methods of filtering and processing the articles. The final version of the dataset had around 35 thousand articles. DPO showed itself to be a very simple, useful and efficient method to implement, while RLHF turned out to be too complex and taxing. The results showed that the model was learning using the DPO method and that it is crucial to recognize and pick a method which aligns itself with our goals and problems.

• Ključne riječi: Veliki jezični modeli; podržano učenje; izravno poravnavanje preferenci; podržano učenje iz povratne informacije ljudi; binarna klasifikacija; prepoznavanje investicijskih prilika
• Ključne riječi (engleski): Large language models; reinforcement learning; direct preference optimisation; reinforcement learning from human feedback; binary classification; recognition of investment opportunities
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:258539
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 20:57:27