Primjena dubokog učenja na izračunavanje neodređenih integrala korištenjem velikog jezičnog modela

diplomski rad

• Naslov (engleski): Applying deep learning to computing indefinite integrals using a large language model
• Autor: Emil Huzjak
• Mentor: Domagoj Vlah (mentor)
• Član povjerenstva: Domagoj Vlah (predsjednik povjerenstva)
• Član povjerenstva: Mate Puljiz (član povjerenstva)
• Član povjerenstva: Mario Brčić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-03-01, Hrvatska

Sažetak

Na zadatku računanja neodređenih integrala je dotreniran veliki jezični model Llama-2 sa sedam milijardi parametara predtreniran da odgovara na pitanja. Korišteni su primjeri u jednostavnom formatu definiranom u sympy biblioteci u pythonu. Primjeri su stvoreni programski nasumičnim generiranjem funkcija iz definiranih pravila i dopuštenih elementarnih matematičkih funkcija. Model je testiran i uspoređen s originalnim te se primjećuju znatna poboljšanja. Dotreniranje je obavljeno tehnikom LoRA koja je memorijski jako učinkovita i omogućava brzo učitavanje i dijeljenje modela. Model je stavljen na online bazu Huggingface.

Sažetak (engleski)

The Llama-2 large language model with 7 billion parameters, designed to be a chat assistant, was finetuned on the task of solving indefinite integrals. Training examples have a simple format defined by the sympy python library. The examples were generated randomly from a defined set of rules and elementary functions. The model was tested and compared to the baseline model, showing significant improvements. Finetuning used the memory-efficient LoRA technique which enables fast loading and sharing of models. The model was uploaded to the public Huggingface model repo.

• Ključne riječi: duboko učenje; neodređeni integrali; veliki jezični model; Llama-2
• Ključne riječi (engleski): deep learning; indefinite integrals; large language model; Llama-2
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:130901
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-03-28 07:46:59