Primjena dubokog učenja na izračunavanje neodređenih integrala korištenjem velikog jezičnog modela

master's thesis

• Title (english): Applying deep learning to computing indefinite integrals using a large language model
• Author: Emil Huzjak
• Mentor: Domagoj Vlah (mentor)
• Committee member: Domagoj Vlah (predsjednik povjerenstva)
• Committee member: Mate Puljiz (član povjerenstva)
• Committee member: Mario Brčić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-03-01, Croatia

Abstract

Na zadatku računanja neodređenih integrala je dotreniran veliki jezični model Llama-2 sa sedam milijardi parametara predtreniran da odgovara na pitanja. Korišteni su primjeri u jednostavnom formatu definiranom u sympy biblioteci u pythonu. Primjeri su stvoreni programski nasumičnim generiranjem funkcija iz definiranih pravila i dopuštenih elementarnih matematičkih funkcija. Model je testiran i uspoređen s originalnim te se primjećuju znatna poboljšanja. Dotreniranje je obavljeno tehnikom LoRA koja je memorijski jako učinkovita i omogućava brzo učitavanje i dijeljenje modela. Model je stavljen na online bazu Huggingface.

Abstract (english)

The Llama-2 large language model with 7 billion parameters, designed to be a chat assistant, was finetuned on the task of solving indefinite integrals. Training examples have a simple format defined by the sympy python library. The examples were generated randomly from a defined set of rules and elementary functions. The model was tested and compared to the baseline model, showing significant improvements. Finetuning used the memory-efficient LoRA technique which enables fast loading and sharing of models. The model was uploaded to the public Huggingface model repo.

• Keywords: duboko učenje; neodređeni integrali; veliki jezični model; Llama-2
• Keywords (english): deep learning; indefinite integrals; large language model; Llama-2
• Language: croatian
• URN:NBN: urn:nbn:hr:168:130901
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2024-03-28 07:46:59