Korištenje velikih jezičnih modela u ocjenjivanju zadataka otvorenog tipa

završni rad

• Naslov (engleski): Using Large Language Models in evaluating open ended assignments
• Autor: Lucija Runjić
• Mentor: Ljiljana Brkić (mentor)
• Član povjerenstva: Ljiljana Brkić (predsjednik povjerenstva)
• Član povjerenstva: Agneza Krajna (član povjerenstva)
• Član povjerenstva: Melita Fertalj (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-06-27, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovom radu istražuje se primjena velikih jezičnih modela u ocjenjivanju zadataka otvorenog tipa. Konkretno, korišteni su modeli ChatGPT i Bard. Rad opisuje karakteristike velikih jezičnih modela te statističke mjere korištene za analizu, uključujući sumu kvadrata i koeficijent determinacije. Nadalje, prikazan je podatkovni skup korišten u istraživanju, s postupkom prikupljanja relevantnih podataka. Opisane su korištene tehnologije i alati koji su omogućili provedbu analize. Rad također nudi interpretaciju rezultata dobivenih analizom ocjenjivanja i povratnih informacija generiranih od strane velikih jezičnih modela. Uz to, predložena je mjera za ocjenjivanje sposobnosti vrednovanja zadataka ovog tipa, kao i implementacija algoritma za dodjeljivanje bodova temeljenih na kalibracijskom testu.

Sažetak (engleski)

The purpose of this work is to determine the quality of large language models in evaluating open-ended assignments. More specifically, we are using ChatGPT and Bard. This paper describes characteristics of large language models in detail, along with various statistical measures used for analysis, such as sum of squares or coefficient of determination. Furthermore, the dataset used for the analysis is presented along with the process of acquiring and extracting all the relevant data from it. Technologies and other tools used analysis implementation are also described. The paper provides interpretation of the results of the analysis of the given dataset acquired through the grades and feedback generated by large language models. The measure for the evaluation the ability of grading tasks of this structure is proposed, along with the implementation of the algorithm for the distribution of points based on calibration test.

• Ključne riječi: Veliki jezični modeli; ChatGPT; Bard; zadatci otvorenog tipa; suma kvadrata; koeficijent determinacije
• Ključne riječi (engleski): Large language models; ChatGPT; Bard; open-ended assignments; sum of squares; coefficient of determination
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:562092
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 22:03:06