Korištenje velikih jezičnih modela u ocjenjivanju programskog koda studenata

završni rad

• Naslov (engleski): Using Large Language Models in evaluating student programming code
• Autor: Sara Gašpar
• Mentor: Ljiljana Brkić (mentor)
• Član povjerenstva: Ljiljana Brkić (predsjednik povjerenstva)
• Član povjerenstva: Agneza Krajna (član povjerenstva)
• Član povjerenstva: Melita Fertalj (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-06-27, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Ovim radom je cilj bio istražiti uspješnost velikih jezičnih modela u ocjenjivanju programskog koda studenata na rješenjima zadataka iz ispita. ChatGPT i Gemini su LLM- ovi korišteni u istraživanju. Opisan je skup podataka za analizu, veliki jezični modeli i korištena metodologija. Provedene su analize bodova i povratnih informacija koje su studentima dodijelili veliki jezični modeli u usporedbi s bodovima prethodno dodijeljenim od strane nastavnog osoblja s predmeta. Predložene su mjere kojima se ocijenila uspješnost LLM-ova u ocjenjivanju.

Sažetak (engleski)

The aim of this work was to investigate the success of large language models in evaluating the students' program code on the solutions to the exam tasks. The LLMs used in the research are ChatGPT and Gemini. The work described the data set for the analysis, the large language models and the used methodology. Analyzes of the scores and feedback awarded to students by the large language models were compared to the scores previously awarded by the subject teaching staff. Measures were proposed to evaluate the success of LLMs in evaluation.

• Ključne riječi: Veliki jezični modeli; ChatGPT; Gemini; Analiza podataka; Bodovi; Povratne informacije
• Ključne riječi (engleski): Large language models; ChatGPT; Gemini; Data analysis; Score; Feedback
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:560143
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 20:37:44