Istraživanje suvremenih modela za ekstrakciju odnosa između entiteta na razini dokumenata

diplomski rad

• Naslov (engleski): Exploring state-of-the-art models for document-level entity relation extraction
• Autor: Dunja Šmigovec
• Mentor: Jan Šnajder (mentor)
• Član povjerenstva: Jan Šnajder (predsjednik povjerenstva)
• Član povjerenstva: Marko Đurasević (član povjerenstva)
• Član povjerenstva: Marko Čupić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-11, Hrvatska

Sažetak

U ovom radu prikazani su rezultati eksperimenata ekstrakcije relacije entiteta na razini dokumenta korištenjem različitih modela: T5, mT5, FLAN-T5, GPT-3.5 Turbo i GPT-4. Učinkovitost ovih modela procijenjena je pomoću ROUGE rezultata u različitim konfiguracijama. GPT-4 pokazao je vrhunsku izvedbu u hvatanju odnosa između entiteta, dok je uključivanje prepoznavanja imenovanih entiteta (NER) i oznaka entiteta utjecalo na rezultate. Nalazi naglašavaju učinkovitost naprednih arhitektura modela u izdvajanju odnosa entiteta bez eksplicitne obuke o određenim tipovima odnosa. Jednokratni eksperimenti pokazali su obećavajuće rezultate za GPT-4, ukazujući na njegovu sposobnost iskorištavanja ograničenih primjera za učenje. Ovi rezultati doprinose polju ekstrakcije odnosa između entiteta na razini dokumenta i pokazuju potencijal naprednih modela za zadatke ekstrakcije odnosa.

Sažetak (engleski)

This thesis presents the results of experiments on document-level entity relation extraction using various models: T5, mT5, FLAN-T5, GPT-3.5 Turbo, and GPT-4. The performance of these models was evaluated using ROUGE scores in different configurations. GPT-4 demonstrated superior performance in capturing entity relations, while the inclusion of named entity recognition (NER) and entity tags affected the results. The findings highlight the effectiveness of advanced model architectures in extracting entity relations without explicit training on specific relation types. The one-shot experiments showed promising results for GPT-4, indicating its ability to leverage limited training examples. These results contribute to the field of document-level entity relation extraction and demonstrate the potential of advanced models for relation extraction tasks.

• Ključne riječi: razina dokumenta; ekstrakcija odnosa između entiteta; obrada prirodnog jezika; duboko učenje; generativni pristup; T5; GPT-3.5 Turbo; GPT-4; upiti
• Ključne riječi (engleski): document-level; entity relation extraction; natural language processing; deep learning; generative approach; T5; GPT-3.5 Turbo; GPT-4; prompting
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:158199
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 10:40:52