Improvements of a local bibliographic citation recommendation model based on hyperparameter and query optimization

doctoral thesis

• Title (croatian): Poboljšanja modela za lokalno preporučivanje bibliografskih izvora temeljena na optimizaciji hiperparametera i upita
• Author: Zoran Medić; MBZ: 382091
• Mentor: Jan Šnajder (mentor)
• Committee member: Domagoj Jakobović (predsjednik povjerenstva)
• Committee member: Marko Đurasević (član povjerenstva)
• Committee member: Petra Bago (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; (Department of Electronics, Microelectronics, Computer and Intelligent Systems); Zagreb
• Defense date and country: 2023-04-25, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing
• Universal decimal classification (UDC): 004 - Computer science and technology. Computing. Data processing

Abstract

The thesis focuses on analyzing improvements of a natural language processing and deep learning-based (DL) model for local citation recommendation (LCR) based on optimizing design choices when building LCR systems and enhancing LCR queries by combining LCR with global citation recommendation (GCR) queries. While the research on LCR presented various successful models for the task, many influential design choices have been overlooked in training such models. Moreover, previous research has not dealt with tasks that fit between the general recommendations obtained by GCR and the very specific ones obtained by LCR, which are arguably more practically relevant. To address these research gaps, the thesis proposes a new method for enhancing context representation in LCR systems and analyses how specific design choices affect the performance of an LCR pipeline system. The experiments conducted on two widely used LCR datasets show improvement in performance when using enhanced context representation in cases of datasets with smaller context sizes and also show the significant impact that previously overlooked design choices have on the performance of LCR systems. To address the gap in the usability of the existing LCR and GCR models in practice, the thesis proposes a new CR task called paragraph-level citation recommendation (PCR) that proposes citations to cite in a paragraph based on its topic sentence. Along with the task, a dataset and a model for PCR are presented and evaluated.

Abstract (croatian)

Doktorski rad fokusiran je na analizu poboljšanja sustava za lokalno preporučivanje bibliografskih izvora (LPBI), temeljenog na obradi prirodnog jezika i dubokom učenju, pomoću optimizacije izbora oblikovanja pri izgradnji sustava za LPBI i poboljšanja oblikovanja upita za LPBI kombiniranjem upita za LPBI s upitima za globalno preporučivanje bibliografskih izvora (GPBI). Iako su u istraživanjima o razvoju sustava za LPBI predstavljeni brojni uspješni sustavi, mnogi značajni izbori oblikovanja bili su zanemareni pri izgradnji takvih sustava. Također, prethodna istraživanja nisu se bavila zadacima koji bi bili prikladni kao preporuke između općih preporuka dobivenih modelom za GPBI i onih vrlo specifičnih dobivenih modelim za LPBI. Kako bi se odgovorilo na prethodno zanemarena pitanja u istraživanjima, rad predlaže novu metodu za proširenje reprezentacije konteksta u sustavima za LPBI te analizira kako specifični izbori oblikovanja utječu na performance sustava za LPBI. Eksperimenti provedeni na dva često korištena skupa podataka za LPBI pokazuju poboljšanje performanci pri korištenju proširene reprezentacije konteksta u slučajevima skupova podataka s manjim veličinama konteksta, te također pokazuju značajan utjecaj koji prethodno zanemareni izbori oblikovanja imaju na performance sustava za LPBI. Kako bi se riješio jaz u upotrebljivosti postojećih modela za LPBI i GPBI u praksi, u radu se predlaže novi zadatak za PBI nazvan preporučivanje bibliografskih izvora na razini odlomka (OPBI) u kojem model na temelju tematske rečenice predlaže bibliografske izvore kao preporuke za citiranje u nastavku odlomka. Uz zadatak su predstavljeni i skup podataka te model za OPBI.

• Keywords: citation recommendation; local citation recommendation; triplet-based reranking models; paragraph-level citation recommendation; natural language processing; deep learning
• Keywords (croatian): preporučivanje bibliografskih izvora; lokalno preporučivanje bibliografskih izvora; modeli za rerangiranje temeljeni na gubitku trojki; preporučivanje bibliografskih izvora na razini odlomka; obrada prirodnoga jezika; duboko učenje
• Language: english
• URN:NBN: urn:nbn:hr:168:982806
• Promotion: 2023
• Study programme: Title: Computer Science; Study programme type: university; Study level: postgraduate; Academic / professional title: Doktor znanosti (Doktor znanosti)
• Type of resource: Text
• Extent: x, 88 str. : graf. prikazi ; 31 cm.
• File origin: Born digital
• Access conditions: Open access
• Created on: 2023-09-19 15:48:21