Otkrivanje korisnih informacija iz životopisa zadanih u slobodnom obliku

diplomski rad

• Naslov (engleski): Extraction of Relevant Information from Free-form Resumes
• Autor: Davor Vukadin
• Mentor: Marin Šilić (mentor)
• Član povjerenstva: Marin Šilić (predsjednik povjerenstva)
• Član povjerenstva: Klemo Vladimir (član povjerenstva)
• Član povjerenstva: Goran Delač (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2020-07-07, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovom radu prikazan je način rada arhitekture za obradu sekvencijalnih podataka - transformera te implementacije enkoderskog dijela u obliku jezičnog modela BERT. Implementirana su dva modela koja koriste BERT kao višejezični ekstraktor značajki te su učeni na dva skupa podataka, jedan za ekstrakciju "tvrdih" informacija i njihovog konteksta iz životopisa, a drugi za označavanje kvalitete samoprocjene korištenja vještina. Unutarnji slojevi pozornosti modela su analizirani kako bi se potvrdila važnost i funkcija novododanih tokena za konačnu klasifikaciju. Također su analizirane vektorske reprezentacije oba modela te njihov utjecaj na performanse.

Sažetak (engleski)

This paper presents the operation of the architecture for sequential data processing - transformers and the implementation of the encoder part in the form of the language model BERT. Two models were implemented that use BERT as a multilingual feature extractor and were trained on two data sets, one to extract “hard” information and its context from a resume, and the other to label the quality of skill self-assessment. The inner attention layers of the model were analyzed to confirm the importance and function of the newly added tokens for the final classification. The embeddings of both models and their impact on performance were also analyzed.

• Ključne riječi: duboko učenje; obrada prirodnog jezika; transformer; BERT; životopis; pozornost; višejezičnost; interpretabilnost
• Ključne riječi (engleski): deep learning; natural language processing; transformer; BERT; resume; attention; multilingual; interpretability
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:361097
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 14:15:04