Apstraktivno sažimanje teksta pomoću dubokog učenja

diplomski rad

• Naslov (engleski): Abstractive Text Summarization Using Deep Learning
• Autor: Josipa Tomić
• Mentor: Marin Šilić (mentor)
• Član povjerenstva: Marin Šilić (predsjednik povjerenstva)
• Član povjerenstva: Klemo Vladimir (član povjerenstva)
• Član povjerenstva: Goran Delač (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2022-09-14, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovom su radu opisani neki od modela dubokog učenja korištenih u zadatku apstraktivnog sažimanja teksta. Ti se modeli temelje na sequence-to-sequence arhitekturi izgrađenoj od dva dijela: neuronske mreže za koder i druge mreže za dekoder. RNN koder – dekoder modeli su poboljšani dvosmjernim RNN-om i LSTM jedinicama kako bi se mogli koristiti u području sažimanja teksta. U radu je opisana Transformer arhitektura koja koristi samo mehanizam pažnje bez rekurentnih mreža kako bi ubrzala proces učenja. Za zadatak apstraktivnog sažimanja teksta, fino je podešen model BART, model koji je proizašao iz standardne arhitektura Transformera. U finom prilagođavanju korišten je skup podataka na hrvatskom jeziku dobiven strojnim prevođenjem CNN/Daily mail skupa.

Sažetak (engleski)

This paper describes some of the deep learning models used in the abstract text summarization task. These models are based on a sequence-to-sequence architecture constructed of two parts: neural network for the encoder and neural network for the decoder. RNN encoder - decoder models have been enhanced with bidirectional RNN and LSTM units to be used in the text summarization area. The paper describes a Transformer architecture that uses only the attention mechanism without recurrent networks to speed up the learning process. For the task of abstract text summarization, the BART model is fine-tuned. BART is a model derived from the standard Transformer architecture. In a fine-tuning process, a dataset obtained by machine translation of the CNN/ Daily mail dataset into Croatian was used.

• Ključne riječi: Apstraktivno sažimanje teksta; Transformer; duboko učenje; fino podešavanje; rekurentne neuronske mreže; mehanizam pažnje; BART model; koder-dekoder arhitektura; sequence-to-sequence modeli
• Ključne riječi (engleski): abstractive text summarization; Transformer; deep learning; fine tuning; recurrent neural networks; attention mechanism; BART model; encoder-decoder architecture; sequence-to-sequence models
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:155666
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-01-13 14:03:21