Prijenosno učenje predtreniranjem jezičnih modela na ograničenoj količini podataka

master's thesis

• Title (english): Resource-Scarce Transfer Learning Using Language Model Pretraining
• Author: Tome Radman
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Bojana Dalbelo-Bašić (član povjerenstva)
• Committee member: Ante Đerek (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2019-07-11, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Prijenosno učenje je tehnika primjene znanja stečenog na nekom problemu strojnog učenja pri učenju novih, sličnih problema. U obradi prirodnog jezika, prijenosnom učenju se pretežito pristupalo predtreniranjem vektorskih reprezentacija riječi. Iako su se tehnike generiranja fiksnih vektorskih reprezentacija prethodno pokazale uspješnima, novije metode učenja kontekstualnih reprezentacija riječi korištenjem jezičnih modela značajno su proširile mogućnosti prenošenja znanja na mnoge zadatke razumijevanja jezika. Prijenosno učenje je osobito važno u problemima s ograničenom količinom podataka. Razmotren je pristup poboljšanja predtreniranih jezičnih modela pri ograničenim količinama podataka u kojem se provodi dodatno, posredno treniranje između predtreniranja jezičnog modela i finog podešavanja na ciljnom zadatku. Kroz eksperimente je pokazano da ovakva vrsta predtreniranja može značajno pospiješiti spomenute modele uz uvjet da postoji dovoljno preklapanja između posrednog i ciljnog zadatka.

Abstract (english)

Transfer learning is a technique of applying knowledge gained in a certain machine learning setting in a new, similar setting. In natural language processing, transfer learning was most commonly approached by pretraining word vector representations. While techniques for generating fixed word embeddings were successful in the past, recent methods of learning contextualized word representations using language models greatly extended the capabilities of transferring knowledge to a wide range of language understanding tasks. Transfer learning is especially important in resource-scarce settings. An approach of improving pretrained language models in low-resource scenarios by adding an intermediate learning phase between language model pretraining and target task fine-tuning is explored. It is shown through experiments that the mentioned models can significantly benefit from this kind of pretraining, but only if there is enough overlap between the intermediate and the target task.

• Keywords: obrada prirodnog jezika; prijenosno učenje; reprezentacije riječi; jezični modeli; oskudnost podataka
• Keywords (english): natural language processing; transfer learning; word representations; language models; data scarcity
• Language: english
• URN:NBN: urn:nbn:hr:168:270967
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2020-01-07 21:43:57