Poravnavanje višejezičnih reprezentacija radi postizanja boljih rezultata na međujezičnom zaključivanju

diplomski rad

• Naslov (engleski): Aligning multilingual embeddings to achieve better cross-lingual performance
• Autor: Marko Rajnović
• Mentor: Jan Šnajder (mentor)
• Član povjerenstva: Jan Šnajder (predsjednik povjerenstva)
• Član povjerenstva: Marko Đurasević (član povjerenstva)
• Član povjerenstva: Marko Čupić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-11, Hrvatska

Sažetak

Višejezično poravnavanje predstavlja jezične vektore više jezika u istom jezičnom prostoru, na način da su semantički slični vektori različitih jezika blizu u vektorskom prostoru. Naš zadatak je bio istražiti ima li poravnavanje utjecaja na performanse modela na naknadnim zadacima te poravnavaju li modeli jezike ako se treniraju u paradigmi "prevedi pa treniraj". Nakon toga treniramo poravnavanje na podacima koji su unutar domene zadataka da pobjedimo osnovne modele. Vizualiziramo skrivene slojeve reprezentacija različitih modela i uspoređujemo ih. Naš zaključak je da paradigma "prevedi pa treniraj" ne poravnava implicitno višejezični vektorski prostor, ali eksplicitno poravnavanje može poboljšati višejezične performanse ako se koriste podaci unutar domene zadatka.

Sažetak (engleski)

Multilingual alignment represents language encodings of multiple languages in the same language space, such that semantically similar encodings across languages are close in the embedding space. We explore whether alignment impacts downstream model performance and whether models implicitly align if the translate-train learning mode is used. Then we train alignment on in-domain parallel data to beat baselines. We visualize the hidden layer representations of various models and compare them. We conclude that translate-train models do not implicitly align embedding spaces, but explicit alignment can improve multilingual performance if done on in-domain data.

• Ključne riječi: Višejezično poravnavanje; XNLI; PAWS-X; Obrada prirodnog jezika; OPJ; Duboko učenje; Strojno učenje
• Ključne riječi (engleski): Multilingual Alignment; XNLI; PAWS-X; Natural Language Processing; NLP; Deep Learning; Machine Learning
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:684681
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 10:19:06