Rješavanje matematičkih zadataka zadanih riječima pomoću apstraktivnog sažimanja

master's thesis

• Title (english): Math Word Problem Solving Based on Abstractive Summarization
• Author: Alen Carin
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Alan Jović (član povjerenstva)
• Committee member: Marko Đurasević (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2021-07-09, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Automatsko rješavanje tekstualnih matematičkih zadataka, odnosno matematičkih zadataka napisanih riječima koji se učestalo pojavljuju u osnovnoškolskim knjigama, je kompleksan i još uvijek neriješen zadatak iz područja obrade prirodnog jezika. Potrebno je veoma dubinsko razumijevanje jezika da bi se mogao riješiti ovakav tip problema. U ovom radu kao i mnogim drugim povezanim radovima, fokus je stavljen na rješavanje aritmetičkih zadataka zadanih riječima koji su podskup svih matematičkih zadataka zadanih riječima. Ovaj rad je motiviran sličnošću zadataka automatskog rješavanja matematičkih zadataka zadanih tekstom i automatskog apstraktnog sažimanja teksta i nedavnih uspjeha u sažimanju teksta. Ono što je zajedničko oboma zadatcima je što im je cilj proizvesti kraću verziju teksta koja najbolje opisuje originalni ulazni tekst. U ovom radu, načinjena su dva automatska rješavača matematičkih zadataka zadanih riječima -- reimplementacija modela koji je ostvario najbolje postignuće na Ape210K setu podataka te model koji se bazira na BERT modelu i principu slijed-u-slijed. Iako reimplementacija nije potpuno identična kao u originalnom radu, proizvela je obećavajuće rezultate, ali je još uvijek velika razlika među rezultatima. Model baziran na BERT modelu nije proizveo značajne rezultate, vjerojatno zbog greške u implementaciji koja još nije detektirana. Svejedno, u budućem radu model bi mogao dati odlične rezultate i nadam se da će služiti kao inspiracija za daljnje istraživanje.

Abstract (english)

Automatic solving of math word problems (MWPs), which are math problems given in
words, as typically found in elementary school textbooks, is a complex and still unresolved
task in natural language processing (NLP). A very deep understanding of the language is
needed to solve this type of problem. In this work and many other related work, the focus is
put on arithmetic word problems, which is a subset of math word problems. The motivation
of this work is in the similarity between automatic math word problems and abstractive
text summarization and the recent improvements in automatic text summarizers. What both
tasks have in common is the aim to produce a shorter version of the input text which best
describes the original version. In this work, two automatic math word problem solvers have
been produced – a reimplementation of the state-of-the-art model on Ape210K dataset and
a BERT-based sequence-to-sequence model. Although the reimplementation is not a perfect
match with the original paper, it did produce very promising results, but there is still a big
gap between the two. Potentially due to a bug, the BERT-based model did not produce
meaningful results. Nevertheless, in future work, it could achieve great results and I hope
that it will inspire further research.

• Keywords: matematički zadatci zadani riječima; apstraktno sažimanje teksta; obrada prirodnog jezika; BERT model
• Keywords (english): Math word problems; abstractive text summarization; natural language processing; BERT model
• Language: english
• URN:NBN: urn:nbn:hr:168:752789
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-01-13 11:56:55