Prepoznavanje matematičkih izraza primjenom dubokih konvolucijskih modela

diplomski rad

• Naslov (engleski): Recognition of Mathematical Expressions Using Deep Convolutional Models
• Autor: Alen Papak
• Mentor: Goran Delač (mentor)
• Član povjerenstva: Goran Delač (predsjednik povjerenstva)
• Član povjerenstva: Marin Šilić (član povjerenstva)
• Član povjerenstva: Klemo Vladimir (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-04, Hrvatska

Sažetak

U ovom radu opisana je metoda prepoznavanja rukom pisanih matematičkih izraza u slikama korištenjem dubokih neuronskih mreža. Korišten je skup podataka Aida Calculus Math Handwriting Recognition Dataset dostupan na platformi kaggle. Ostvareno rješenje sastoji se od mreže za detekciju simbola zasnivane na Faster R-CNN arhitekturi i slijed-u-slijed mreže koja iz pronađenih simbola generira matematički izraz. U okviru rada također je isprobano rješenje koje generira matematičke izraze u prefiksnoj notaciji. Objašnjena je svrha i funkcionalnost korištenih neuronskih mreža, opisani su načini vrednovanja modela i predstavljeni su rezultati rada korištenih mreža. Najbolje ostvareno rješenje uspješno prepoznaje 70.25% matematičkih izraza u skupu za ispitivanje.

Sažetak (engleski)

This work describes a method of recognizing handwritten mathematical expressions in images using deep neural networks. Aida Calculus Math Handwriting Recognition Dataset was used, which is available on kaggle platform. Developed solution consists of a detection network based on Faster R-CNN architecture and a sequence-to-sequence network that generates a mathematical expression from detected symbols. Another solution that generates mathematical expressions in prefix notation is also evaluated. Purpose and functionality of used neural networks is explained, model evaluation methods are described and results of used networks are shown. Best developed model successfully recognizes 70.25% of mathematical expressions in the test dataset.

• Ključne riječi: duboko učenje; konvolucijska neuronska mreža; detekcija; Faster R-CNN; povratna neuronska mreža; slijed-u-slijed; matematički izraz; prepoznavanje rukom pisanih matematičkih izraza
• Ključne riječi (engleski): deep learning; convolutional neural network; detection; Faster R-CNN; recurrent neural network; sequence-to-sequence; mathematical expression; handwritten mathematical expression recognition
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:439865
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 10:01:49