Vox Calculi: rješavanje matematičkih problema korištenjem transformera i automatskog prepoznavanja govora

diplomski rad

• Naslov (engleski): Vox Calculi: Transformer based approach for solving mathematical problems using automatic speech recognition
• Autor: Ante Grgurević
• Mentor: Marina Bagić Babac (mentor)
• Član povjerenstva: Marina Bagić Babac (predsjednik povjerenstva)
• Član povjerenstva: Mirjana Domazet-Lošo (član povjerenstva)
• Član povjerenstva: Marko Horvat (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-10, Hrvatska

Sažetak

U ovom radu predstavljamo Vox Calculi - sustav razvijen za rješavanje matematičkih problema iz transkripcija govora. Korištenjem najnovijih predtreniranih modela automatskog prepoznavanja govora (ASR), dobivamo točne transkripcije iz snimki korisnikovog glasa. Posebno razvijeni matematički parser za ovaj rad pretvara matematičke izraze iz prirodnog jezika u matematičke simbole i brojeve, ostavljajući ostatak transkripcije netaknutim. Zatim koristimo modele Transformer i TP-Transformer trenirane na DeepMindovom Mathematics skupu podataka kako bismo generirali odgovarajući matematički odgovor iz zadane ulazne sekvence. Detaljno prikazujemo evaluaciju ASR modela i modela Transformera koji postižu vrlo zadovoljavajuće rezultate, te sugeriramo neka buduća poboljšanja koja bi nadalje unaprijedila razvijeni sustav.

Sažetak (engleski)

In this thesis, we introduce Vox Calculi, a system designed to solve mathematical problems through voice transcriptions. By leveraging cutting-edge pretrained automatic speech recognition (ASR) models, we accurately transcribe user's voice recordings. Additionally, we develop a dedicated Mathematical parser for this thesis, which converts natural language mathematical expressions into mathematical symbols and numbers while preserving the rest of the transcription. We employ Transformer and TP-Transformer models trained on DeepMind's Mathematics dataset to generate the appropriate mathematical answer from the provided sequence. We provide a comprehensive evaluation of both the ASR models and the Transformer models, which yield highly satisfactory results. Furthermore, we propose potential future improvements that could enhance the system further.

• Ključne riječi: matematičko zaključivanje; obrada prirodnog jezika; automatsko prepoznavanje govora; duboko učenje; transformer modeli
• Ključne riječi (engleski): mathematical reasoning; natural language processing; automatic speech recognition; deep learning; transformer models
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:467226
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 08:57:52