Optičko raspoznavanje glazbe temeljeno na konvolucijskim modelima

master's thesis

• Title (english): Optical Music Recognition Based on Convolutional Models
• Author: Luka Papež
• Mentor: Zoran Kalafatić (mentor)
• Committee member: Zoran Kalafatić (predsjednik povjerenstva)
• Committee member: Tomislav Hrkać (član povjerenstva)
• Committee member: Marin Šilić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2018-07-17, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Optičko raspoznavanje glazbe (engl. Optical Music Recognition odnosno OMR) je područje istraživanja fokusirano na ekstrakciju informacija iz slika glazbene notacije (partitura). Ovaj rad započinje kratkim pregledom postojećih istraživanja u području optičkog raspoznavanja glazbe. Problem transkripcije glazbene notacije u tekst je postavljen kao problem prevođenja jezika te su primjenjene metode strojnog učenja za rješavanje. Prroblemu je pristupljeno s cjelovitim pristupom sustava s-kraja-na-kraj odnosno sustav sam uči funkcionalnost samo iz prezentiranih ulaznih slika i očekivanog izlaza. Radi toga je generiran umjetni skup podataka s visokim brojem uzoraka temeljen na metodi pronađenoj u prethodno objavljenim radovima. Cjeloviti transkripcijski sustav temeljen na enkoder-dekoder arhitekturi neuronskih mreža je implementiran i uspoređen sa srodnim usporednim modelima. Zanimljiva moguća sekundarna primjena razvijenog sustava za spajanje kompresiju ili kompresiju notnih zapisa je prikazana. Rad završava opširnim pregledom mogućih budućih istraživačkih smjerova u području cjelovitih s-kraja-na-kraj transkripcijskih sustava.

Abstract (english)

Optical Music Recognition (OMR) is a field of research focusing on extracting information from images of music notation (scores). The work begins with short overview of existing OMR research. The problem of score-to-text transcription is posed as a language translation problem and tackled with machine learning techniques. A decision is made to tackle the problem end-to-end meaning that the entire functionality is automatically learned by presenting the system with available input and desired output. To achieve this, a large synthetic dataset of musical scores and their textual description is created using a method based on previous research. An end-to-end OMR transcription system based on a encoder-decoder neural network architecture is implemented and evaluated against related baseline models. Although the system provides some functionality, substantial improvement for real-world application is required. Interesting possible side-applications of developed system for score fusion or compression are presented. The work ends with a large overview of possible future research directions regarding end-to-end OMR systems.

• Keywords: strojno učenje; optičko raspoznavanje glazbe; neuronske mreže; konvolucijske neuronske mreže; rekurzivne neuronske mreže
• Keywords (english): machine learning; optical music recognition; neural networks; convolutional neural networks; recurrent neural networks
• Language: english
• URN:NBN: urn:nbn:hr:168:863552
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2019-03-13 23:37:58