Kontekstno ispravljanje pravopisnih pogrešaka primjenom n-gramskog sustava

undergraduate thesis

• Title (english): Contextual spellchecking based on n-gram system
• Author: Teo Matošević
• Mentor: Gordan Gledec (mentor)
• Committee member: Gordan Gledec (predsjednik povjerenstva)
• Committee member: Bartol Boras (član povjerenstva)
• Committee member: Kristijan Poje (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-07-02, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Programska potpora Hascheck, poznata i kao Ispravi.me, jako dobro obavlja posao pronalaska i ispravljanja „non-word“ pravopisnih pogreški, a za „real-word“ pravopisne pogreške, Hascheck će rijetko prepoznati te ispraviti pogrešku. Cilj ovog rada bio je izgraditi programsku potporu koja će omogućiti rješavanje „real-word“ vrstu pravopisnih pogreški uz pomoć n-gramskog sustava.
Razvijano programsko rješenje je podignuto na superračunalu kojeg održava organizacija Srce. N-gramski sustav se sastoji od ScyllaDB baze podataka koja sadrži n-grame i njihove frekvencije. Aplikativni sloj koji komunicira sa bazom napisan je u rustu, a iznad aplikativnog sloja izgrađen je web poslužitelj kako bi se omogućio pristup krajnjem korisniku.
Sustav ima predefinirane confusion setove, a pri upitu prima tekstualni zapis. Iz tog tekstualnog zapisa svugdje gdje pronađe riječ iz nekog onfusion seta, izvlači kontekst. Pomoću konteksta se kreiraju svi potrebni n-grami za svaku riječ iz confusion seta unutar kojega je prvotno bila pronađena riječ. Iz baze podataka se dobivaju frekvencije izgrađenih n-grama pa se te frekvencije analiziraju. Omogućeno je modularno kreiranje algoritma koji će iz frekvencija n-grama doći do zaključka. Jednostavno je dodavati i mijenjati algoritme.
Sustav implementira tri algoritma za računanje predikcije sa različitim matematičkim načinom izračuna. Programsko rješenje je u mogućnosti da bude operativno sa puno confusion setova, ali tijekom testiranja korišten je mali podskup. Svakom od tri definirana algoritma na ulaz je predan isti tekstualni zapis. Rješenja su pokazala slično ponašanje svih triju algoritama.
Rezultati prikazuju da je sustav u prosjeku točan u 70 % slučajeva. Sustav griješi u slučaju kada su korisnici za taj određeni kontekst više puta unijeli pravopisno pogrešnu riječ. Kada bi se iz baze podataka maknuli pravopisno pogrešni n-grami, sustav bi sigurno puno bolje funkcionirao.

Abstract (english)

The Hascheck software, also known as Ispravi.me, performs very well in detecting and correcting "non-word" spelling errors. However, for "real-word" spelling errors, Hascheck rarely identifies and corrects the mistake. The aim of this work was to develop software that would enable the resolution of "real-word" spelling errors using n-gram based system.
The developed software solution is deployed on a supercomputer maintained by the organization Srce. The n-gram system consists of a ScyllaDB database that contains n-grams and their frequencies. The application layer that communicates with the database is written in Rust, and a web server is built above the application layer to provide access to the end user.
The system has predefined confusion sets, and upon request, it receives a text input. From this text input, it extracts the context wherever it finds a word from any confusion set. Using the context, all necessary n-grams are created for each word from the confusion set within which the word was originally found. The frequencies of the constructed n-grams are obtained from the database and these frequencies are analyzed. The system allows for modular creation of algorithms that will derive conclusions from the n-gram frequencies. Adding and changing algorithms is straightforward.
The system implements three algorithms for prediction calculation, each using a different mathematical calculation method. The software solution can operate with many confusion sets, but a small subset was used during testing. The same text input was provided to each of the three defined algorithms. The solutions exhibited similar behavior across all three algorithms.
The results show that the system is accurate in 70 % of cases. The system makes errors when users have repeatedly entered a misspelled word for a specific context. If the misspelled n-grams were removed from the database, the system would certainly function much better.

• Keywords: n-gram; confusion set; rust; ScyllaDB; kontekst; Hascheck
• Keywords (english): n-gram; confusion set; rust; ScyllaDB; context; Hascheck
• Language: croatian
• URN:NBN: urn:nbn:hr:168:067372
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-10-12 21:32:07