Ispravljanje pravopisnih pogrešaka nastalih izostavljanjem ili dodavanjem razmaka

diplomski rad

• Naslov (engleski): Correcting spelling errors caused by space character insertion or deletion
• Autor: Matej Janjić
• Mentor: Gordan Gledec (mentor)
• Član povjerenstva: Gordan Gledec (predsjednik povjerenstva)
• Član povjerenstva: Krešimir Fertalj (član povjerenstva)
• Član povjerenstva: Mario Brčić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2019-07-08, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Ovaj rad opisuje dosadašnji razvoj u obradi prirodnog jezika, područja u kojima se primjenjuje i izazove u pojedinim područjima. Posebna pažnja posvećena je strojnom ispravljanju pravopisa. Proučeni su najpoznatiji algoritmi za ispravljanje pravopisa, kao što su Peter Norvigov algoritam, Burkhard--Keller stabla i algoritam simetričnog brisanja. Obrađeni su pristupi ispravljanju pravopisnih grešaka nastalih dodavanjem ili izostavljanjem razmaka. Za implementaciju programa za strojno ispravljanje pravopisa koji ima mogućnost ispravljanja pravopisnih pogrešaka nastalih izostavljanjem ili dodavanjem razmaka odabran je algoritam simetričnog brisanja kojeg je implementirao Wolf Garbe. Objašnjeno je i stvaranje rječnika s brojem pojavljivanja pojedine riječi. Korišteni su podaci izvedeni iz usluge Hascheck, nadograđeni s dva dodatna korpusa. Napravljena je usporedba ispravljanja nekoliko karakterističnih tekstova.

Sažetak (engleski)

This thesis describes the current state of natural language processing, the areas in which it is applied and challenges present in these areas. Particular attention is paid to automatic spelling correction. The most famous spelling correction algorithms were studied, such as Peter Norvig's algorithm, Burkhard-Keller trees and the symmetric deletion algorithm. Approaches to correcting spelling mistakes caused by adding or omitting spaces are explained. To implement a spell-correction program that has the ability to correct spelling mistakes created by omitting or adding spaces, a symmetric deletion algorithm implemented by Wolf Garbe was used. The process of creating the frequency dictionary is also explained. Data exported from Hascheck was used for the dictionary, improved with the data from two additional corpora. A comparison of the correction results of several characteristic texts was made.

• Ključne riječi: trojno ispravljanje pravopisa; udaljenost uređivanja; Burkhard--Keller stabla; algoritam simetričnog brisanja; rječnici; korpusi; Hascheck
• Ključne riječi (engleski): automatic spelling correction; edit distance; Burkhard--Keller trees; symmetric delete algorithm; dictionaries; corpora; Hascheck
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:832205
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2020-01-07 18:40:20