Procjena čitljivosti teksta postupcima obrade prirodnog jezika

master's thesis

• Title (english): Predicting Text Readability using Natural Language Processing Methods
• Author: Robert Injac
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Vlado Glavinić (član povjerenstva)
• Committee member: Ante Đerek (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2019-07-11, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Čitljivost teksta je definirana kao lakoća kojom čitatelj može razumjeti pisani tekst. Formule za čitljivost su tradicionalno bile korištene za određivanje čitljivosti teksta. Posljednih godina, ljudi su počeli koristiti methode obrade prirodnog jezika zajedno sa strojnim učenjem za rješavanje ovog problema -- ovo je pristup koji je korišten u ovom radu. Metode obrade prirodnog jezika su korištene za ekstrakciju relevantnih značajki iz teksta. Te značajke su dane na ulaz nekoliko modela zasnovanih na strojnom učenju koji predviđaju razinu čitljivosti. Ti modeli su evaluirani na WeeBit skupu podataka. Uspoređeni su jedan s drugim te s tradicionalnim formulama korištenjem statističkih testova. Testovi su pokazali da modeli zasnovani na strojnom učenju postižu bolje rezultate od tradicionalnih formula za čitljivost.

Abstract (english)

Text readability is defined as the ease with which a reader can understand a written text. Traditionally, readability formulas have been used to determine the readability of a text. In recent years, people have started to use natural language processing (NLP) methods coupled with machine learning to solve this task -- this is the approach used in this work. NLP methods have been used to extract relevant features from a text. These features are given as an input to several machine learning models which predict readability level. The models were evaluated on the WeeBit dataset. They have been compared with each other and with traditional formulas using statistical significance testing. The tests showed that machine learning models outperform traditional readability formulas.

• Keywords: čitljivost; procjena čitljivosti; formule za čitljivost; obrada prirodnog jezika; strojno učenje
• Keywords (english): readability; readability formulas; readability prediction; natural language processing; machine learning
• Language: english
• URN:NBN: urn:nbn:hr:168:152447
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2020-01-07 18:30:40