Otkrivanje teksta neprimjerenog sadržaja postupcima strojnog učenja

undergraduate thesis

• Title (english): Offensive Text Detection using Machine Learning Methods
• Author: Sven Vidak
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Goran Glavaš (član povjerenstva)
• Committee member: Goran Delač (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2014-07-14, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Razvoj interneta doprinio je bržoj i učikovitijoj komunikaciji, ali je zbog anonimnosti koju nudi korisnicima također povećao broj nepoželjnih aktivnosti. Cilj je takvu aktivnost u potpunosti spriječiti ili barem minimizirati kako bi korištenje interneta bilo što ugodnije. U okviru ovog rada proučeni su postojeći postupci za klasifikaciju teksta koji se danas standardno primjenjuju u radovima vezanim za to područje. Prikupljena je velika količina podataka koja je tada obrađena te su implementirani neki od najčešće korištenih algoritama strojnog učenja koji se koriste za klasifikaciju teksta. Rezultati koji su dobiveni na temelju skupljenih podataka nisu niti blizu očekivanih te je stoga razmotreno nekoliko načina kojima bi se rezultati mogli poboljšati.

Abstract (english)

With an increasing number of users who use internet on a daily basis, offensive content on many pages became a big issue. Offensive text detection is a useful technique that aims to prevent
offensive content from being posted on pages we visit every day. This thesis gave an overview on some of the existing algorithms in the field of a text classification, collect reasonably large amount of raw data, preprocessed it and implemented some of the most commonly used algorithms that are used in modern text classification. Results obtained using collected and preprocessed data were not even close to those we expected so we considered many other possibilities and methods that could perhaps improve the results.

• Keywords: obrada prirodnog jezika; nadzirano strojno učenje; algoritmi učenja; klasifikacija teksta
• Keywords (english): natural language processing; supervised machine learning; learning algorithms; text classification
• Language: croatian
• URN:NBN: urn:nbn:hr:168:639959
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2018-02-06 07:31:38