Otkrivanje anomalija i stršećih vrijednosti u podatcima

undergraduate thesis

• Title (english): Detecting Anomalies and Outliers in Data
• Author: David Lisica
• Mentor: Vladimir Čeperić (mentor)
• Committee member: Vladimir Čeperić (predsjednik povjerenstva)
• Committee member: Eugen Vušak (član povjerenstva)
• Committee member: Marko Barišić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2021-07-09, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Rad uvodi pojmove anomalije i stršeće vrijednosti. Predstavljena je motivacija za otkrivanje takvih vrijednosti, kao i podjela problema prema dimenzionalnosti podataka na univarijatne i multivarijatne. Objašnjeni su postupci otkrivanja anomalija u skupu univarijatnih podataka korištenjem pravila 3-sigma i međukvartilnog raspona. Za multivarijatne podatke predstavljen je programski alat PyOD i objašnjeni neki njegovi algoritmi poput kNN, ABOD, CBLOF i IForest. Za skup podataka uzeti su zapisi o prodanim nekretninama u SAD-u. Provedena je analiza podataka s naglaskom na značajkama „cijena nekretnine“ i „prosječni godišnji dohodak kućanstva“. Pristupljeno je implementaciji rješenja nad skupom tih dviju značajki koristeći nekoliko klasifikatora. Rješenja su grafički prikazana i uspoređena.

Abstract (english)

This paper introduces the concepts of anomaly and outlier. It presents the motivation for discovering such values, as well as the division of problems by the dimensionality into univariate and multivariate data. The paper explains procedures for detecting anomalies in a set of univariate data using the rule of 3-sigma and interquartile range and also for multivariate data using the software tool PyOD and some of its algorithms such as kNN, ABOD, CBLOF and IForest. Records of real estate sold in the United States were used as dataset. Data analysis was performed with an emphasis on the characteristics “real estate price” and “average annual household income”. The implementation of a solution on a set of these two features is made using several classifiers. The solutions are graphically presented and compared.

• Keywords: strojno učenje; otkrivanje anomalija; stršeća vrijednost; kNN; ABOD; CBLOF; IForest; PyOD; tržište nekretnina
• Keywords (english): machine learning; anomaly detection; outlier; kNN; ABOD; CBLOF; IForest; PyOD; housing market
• Language: croatian
• URN:NBN: urn:nbn:hr:168:407076
• Study programme: Title: Computing; Study programme type: university; Study level: undergraduate; Academic / professional title: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-01-14 20:59:16