Computer vision-based detection of roadside vegetation using features from the visible spectrum

disertacija

• Naslov (hrvatski): Računalna detekcija vegetacije uz prometnice temeljena na značajkama iz vidljivog dijela spektra
• Autor: Iva Harbaš
• Mentor: Marko Subašić (mentor)
• Član povjerenstva: Marko Subašić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; (Zavod za elektroničke sustave i obradbu informacija); Zagreb
• Datum i država obrane: 2019, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo; Obradba informacija
• Univerzalna decimalna klasifikacija (UDC): 621.3 - Elektrotehnika

Sažetak

This thesis contains a comprehensive analysis and discussion of issues and solutions encountered while developing a method for detecting roadside vegetation. The goal was to develop a method which would complement vehicles used for roadside maintenance. This would provide an opportunity to automate such tasks which are currently manually operated by maintenance workers. Vegetation detection is a common theme in the area of remote sensing where vegetation is detected from satellite images and used to monitor the health of vegetation which is affected by urbanization and industrialization. Most of vegetation detection methods are based on using satellite images which contain information from the spectrum that is invisible to the human eye. Our work focuses on developing a method based on using features from the visible part of the spectrum for detecting various vegetation types using a simple camera mounted on the vehicle. An extensive overview of developed methods is given starting with simpler approaches based on different manually selected features for machine learning and ending with a method based on deep learning where features are learned. We have shown that Fully Convolutional Neural Networks can be effectively used in a real world application for detecting roadside vegetation. For training and testing purposes, we have created our own image database which contains roadside vegetation in various conditions. Promising experimental results are presented with a discussion of encountered problems in real-world application as well as a comparison with several alternative approaches.

Sažetak (hrvatski)

Ovaj rad sadrži sveobuhvatnu analizu i raspravu o problemima koji su se pojavili prilikom razvoja metode za detekciju vegetacije uz prometnice te o rješenjima tih problema. Cilj je bio razviti metodu koja bi služila kao pomoć vozilima koja se koriste za održavanje cesta što bi omogućilo automatizaciju takvih zadataka koji se trenutno obavljaju ručno. Detekcija vegetacije je uobičajena tema u području daljinskih istraživanja gdje se vegetacija detektira u satelitskim snimkama i gdje se koristi za praćenje zdravlja vegetacije na koju utječu ubrzana urbanizacija i industrijalizacija. Većina metoda za detekciju vegetacije se temelje na korištenju satelitskih snimaka koje sadrže informacije iz spektra koji je nevidljiv ljudskom oku. Naš rad se fokusira na razvoj metode za detekciju vegetacije koja se temelji na korištenju značajki iz vidljivog dijela spektra što bi se ostvarilo pomoću jednostavne kamere montirane na vozilo. Daje se opsežan pregled razvijenih metoda počevši od jednostavnijih pristupa koji se temelje na različitim ručno odabranim značajkama za strojno učenje i završava metodom temeljenom na dubokom učenju gdje se značajke uče. Pokazali smo da se potpuno konvolucijske neuronske mreže mogu učinkovito koristiti u stvarnom okruženju za detekciju vegetacije uz prometnice. Za potrebe treniranja i testiranja, kreirali smo vlastitu bazu slika koja sadrži vegetaciju uz prometnice u različitim uvjetima. Obećavajući eksperimentalni rezultati su prikazani zajedno s raspravom o problemima u stvarnoj primjeni.

• Ključne riječi: Image processing; vegetation detection; roadside maintenance; machine learning; convolutional neural networks
• Ključne riječi (hrvatski): Obrada slike; detekcija vegetacije; održavanje prometnica; strojno učenje; duboko učenje; konvolucijske neuronske mreže
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:215053
• Studijski program: Naziv: Elektrotehnika i računarstvo; Vrsta studija: sveučilišni; Stupanj studija: poslijediplomski doktorski; Akademski / stručni naziv: Doktor znanosti elektrotehnike i računarstva (dr.sc.)
• Vrsta resursa: Tekst
• Opseg: 70 str. ; 30 cm
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2020-01-20 12:46:31