Robust visual place recognition using deep representations and sequence-based image matching

doctoral thesis

• Title (croatian): Robusno vizualno prepoznavanje mjesta uporabom dubokih reprezentacija i uparivanja sljedova slika
• Author: Jurica Maltar; MBZ: 366813
• Mentor: Ivan Marković (mentor)
• Mentor: Domagoj Matijevic (komentor)
• Committee member: Ivan Petrović (predsjednik povjerenstva)
• Committee member: Siniša Šegvić (član povjerenstva)
• Committee member: Kristian Sabo (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; (Department of Control and Computer Engineering); Zagreb
• Defense date and country: 2023-05-15, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing
• Universal decimal classification (UDC): 004 - Computer science and technology. Computing. Data processing

Abstract

The doctoral thesis examines the problem of visual place recognition. During visual place recognition, negative impacts such as different environmental conditions, different viewpoints of the camera and perceptual aliasing, affect the system’s performances. Therefore, the thesis proposes a novel sequence-based place matching method. Such a place matching is more robust than the naïve approach because data is sequential and captured during the vehicle’s traversal around a route. Also, the thesis proposes a robust visual representation for a place image by using fine-tuned deep convolutional neural networks. Feature maps extracted with a convolutional neural network are further refined with the mutual information-based feature selection technique. Finally, to not be an end in itself, the implemented system is additionally adapted and used in the context of the famous robotic problem – simultaneous localization and mapping – for the purpose of loop closing detection where even better performances are obtained. Scientific contributions of the thesis are: Sequence-based visual place matching method that uses directed acyclic graphs and single source shortest path. Method for robust visual place recognition with deep representations that uses softmax regression and mutual information-based feature selection. Procedure for adapting sequence-based visual place recognition method for loop closing in simultaneous localization and mapping algorithms.

Abstract (croatian)

Doktorski se rad odnosi na problem vizualnog prepoznavanja mjesta. Pri vizualnom prepoznavanju mjesta, negativni čimbenici kao što su različiti okolišni uvjeti, različita gledišta kamere te vizualna sličnost različitih mjesta, utječu na performanse sustava. Stoga ovaj doktorski rad predstavlja novu metodu prepoznavanja mjesta uparivanjem sljedova slika. Takvo je uparivanje robusnije od uobičajenog pristupa jer su podaci nastali pri obilasku vozila oko nekog područja sekvencijalne prirode. Također, doktorski rad predstavlja robusnu vizualnu reprezentaciju slike mjesta korištenjem dubokih modela dobivenu prilagodbom konvolucijskih neuronskih mreža. Dobivene se globalne značajke slike mjesta dodatno pročišćuju korištenjem odabira značajki zasnovanom na uzajamnom sadržaju informacije. Naposljetku, kako vizualno prepoznavanje ne bi bilo problem sam za sebe, implementirani se sustav dodatno prilagođava i koristi u sklopu poznatog robotičkog problema – istovremene lokalizacije i kartiranja – u svrhu detekcije zatvaranja petlje čime su postignute još bolje performanse u tome problemu. Znanstveni doprinosi doktorskog rada su: Metoda vizualnog uparivanja mjesta zasnovana na sljedovima slika koja koristi usmjerene acikličke grafove i najkraći put iz jednog izvora. Metoda za robusno vizualno prepoznavanje mjesta dubokim reprezentacijama koja koristi softmax regresiju i odabir značajki zasnovan na uzajamnom sadržaju informacije. Postupak prilagodbe metode vizualnog prepoznavanja mjesta zasnovane na sljedovima slika za zatvaranje petlje u algoritmima istovremene lokalizacije i kartiranja.

• Keywords: autonomous vehicle; traffic; drift; visual place recognition; machine learning; image models; convolutional neural networks; factor graphs; simultaneous localization and mapping; loop closing
• Keywords (croatian): autonomno vozilo; promet; greška uzrokovana zanošenjem; vizualno prepoznavanje mjesta; strojno učenje; modeli slika; konvolucijske neuronske mreže; faktor grafovi; istovremena lokalizacija i kartiranje; zatvaranje petlje
• Language: english
• URN:NBN: urn:nbn:hr:168:950209
• Promotion: 2023
• Study programme: Title: Computer Science; Study programme type: university; Study level: postgraduate; Academic / professional title: Doktor znanosti (Doktor znanosti)
• Type of resource: Text
• Extent: xi, 114 str. : graf. prikazi ; 31 cm.
• File origin: Born digital
• Access conditions: Open access
• Created on: 2023-09-18 15:32:17