Autonomous agent localization in dynamic scenarios based on visual sensor data fusion

disertacija

• Naslov (hrvatski): Lokalizacija autonomnoga agenta u dinamičnim scenarijima zasnovana na fuziji podataka vizualnih senzora
• Autor: Goran Popović
• Mentor: Ivan Petrović (mentor)
• Član povjerenstva: Ivan Marković (predsjednik povjerenstva)
• Član povjerenstva: Marija Seder (član povjerenstva)
• Član povjerenstva: Robert Cupec (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; (Zavod za automatiku i računalno inženjerstvo); Zagreb
• Datum i država obrane: 2022-07-21, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo
• Univerzalna decimalna klasifikacija (UDC): 004 - Računalna znanost i tehnologija. Računalstvo. Obrada podataka

Sažetak

The thesis addresses the problem of the visual localization of mobile agents in challenging scenarios. As challenging scenarios, we consider the environments populated by humans, i.e., the environments in which humans and robots coexist and cooperate. A good example of such an environment is an automated warehouse where humans and robots cooperate to increase the efficiency of the warehouse operation. The safety requirements for such coexistence are divided into several levels, one of which concerns the redirection of robots to avoid human-robot encounters. The locations of the robots are already known to the warehouse management system and the remaining element, localization of humans, requires a special approach since the conditions in the warehouse do not satisfy the static environment assumption of all common localization approaches. As minimal changes in the warehouse appearance are allowed, the localization method provides a real-time location estimate using only wearable sensors and a processing unit. The doctoral thesis presents the method for robust localization of autonomous agents in challenging scenarios. The scientific contribution consists of the following components: 1) A computationally efficient method for disparity estimation using stereo visual odometry based disparity search space reduction. 2) A method for stereo visual localization of autonomous agents in robotized warehouses supported by other wearable sensors. 3) A procedure for robustness improvement of stereo visual localization of autonomous agents in challenging scenarios.

Sažetak (hrvatski)

Doktorski rad se bavi problemom vizualne lokalizacije mobilnih agenata u izazovnim scenarijima. Pod izazovnim scenarijima smatraju se okoline u kojima ljudi i roboti koegzistiraju i surađuju. Dobar primjer takve okoline je automatizirano skladište u kojem ljudi i roboti surađuju kako bi povećali učinkovitost rada skladišta. Sigurnosni zahtjevi za takav način rada podijeljeni su na nekoliko razina, od kojih se jedna odnosi na preusmjeravanje robota kako bi se izbjegli susreti čovjeka i robota. S obzirom da su lokacije robota poznate sustavu upravljanja skladištem, preostaje lokalizirati ljude koji se nalaze u skladištu što zahtijeva poseban pristup budući da uvjeti u skladištu ne zadovoljavaju pretpostavku statičkog okruženja koja je uobičajena kod svih pristupa lokalizaciji. Uvjet minimalne izmjene izgleda skladišta ograničava metodu lokalizacije na korištenje nosivih senzora i procesne jedinice, dok se lokalizacija mora izvršavati u stvarnom vremenu. U doktorskom radu je predstavljena metoda robusne lokalizacije autonomnih agenata u zahtjevnim scenarijima. Znanstveni doprinos sastoji se od sljedećih cjelina: 1) Računski učinkovita metoda za estimaciju dispariteta koja koristi na stereo vizualnoj odometriji zasnovano smanjivanje prostora pretraživanja dispariteta. 2) Metoda stereo vizualne lokalizacije autonomnih agenata u robotiziranim skladištima zasnovana na nosivim senzorima. 3) Postupak za poboljšanje robusnosti stereo vizualne lokalizacije autonomnih agenata u zahtjevnim scenarijima.

• Ključne riječi: semi-global matching; Kalman lter; moving objects detection; stereo camera; UWB sensors; wearable sensors fusion; warehouse localization; visual odometry; graph optimization-based localization
• Ključne riječi (hrvatski): poluglobalno podudaranje; Kalmanov lter; detekcija gibajućih objekata; stereokamera; UWB senzori; stapanje informacija s nosivih senzora; lokalizacija u skladišnim okruženjima; vizualna odometrija; lokalizacija temeljena na optimizaciji grafa
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:360530
• Datum promocije: 2022
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: poslijediplomski znanstveni (doktorski); Akademski / stručni naziv: Doktor znanosti (dr. sc.)
• Vrsta resursa: Tekst
• Opseg: xvi, 113 str. : graf. prikazi ; 30 cm. + CD-ROM
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2022-09-12 10:41:19