Extrinsic and temporal calibration of heterogeneous mobile robot exteroceptive sensor systems

doctoral thesis

• Title (croatian): Ekstrinzično i vremensko umjeravanje heterogenih eksterocepcijskih senzorskih sustava mobilnih robota
• Author: Juraj Peršić
• Mentor: Ivan Petrović (mentor)
• Committee member: Ivan Petrović (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; (Department of Control and Computer Engineering); Zagreb
• Defense date and country: 2021, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing
• Universal decimal classification (UDC): 004 - Computer science and technology. Computing. Data processing

Abstract

Robust environment perception of a mobile robot strongly relies on fusion of multiple heterogeneous sensors. However, proper sensor calibration is essential for fusion. Extrinsic calibration tries to find transform between coordinate frames of two or more sensors. This thesis proposes a novel calibration target suitable for accurate 6 degrees of freedom calibration of radar-camera-lidar systems. Furthermore, measurements of the target enable two-step optimization which leads to accurate extrinsic calibration. While the first step is rather standard reprojection error optimization, a novel second step based on radar cross section (RCS) is proposed. It exploits newly discovered effect of radar’s RCS estimation error related to the elevation angle. Temporal calibration tries to align timestamps of multiple sensors based on comparison of their measurements. This thesis proposes a method for temporal calibration based on moving target tracking thus enabling temporal calibration of radars with other sensors such as cameras and lidars. The backbone of the proposed approach are Gaussian Processes used for continuous-time trajectory representation. Furthermore, a novel joint spatiotemporal calibration is proposed that owes its efficiency to the Exactly Sparse Gaussian Process Regression and on- manifold optimization. Online calibration uses information from the environment to generate correspondences between the sensors. This thesis proposes a novel method for online calibration based on moving object tracking applied to radar-camera-lidar systems. It introduces a calibration-agnostic track-to-track association scheme that works well under miscalibration. Furthermore, lightweight online decalibration detection scheme is proposed based on analytical pairwise calibration solution. Lastly, complete recalibration of the system is achieved through graph-based multisensor calibration. Combination of the proposed target-based and targetless methods enables a complete solution to calibration of radar-camera-lidar sensor systems.

Abstract (croatian)

Robusna percepcija okoline mobilnog robota značajno ovisi o fuziji više heterogenih senzora. Međutim, ispravno umjeravanje senzora je neophodno za fuziju. Ekstrinzično umjeravanje nastoji pronaći transformaciju između koordinatnih sustava dva ili više senzora. Disertacija predstavlja novu metu prikladnu za umjeravanje sustava radar-lidar-kamera u svih šest stupnjeva slobode. Nadalje, mjerenja mete omogućuju dvo-koračnu optimizaciju koja dovodi do preciznih parametara ekstrinzičnog umjeravanja. Prvi korak koristi uobičajenu optimizaciju reprojekcijske pogreške, dok je drugi korak zasnovan na radarskom presjeku (RCS). Koristeći novo otkriveni efekt radarove pogreške u estimaciji RCS-a, povezanim s kutem elevacije, metoda poboljšava rezultate umjeravanja. Vremensko umjeravanje nastoji preklopiti vremena očitanja više senzora koristeći usporedbu njihovih mjerenja. Disertacija predlaže metodu za vremensko umjeravanje zasnovanu na praćenju gibajuće mete čime je omogućeno vremensko umjeravanje radara s drugim senzorima poput kamera i lidara. Okosnica predložene metode je reprezentacija kontinuiranih trajektorija koristeći regresiju Gaussovim procesima. Nadalje, predložena je nova metoda za istodobnu optimizaciju vremenskih i ekstrinzičnih parametara umjeravanja koja duguje svoju efikasnost točno rijetkoj regresiji Gaussovim procesima te optimizaciji na višestrukosti. Umjeravanje tijekom rada koristi informacije iz okoline kako bi uparilo mjerenja između senzora. Disertacija predlaže novu metodu za umjeravanje tijekom rada zasnovanu na praćenju gibajućih objekata primijenjenu na senzorski sustav radar-lidar-kamera. Predloženo je uparivanje praćenih traka koristeći metodu neosjetljivu na pogreške u umjeravanju. Uz to, uvedena je računski jednostavna metoda za otkrivanje pogreške umjeravanja. Po otkrivanju pogreške, metoda pokreće cjelovito umjeravanje sustava zasnovano na optimizaciji na grafovima. Kombinacijom predloženih metoda zasnovanih na meti i bez nje, omogućeno je cjelovito rješenje za umjeravanje senzorskog sustava radar-lidar-kamera.

• Keywords: sensor calibration; extrinsic calibration; temporal calibration; moving object tracking; calibration target; radar; lidar; camera; identiability; Fisher Information Matrix; Gaussian Processes; Lie groups; on-manifold optimization
• Keywords (croatian): umjeravanje senzora; ekstrinzično umjeravanje; vremensko umjeravanje; praćenje gibajućih objekata; meta za umjeravanje; radar; lidar; kamera; identikabilnost; Fisherova informacijska matrica; Gaussovi procesi; Lieve groupe; optimizacija na mnogostrukosti
• Language: english
• URN:NBN: urn:nbn:hr:168:186549
• Study programme: Title: Computer Science; Study programme type: university; Study level: postgraduate; Academic / professional title: Doktor znanosti (Doktor znanosti)
• Catalog URL: http://lib.fer.hr/cgi-bin/koha/opac-detail.pl?biblionumber=52383
• Type of resource: Text
• Extent: xvi, 121 str.
• File origin: Born digital
• Access conditions: Open access
• Created on: 2022-03-15 07:59:13