3D reconstruction system on smartphone

doctoral thesis

• Title (croatian): Sustav za trodimenzionalnu rekonstrukciju na pametnom telefonu
• Author: Marko Lelas
• Mentor: Tomislav Pribanić (mentor)
• Committee member: Tomislav Pribanić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; (Department of Electronic Systems and Information Processing); Zagreb
• Defense date and country: 2017, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing; Data Processing
• Universal decimal classification (UDC): 654 - Telecommunication and telecontrol

Abstract

In order to develop a novel 3D reconstruction system on smartphone, this work first gives an analysis of the state of the art active and passive stereo 3D approaches. Drawbacks as well as the advantages of the mentioned approaches are identified and a novel approach to stereo correspondence estimation is presented as a combination of the main ideas of the approaches. In brief, the proposed approach considers image pixel values both in spatial and time domain. That way inherent downsides, common to passive stereo based approaches (problems in reconstructing poorly textured surfaces and surfaces with repetitive patterns) and active stereo based approaches (influence of changing surface albedo on the reconstruction results), are significantly reduced. Secondly, an overview of hardware and software properties of smartphones is presented, pointing out the main requirements and limitations which smartphones as a deployment platform impose on the application. Stereo correspondence estimation methods presented in this work leverage the hardware available on the smartphone (flash, two rear facing cameras) obtaining satisfactory 3D reconstruction results while keeping the requirements on the computational resources as low as possible. Following the novel approach about 3D reconstruction, a novel 3D surface registration method is also presented. It accomplishes an accurate and computationally feasible registration utilizing the measurement data from only two sensors: the accelerometer and magnetometer available on the smartphone. Besides a detailed explanation of the presented methods, an exhaustive evaluation of the proposed ideas is provided too.

Abstract (croatian)

S ciljem razvoja inovativnog sustava za trodimenzionalnu rekonstrukciju na pametnom telefonu, ovim radom dana je analiza trenutnog stanja znanstvenog područja aktivne i pasivne stereo trodimenzionalne rekonstrukcije. Identificirane su prednosti kao i nedostaci pojedinih pristupa te je predstavljen inovativan pristup računanja stereo korespondencije objedinjavajući temeljne ideje navedenih pristupa. Predstavljena metoda analizira slikovne elemente u slikama para stereo kamera i u vremenskoj i u prostornoj domeni. Pokazano je da se takvim pristupom utjecaj inherentnih nedostataka pasivnih stereo pristupa (problemi pri rekonstrukciji slabo teksturiranih površina odnosno površina koje su teksturirane repetitivnim uzorcima) kao i aktivnih stereo pristupa (utjecaj promjena u reflektivnosti rekonstruirane površine na kvalitetu rekonstrukcije) bitno smanjuje. Također, naveden je pregled sklopovskih kao i programskih specifičnosti pametnih telefona ističući bitna ograničenja i zahtjeve koje pametni talefoni kao ciljana platforma nameću aplikacijama. Predstavljena metoda određivanja stereo korespondencije optimalnim korištenjem sklopovskih specifičnosti platforme (led izvor svjetlosti, dvije kamere na stražnjoj strani pametnog telefona, senzori) uspijeva postići zadovoljavajuće rezultate trodimenzionalne rekonstrukcije, pri tome zadržavajući zahtjeve za iskorištavanje računarskih resursa na najnižoj mogućoj razini. Nastavno na predstavljenu metodu trodimenzionalne rekonstrukcije, predstavljena je i inovativna metoda registracije trodimenzionalnih površina koja uspijeva ostvariti registraciju zadovoljavajuće točnosti predstavljajući zahtjeve za računarskim resursima u okvirima ostvarivog na ciljanoj platformi. Smanjenje zahtjeva za računarskim resursima odnosno smanjena kompleksnost metode u odnosu na usporedive metode iz tog područja ostvarena je korištenjem mjernih podataka senzora (akcelerometra i magnetometra) dostupnih na većini pametnih telefona. Uz detaljno objašnjenje predstavljenih metoda, rad također donosi i iscrpnu evaluaciju ostvarenih rezultata.

• Keywords: stereo correspondence estimation; active stereo; passive stereo; smartphone; 3D surface registration
• Keywords (english): određivanje stereo korespondencije; aktivni stereo; pasivni stereo; pametni telefon; registracija trodimenzionalne površine
• Language: english
• URN:NBN: urn:nbn:hr:168:800879
• Study programme: Title: Electrical Engineering and Computing; Study programme type: university; Study level: postgraduate; Academic / professional title: Doktor znanosti elektrotehnike i računarstva (Doktor znanosti elektrotehnike i računarstva)
• Type of resource: Text
• Extent: 100 str. ; 30 cm.
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2019-04-09 14:47:33