Trodimenzionalna rekonstrukcija scene pomoću događajne kamere

završni rad

• Naslov (engleski): Three-dimensional reconstruction of the scene with an event camera
• Autor: Sven Bataljak Savić
• Mentor: Ivan Marković (mentor)
• Član povjerenstva: Ivan Marković (član povjerenstva)
• Član povjerenstva: Luka Petrović (član povjerenstva)
• Član povjerenstva: Karlo Koledić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-08-31, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Događajne kamere su specifičan tip senzora koji ne snimaju kontinuirane slike, već bilježe promjene u svjetlini na pojedinačnim pikselima(događaje). Ove kamere su karakterizirane visokom vremenskom rezolucijom, niskom potrošnjom energije, malom latencijom i velikim dinamičkim rasponom svjetlosti, što ih čini korisnima u robotici.

OptiTrack sustav je niz infracrvenih kamera koje prate markere u prostoru i koriste se za praćenje položaja objekta.

Implementirali smo algoritam Event-based Multi-View Stereo (EMVS) za dobivanje 3D strukture objekta snimajući događaje iz različitih pozicija. Algoritam zahtijeva pokret kako bi se snimio vizualni sadržaj, što je glavna razlika u odnosu na standardni MVS algoritam. Rezultat EMVS-a je polugusta 3D mapa, za razliku od guste 3D mape koja je rezultat MVS algoritma. EMVS koristi metodu skeniranja prostora koja uključuje povratnu projekciju, brojanje zraka i utvrđivanje postojanja strukture scene. Zatim se na rezultate još primjenjuju postuupci za čišćenje rezultata.

Zatim smo isprobali EMVS na različitim uvjetima da procjenimo kako će se algoritam, zajedno s događajnim kamerama ponašati u tim uvjetima.

Sažetak (engleski)

Event cameras are a specific type of sensor that does not record continuous images, but instead records changes in light intensity at individual pixels (events). These cameras are characterized by high temporal resolution, low power consumption, small latency, and a large dynamic light range, which makes them useful in robotics.

The OptiTrack system is an array of infrared cameras that track markers in space and are used to track the position of an object.

We have implemented the Event-based Multi-View Stereo (EMVS) algorithm to obtain a 3D structure of an object by recording events from different positions. The algorithm requires motion to capture visual content, which is the main difference compared to the standard MVS algorithm. The result of EMVS is a semi-dense 3D map, unlike the dense 3D map that is the result of the MVS algorithm. EMVS uses a space scanning method that includes back projection, ray counting, and determining the existence of scene structure. Additional cleaning procedures are then applied to the results.

We then tested EMVS under different conditions to evaluate how the algorithm, along with event cameras, will behave under these conditions.

• Ključne riječi: događajna kamera; davis; povratna- produkcija; točke; OptiTrack; pozicija; poza; EMVS; Event; Event kamera
• Ključne riječi (engleski): event camera; space-sweep; monocular; points; point cloud; pose; position; voxel; OptiTrack; Davis; back-projection
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:533778
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 08:23:29