Navigation of an autonomous all-terrain mobile manipulator in semi-structured vineyard environment

disertacija

• Naslov (hrvatski): Navigacija autonomnog mobilnog manipulatora za sve terene u polustrukturiranom okruženju vinograda
• Autor: Ivan Hrabar
• Mentor: Zdenko Kovačić (mentor)
• Član povjerenstva: Stjepan Bogdan (predsjednik povjerenstva)
• Član povjerenstva: Tamara Petrović (član povjerenstva)
• Član povjerenstva: Marko Švaco (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; (Zavod za automatiku i računalno inženjerstvo); Zagreb
• Datum i država obrane: 2023, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Elektrotehnika
• Univerzalna decimalna klasifikacija (UDC): 621.3 - Elektrotehnika

Sažetak

This thesis addresses the challenges of autonomous robotic systems for viticulture, specifically the challenges of automating tasks in vineyards. The study focuses on the development and functionalities of the Autonomous All-terrain Mobile Manipulator (ATMM), its positioning, navigation methods, and energy consumption metrics.
A comprehensive method for relative positioning of the robot with respect to the vine trunk is presented as the first contribution. Building on existing methods, the approach uses a neural network that analyzes RGB camera images to detect the vine trunk. It is assumed that the height of the vine is a uniform and known feature of the vine in an organized vineyard. Since the size of the detected object is known, the position of the vine trunk can be determined. This method, evaluated in the Jazbina vineyard, shows that the uniform size of the cultivated plants can provide important localization data to the mobile robots, allowing satisfactory localization accuracy.
Navigation forms the core of the second contribution. The study describes the approaches of navigation of mobile manipulators in semi-structured vineyard environments. Starting with a formal description of the vineyard, the challenges of the environment for autonomous navigation are outlined. Key aspects such as global navigation, center line navigation in the aisle, and end row detection are highlighted. The combination of color and depth camera information for navigation for suckering tasks is explained. Experimental results demonstrate the feasibility and efficiency of autonomous ATMM navigation in vineyards.
Finally, energy consumption in such environments is discussed. The study presents methods to estimate the energy consumption of robots during specific operations in vineyards, supported by a geospatial data-based approach. By creating topological 3D models of vineyards, estimates of energy consumption during different operations, especially spraying and suckering, are presented and evaluated for selected vineyards, which form the third contribution.

Sažetak (hrvatski)

Ovaj se disertacija bavi izazovima autonomnih robotskih sustava za vinogradarstvo, točnije izazovima automatizacije poslova u vinogradima. Istraživanje se usredotočuje na razvoj i funkcionalnost autonomnog mobilnog manipulatora za sve terene (engl. Autonomous All-Terrain Mobile Manipulator, skr. ATMM), njegovo pozicioniranje, metode navigacije i mjerenja potrošnje energije.
Kao prvi doprinos predstavljena je metoda za relativno pozicioniranje robota u odnosu na deblo vinove loze. Nadovezujući se na postojeće metode, pristup koristi neuronsku mrežu koja analizira RGB slike s kamere te uočava debla vinove loze. Pretpostavlja se da je visina trsa ujednačeno i poznato obilježje u organiziranom vinogradu. Budući da je veličina uočenog objekta poznata, može se odrediti položaj debla vinove loze. Ova metoda, ispitana u vinogradu Jazbina, pokazuje da ujednačena veličina uzgojenih biljaka može dati važne podatke mobilnim robotima, omogućujući zadovoljavajuću točnost lokalizacije.
Navigacija čini srž drugog doprinosa. Disertacija opisuje pristup navigaciji mobilnih manipulatora u polustrukturiranom vinogradarskom okruženju. Počevši od formalnog opisa vinograda, prezentiraju se izazovi okruženja u kontekstu autonomne navigacije. Istaknuti su ključni aspekti kao što su globalna navigacija, navigacija središnje linije u prolazu i identifikaciju kraja reda. Objašnjava se kombinacija informacija iz RGB i dubinskih kamere za navigaciju za zadatak autonomnog uklanjanja mladica. Eksperimentalni rezultati pokazuju izvedivost i učinkovitost autonomne ATMM navigacije u vinogradima.
Na kraju se diskutira potrošnja energije u takvim okruženjima. Disertacija predstavlja metode za procjenu potrošnje energije robota tijekom specifičnih operacija u vinogradima, podržane pristupom temeljenim na geoprostornim podacima. Izradom topoloških 3D modela vinograda prikazane su i evaluirane procjene potrošnje energije tijekom različitih operacija, u odabranim vinogradima, posebice prskanje i uklanjanja mladica, što ujedno čini treći doprinos.

• Ključne riječi: mobile manipulator; semi-structured environment; autonomous navigation; energy consumption
• Ključne riječi (hrvatski): mobilni manipulator; polustrukturirano okuženje; autonomna navigacija; potrošnja energije
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:894763
• Studijski program: Naziv: Elektrotehnika; Vrsta studija: sveučilišni; Stupanj studija: poslijediplomski znanstveni (doktorski); Akademski / stručni naziv: doktor/doktorica znanosti, po-dručje tehničkih znanosti (dr. sc.)
• URL zapisa u katalogu: https://publib.fer.hr/cgi-bin/koha/opac-detail.pl?biblionumber=54432
• Vrsta resursa: Tekst
• Opseg: x, 113 str.
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2024-05-03 08:09:16