| Abstract | Robotising organic agriculture has recently been growing in an attempt to alleviate the cost of sustainable large scale food production under decreased use of pesticides. One of the main goals is to reduce human labour input by replacing it with a robotic workforce. ¿e focus of this thesis is on a collaborative manipulator arm capable of conducting various plant treatments autonomously. In order to achieve sufficient versatility with respect to different crops and procedures, existing robotic solutions need to overcome their limited capabilities in terms of perception, motion planning, or dexterous manipulation. ¿is thesis aims to explore and expand the state of the art robot capabilities in these domains. Replacing human labour requires robot perception to imitate human capabilities, even though here it is not possible to rely on millennia of evolutionary progress. Imitation strategies are deployed instead, both in the inference machine design through the concept of neural networks, and on the level of learning strategies through concepts such as transfer and sim2real learning. As shown in this thesis through the development of a perception module for robotic manipulation in indoor farming conditions, these approaches manage to imitate and occasionally even outperform human capabilities. Furthermore, this thesis demonstrates how manipulation modules that use these perception results as input in planning phases can execute safe and compliant manipulation procedures with limited feedback. Finally, the thesis explores and extends the capabilities of novel tactile sensing technologies, and their potential in enriching contact feedback during manipulation of fragile objects. |
| Abstract (croatian) | Moderna poljoprivreda rezultat je brojnih prilagodbi koje su omogućile masovnu proizvodnju hrane. Uz tešku mehanizaciju, jedna od najznačajnijih takvih prilagodbi jest upotreba pesticida, usprkos višestruko utvrđenim činjenicama o negativnom utjecaju na okoliš i na sav živi svijet, uključujući biljke, vodene i kopnene divlje životinje, kukce oprašivače, ali i ljude. Održiva alternativa upotrebi pesticida u proizvodnji hrane je organska poljoprivreda, u kojoj je glavno oružje u borbi protiv štetnika i bolesti mehanički rad. Već je sada teško zadovoljiti zahtjeve za radnom snagom potrebne za održivu proizvodnju hrane velikih razmjera, a u kombinaciji s rastućom potražnjom za hranom diljem svijeta zbog rasta ljudske populacije ovaj problem postaje sve izraženiji. Doda li se tome činjenica da ovakva vrsta mehaničkog rada odgovara opisu dosadnih, ponavljajućih i opasnih poslova, jasno je da je idealan kandidat za zamjenu ljudskog rada robotskim. Ako je suditi prema rezultatima uvođenja robotizacije u druga područja ljudskog rada, kao primjerice industrijsku proizvodnju, korištenjem robota istovremeno se mogu osigurati i veća učinkovitost, bolja kvaliteta, i lakša skalabilnost, uz primarni cilj i benefit rasterećenja ljudske radne snage. Robotizacija poljoprivrede nije novi koncept, već velika istraživačka tema u kojoj se ugrubo mogu prepoznati dva pristupa. Stariji pristup, već uvelike primjenjen u komercijalnoj proizvodnji, fokusira se na razvoj strojeva za tradicionalni uzgoj na otvorenom. U ovakvim se primjenama teži postizanju što višeg stupnja autonomije velikih strojeva koji su inicijalno projektirani za ljudskog operatera. Ovakvi strojevi uglavnom se optimiraju za robusnost i efikasnost na velikoj skali, to jest cilj je obrada što većih površina u što kraćem vremenu. Pritom postizanje visoke preciznosti nije jedan od primarnih ciljeva. Noviji smjer istraživanja i razvoja poljoprivredne robotike koncentrira se na sustave za uzgoj u zatvorenim prostorima, kao što su staklenici i plastenici. Zahvaljujući činjenici da je u ovakvoj vrsti uzgoja radno okruženje u određenoj mjeri strukturirano, ovaj se pristup često smatra prikladnijim za implementaciju autonomnih robotskih rješenja izvorno dizajniranih za industrijska okruženja. Drugim riječima, umjesto pretvaranja snažnih strojeva u autonomne robote, ovdje se postojeće sustave autonomnih robota, razvijene za industrijske zadatke, prilagođava i programira za provođenje poljoprivrednih aktivnosti. Nadogradnjom postojećih rješenja razvoj se značajno ubrzava, a dobivena rješenja su efikasnija i pouzdanija. U ovoj vrsti poljoprivrednog uzgoja, umjesto kvantitete fokus je na preciznosti obavljanja agrotehničkih zadataka, budući da se autonomnim strojevima emulira ljudski mehanički rad i biljke se obrađuju pojedinačno. Istraživanje opisano u ovom radu, provedeno u sklopu projekta SpECULARIA, bavi se problemima iz domene poljoprivredne robotike. Cilj projekta je razvoj heterogenog robotskog sustava za autonomni uzgoj biljaka u staklenicima. Sustav se sastoji od bespilotne letjelice, mobilnog robota i robotskog manipulatora. Svaki robot u ovom heterogenom sustavu ima ograničen specifičan skup sposobnosti, ali kada rade zajedno, mogu se primijeniti za postizanje raznolikih ciljeva u strukturiranom okruženju kao što je zatvorena organska farma. Uloga letjelice je nadzor plantaže i identifikacija biljaka kojima je potreban tretman. Opremljena je manipulatorom s više stupnjeva slobode koji nosi senzore za nadzor kao što su kamera i multispektralna kamera. Zahvaljujući manipulatoru omogućen je precizan nadzor uz let na sigurnoj udaljenosti, izvan područja u kojem bi utjecaj letjelice bio štetan za biljke. Budući da je uzgoj organiziran kontejnerski, drugi dio robotskog sustava čine mobilni roboti opremljeni mehanizmom za transport uzgojnih kontejnera između njihovih uzgojnih pozicija u stakleniku i stanice za obradu. Stanica za obradu je radni prostor robotskog manipulatora čiji je zadatak delikatno rukovanje biljkama. Manipulator obavlja razne aktivnosti biljne higijene i agrotehničke zahvate kao što su orezivanje, branje plodova, oprašivanje, kontrola uroda ili kontrola vlage u zemlji. Upravo ove aktivnosti i njihovo ostvarenje kroz preciznu senzoriku i podatnu aktuaciju robotskog manipulatora u fokusu su ovog istraživanja. Kako bi se osiguralo pažljivo rukovanje s osjetljivim biljkama koje se ne bi smjele ozlijediti prilikom obrade, rješenja razvijena za robotski manipulator na nekoliko razina emuliraju ljudske mogućnosti percepcije i manipulacije. Pritom se koriste principi podatnog upravljanja, mekane robotike i senzorike, i umjetne inteligencije. Metode strojnog i dubokog učenja koriste se za izgradnju trodimenzionalnog semantičkog i funkcionalnog modela biljke. Takav model biljke može se koristiti za autonomnu identifikaciju, planiranje i provođenje potrebnih agrotehničkih zahvata. Za provedbu agrotehničkih zahvata poput branja plodova, kidanja zaperaka, mjerenja vlage i drugih sličnih aktivnosti razvijeni su algoritmi planiranja gibanja i podatnog upravljanja manipulatorom. Pod podatnim upravljanjem podrazumijevamo upravljanje pozicijom robotskog manipulatora tako da se pritom u obzir uzimaju mjerene dodirne sile. Mjerenje dodirnih sila može se dobiti iz različitih izvora, a jedan primjer je meki taktilni senzor s dizajnom i programskom podrškom izvedenom u skladu s principima mekane robotike. Ova disertacija je organizirana u osam poglavlja. Prvo poglavlje disertacije daje uvod u temu kroz motivaciju i opis otvorenih pitanja u području istraživanja. Također se definiraju hipoteze istraživanja i znanstveni doprinosi disertacije. Drugo poglavlje daje pregled područja za različite domene kojima se disertacija bavi. Sljedeća tri poglavlja bave se glavnim doprinosima i rezultatima disertacije. Tako treće poglavlje razmatra vizualnu percepciju u poljoprivrednoj robotici, četvrto se bavi podatnim upravljanjem robotskim manipulatorima, a peto domenom taktilnih senzora. Šesto poglavlje iznosi zaključke donesene kroz rezultate disertacije. Sedmo poglavlje daje popis objavljenih radova koji čine disertaciju, dok osmo poglavlje opisuje doprinos autora na svakome od njih. Potom je izložen popis literature korištene u disertaciji te su priloženi radovi na kojima se disertacija zasniva. Disertacija je izrađena po skandinavskom modelu te ju čine tri časopisna i jedan konferencijski članak. Glavni doprinosi disertacije su izloženi i opisani u nastavku poglavlja. |
