Detekcija ključnih točaka artikuliranih objekata u slikama

diplomski rad

• Naslov (engleski): Detection of key-points on articulated objects in images
• Autor: Josip Zavada
• Mentor: Siniša Šegvić (mentor)
• Član povjerenstva: Siniša Šegvić (predsjednik povjerenstva)
• Član povjerenstva: Marko Čupić (član povjerenstva)
• Član povjerenstva: Tomislav Hrkać (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-11, Hrvatska

Sažetak

Detekcija ključnih točaka jedan je od glavnih problema računalnog vida. Ključne točke na objektima nude nam uvid u više informacija o objektu kao što je na primjer ljudska poza. To se područje ubrzano razvija i svake godine modeli postaju sve bolji.

U ovom radu razvili smo model za detekciju ključnih točaka na artikuliranim objektima. To su objekti koji se sastoje od dva ili više čvrstih dijelova povezanih zglobovima koji im omogućuju međusobnu rotaciju ili translaciju. Objekti na kojima radimo detekciju su ribe orade. Na ribama treba detektirati 18 ključnih točaka. Informacije o lokaciji ključnih točaka na oradama nude uvid u njihove morfološke karakteristike po kojima se mogu dobiti informacije o njihovom staništu i načinu prehrane.

Model kojeg smo razvili temelji se na SwiftNet modelu s ResNet okosnicom uz neke dorade. Model učimo na skupu podataka kojeg čine fotografije orada i informacije o ključnim točkama. Ključne točke iz skupa podataka za učenje pretvaramo u toplinske mape ključnih točaka s brojem kanala jednakim broju ključnih točaka. Validiramo parametre modela i augmentacije podataka.

Razvili smo model i augmentacije podataka s kojima postižemo prosječnu udaljenost predviđenih ključnih točaka od stvarnih od 2.5 px na testnom skupu podataka. Uzimajući u obzir grešku prilikom označavanja skupa podataka i veličinu pogreške, može se zaključiti da model daje zadovoljavajuće rezultate.

Sažetak (engleski)

Keypoint detection is one of the main tasks of computer vision. Keypoints of objects can give us an insight into object characteristics, for example, human pose. Keypoint detection is a fast-growing research area and models are getting better and better.

We have developed a model for keypoint detection on articulate objects. Those objects consist of two or more solid parts connected by joints that enable the rotation or translation of these objects. The model is developed for keypoint detection on gilthead seabream fish. We need to detect 18 keypoints of the fish. The locations of keypoints give us an insight into their morphological characteristics. Those characteristics can help us discover information about the habitat and way of feeding.

The model we developed is based on the SwiftNet model with ResNet backbone with some modifications. We train the model on the dataset which consists of pictures of gilthead seabream and information about the keypoints. We are generating heatmaps from the keypoints given in the dataset. The heatmap is generated for each image. The number of channels in heatmaps is equal to the number of keypoints. We are validating the model parameters and data augmentations.

We have developed a model and data augmentations that achieve an average distance between predicted and ground truth keypoints of 2.5 px on the test dataset. Taking into account the annotation error and the magnitude of the average distance, we can conclude that the results are satisfying.

• Ključne riječi: ključne točke; računalni vid; strojno učenje; SwiftNet; ResNet; skup podataka; augmentacija podataka; toplinske mape; afine transformacije; orade
• Ključne riječi (engleski): keypoints; computer vision; machine learning; SwiftNet; ResNet; dataset; data augmentation; heatmaps; affine transformations; gilthead seabream
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:503460
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-10-11 11:02:25