A deep learning model for estimation of human body measurements from images

disertacija

• Naslov (hrvatski): Model dubokog učenja za procjenu mjera ljudskog tijela iz slika
• Autor: Kristijan Bartol; MBZ: 387096
• Mentor: Tomislav Pribanić (mentor)
• Član povjerenstva: Tomislav Petković (predsjednik povjerenstva)
• Član povjerenstva: Marko Subašić (član povjerenstva)
• Član povjerenstva: Dubravko Gajski (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; (Zavod za elektroničke sustave i obradbu informacija); Zagreb
• Datum i država obrane: 2023-03-24, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo; Obradba informacija
• Univerzalna decimalna klasifikacija (UDC): 004 - Računalna znanost i tehnologija. Računalstvo. Obrada podataka

Sažetak

The understanding of body measurements in and between populations is important and has many applications in medicine surveying, the fashion industry, fitness, and entertainment. Recent advances in human body measurement and shape estimation have been significantly driven by statistical models and deep learning, enabling methods that estimate 3D human meshes from 3D point clouds and 2D images - so called mesh regression methods. This thesis builds upon the state-of-the-art mesh regression approaches from multiple images. The first step is to propose the simplest method and use it as a baseline. The baseline is a linear regression models that takes only person's self-estimated height and weight and estimates the corresponding mesh. The baseline performs surprisingly well compared to the state-of-the-art methods. The second contribution is a 3D human pose estimation model from multiple camera views. The novelty of the model is in the fact that it can take any set of camera views as input, regardless of their relative arrangement and the number of cameras. The third contribution is a model for estimating the parameters of human pose, shape, and clothes from a single image. The estimated parameters are interpretable and, thus, controllable, which is a significant advantage compared to the previous approaches and important for many anthropometric applications. The three proposed models are evaluated in details and compared to the state-of-the-art methods.

Sažetak (hrvatski)

Razumijevanje tjelesnih mjera unutar i između populacija važno je u brojnim primjenama u medicini, anketiranju, modnoj industriji, fitnessu i zabavnoj industriji. Nedavni napretci u mjerenju ljudskog tijela i procjeni njenog oblika su značajnim dijelom vođeni statističkim modelima i dubokim učenjem, omogućujući postupke koji procjenjuju 3D mreže tijela (engl. mesh) iz 3D oblaka točaka (engl. point clouds) i 2D slika, tzv. regresijske metode za 3D mreže. Ovaj doktorski rad nadogradnja je na najsuvremenije regresijske metode za 3D mreže iz više slika. Prvi korak je prijedlog najjednostavnije metode i njeno korištenje kao osnovice. Osnovica je model linearne regresije koja uzima jedino samoprocijenjenu visinu i težinu osobe i procjenjuje pripadnu 3D mrežu. Predložena osnovica radi iznenađujuće dobro u usporedbi s najsuvremenijim metodama. Drugi doprinos je model za procjenu 3D poze čovjeka iz više pogleda. Novost modela je u tome što na ulazu može primiti bilo koji skup kamera, neovisno o njihovom relativnom prostornom rasporedu i broju maera. Treći doprinos je model za procjenu parametara ljudskog položaja, oblika i odjeće iz jednog pogleda. Procijenjeni parametri su intepretabilni i, stoga, upravljivi, što je značajna prednost u odnosu na prijašnje pristupe i važna za mnoge primjene u antropometriji. Tri predložena modela detaljno su ocijenjena i uspoređena s najsuvremeniijim pristupima.

• Ključne riječi: anthropometry; deep learning; doctoral thesis; human pose estimation; human shape estimation; statistical body models; computer vision
• Ključne riječi (hrvatski): antropometrija; duboko učenje; doktorski rad; procjena položaja tijela; procjena oblika tijela; statistički modeli tijela; računalni vid
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:965085
• Datum promocije: 2023
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: poslijediplomski znanstveni (doktorski); Akademski / stručni naziv: Doktor znanosti (dr. sc.)
• Vrsta resursa: Tekst
• Opseg: vii, 133 str. : graf. prikazi ; 31 cm.
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2023-09-19 16:03:44