Open-set segmentation of images by means of negative examples

disertacija

• Naslov (hrvatski): Segmentacija slika nad otvorenim skupom razreda putem negativnih primjera
• Autor: Petra Bevandić
• Mentor: Siniša Šegvić (mentor)
• Član povjerenstva: Zoran Kalafatić (predsjednik povjerenstva)
• Član povjerenstva: Marko Subašić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-12, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo
• Univerzalna decimalna klasifikacija (UDC): 004 - Računalna znanost i tehnologija. Računalstvo. Obrada podataka

Sažetak

Open-set recognition simulates real-world settings by introducing outlier samples into model evaluation. This problem is more complex in the dense prediction setting because input can contain a mix of in-distribution and out-of-distribution segments. Open-set recognition tasks can be approached through simultaneous classification and anomaly detection. This work investigates methods for open-set prediction which are trained by means of negative examples. We assume that we train domain-specific models and can thus sample negatives from large and diverse datasets (e.g. ImageNet). These types of negatives introduce additional noise into training because they may also contain some positive content. This thesis will investigate various facets of training on noisy negative samples: from choosing the best architecture and loss to different methods of combining positive and negative samples during batch formation. The presented experiments validate our contributions on standard open-set recognition benchmarks.

Sažetak (hrvatski)

Prepoznavanje nad otvorenim skupom razreda simulira rad modela u stvarnim uvjetima uvođenjem izvandistribucijskih primjera u evaluaciju modela. U gustoj predikciji postoji i dodatna razina složenosti jer ulazni primjeri mogu biti mješavina unutardistribucijskih i izvandistribucijskih segmenata. Problem prepoznavanja nad otvorenim skupom razreda možemo rješavati modelima koji istovremeno provode klasifikaciju i detekciju anomalija. U ovome ćemo radu istražiti metode za gustu predikciju nad otvorenim skupom razreda uključivanjem negativnih primjera u postupak učenja. Pretpostavljamo da su modeli koje učimo specijalizirani zbog čega se kao negativi mogu koristiti primjeri iz velikih, raznolikih skupova slika (npr. ImageNet). Takvi negativi unose šum u treniranje s obzirom da mogu sadržavati i unutardistribucijske uzorke. Disertacija će proučiti postupak uključivanja šumovitih negativa u postupak treniranja - od odabira arhitekture modela i gubitka do kombiniranja pozitivnih i negativnih primjera prilikom učenja. Doprinosi će biti vrednovani na standardnim skupovima za validaciju guste detekcije izvandistribucijskih primjera.

• Ključne riječi: semantic segmentation; outlier detection; open-set recognition
• Ključne riječi (hrvatski): semantička segmentacija detekcija izvandistribucijskih primjera; prepoznavanje nad otvorenim skupom podataka
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:468120
• Datum promocije: 2024
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: poslijediplomski znanstveni (doktorski); Akademski / stručni naziv: Doktor znanosti (dr. sc.)
• Vrsta resursa: Tekst
• Opseg: xi, 82 str. : graf. prikazi.
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2024-02-21 14:51:28