Open-set segmentation of images by means of negative examples

doctoral thesis

• Title (croatian): Segmentacija slika nad otvorenim skupom razreda putem negativnih primjera
• Author: Petra Bevandić
• Mentor: Siniša Šegvić (mentor)
• Committee member: Zoran Kalafatić (predsjednik povjerenstva)
• Committee member: Marko Subašić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2023-07-12, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing
• Universal decimal classification (UDC): 004 - Computer science and technology. Computing. Data processing

Abstract

Open-set recognition simulates real-world settings by introducing outlier samples into model evaluation. This problem is more complex in the dense prediction setting because input can contain a mix of in-distribution and out-of-distribution segments. Open-set recognition tasks can be approached through simultaneous classification and anomaly detection. This work investigates methods for open-set prediction which are trained by means of negative examples. We assume that we train domain-specific models and can thus sample negatives from large and diverse datasets (e.g. ImageNet). These types of negatives introduce additional noise into training because they may also contain some positive content. This thesis will investigate various facets of training on noisy negative samples: from choosing the best architecture and loss to different methods of combining positive and negative samples during batch formation. The presented experiments validate our contributions on standard open-set recognition benchmarks.

Abstract (croatian)

Prepoznavanje nad otvorenim skupom razreda simulira rad modela u stvarnim uvjetima uvođenjem izvandistribucijskih primjera u evaluaciju modela. U gustoj predikciji postoji i dodatna razina složenosti jer ulazni primjeri mogu biti mješavina unutardistribucijskih i izvandistribucijskih segmenata. Problem prepoznavanja nad otvorenim skupom razreda možemo rješavati modelima koji istovremeno provode klasifikaciju i detekciju anomalija. U ovome ćemo radu istražiti metode za gustu predikciju nad otvorenim skupom razreda uključivanjem negativnih primjera u postupak učenja. Pretpostavljamo da su modeli koje učimo specijalizirani zbog čega se kao negativi mogu koristiti primjeri iz velikih, raznolikih skupova slika (npr. ImageNet). Takvi negativi unose šum u treniranje s obzirom da mogu sadržavati i unutardistribucijske uzorke. Disertacija će proučiti postupak uključivanja šumovitih negativa u postupak treniranja - od odabira arhitekture modela i gubitka do kombiniranja pozitivnih i negativnih primjera prilikom učenja. Doprinosi će biti vrednovani na standardnim skupovima za validaciju guste detekcije izvandistribucijskih primjera.

• Keywords: semantic segmentation; outlier detection; open-set recognition
• Keywords (croatian): semantička segmentacija detekcija izvandistribucijskih primjera; prepoznavanje nad otvorenim skupom podataka
• Language: english
• URN:NBN: urn:nbn:hr:168:468120
• Promotion: 2024
• Study programme: Title: Computer Science; Study programme type: university; Study level: postgraduate; Academic / professional title: Doktor znanosti (Doktor znanosti)
• Type of resource: Text
• Extent: xi, 82 str. : graf. prikazi.
• File origin: Born digital
• Access conditions: Open access
• Created on: 2024-02-21 14:51:28