Ciljno-usmjerena vizualna pažnja koristeći duboki model aktivnog zaključivanja

master's thesis

• Title (english): Goal-directed visual attention using a deep active inference model
• Author: Tin Mišić
• Mentor: Ivan Marković (mentor)
• Committee member: Ivan Marković (član povjerenstva)
• Committee member: Ivan Petrović (član povjerenstva)
• Committee member: Luka Petrović (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-07-10, Croatia

Abstract

Vizualna pažnja je složen kognitivni proces koji ovisi kako o unutarnjem stanju agenta, tako i o stanju okoline. Agent mora aktivno odabrati dijelove senzornog prostora na koje će se usmjeriti kako bi zadovoljio svoje unutarnje potrebe. U ovom radu razvili smo model dubokog učenja koji koristi vizualne i proprioceptivne senzorne ulaze, usmjeravajući pažnju na objekte u okruženju na temelju unutarnjih potreba, čime postiže složene ciljeve.
Razvoj modela oslanja se na princip slobodne energije, koristeći prediktivno kodiranje za predviđanje senzornog unosa i aktivno zaključivanje za motoričku kontrolu i izvođenje akcija. Generativni model je implementiran korištenjem varijacijskog auto-enkodera za predviđanje vizualnih senzorskih podataka. Opsežno treniranje i testiranje provedeni su u simuliranom okruženju kako bi se procijenila učinkovitost modela. Rezultati su pokazali da je model dosljedno usmjeravao pažnju na objekte koji su zadovoljavali njegove trenutne potrebe i ciljeve te je mogao dinamički mijenjati fokus kako su se potrebe mijenjale. S određenim podešavanjima preciznosti, pojavilo se ponašanje slično trajnosti objekta.
Nadalje, arhitektura modela omogućuje integraciju dodatnih senzornih modaliteta, kao što su slušni ili taktilni ulazi, što može poboljšati njegovu sposobnost prioritiziranja pažnje na temelju šireg spektra senzornih informacija.

Abstract (english)

Visual attention is a complex cognitive process that depends on both the internal state of an agent and the external environment. The agent must actively select parts of the sensory space to focus on to satisfy its internal needs. In this thesis we developed a deep learning model that uses visual and proprioceptive sensory input, directing attention to objects in the environment based on internal needs, thereby achieving complex goals.
The model's development relies on the free-energy principle, utilizing predictive coding to predict sensory input and active inference for motor control and action execution. A generative model was implemented using a variational auto-encoder to predict visual sensory data. Extensive training and testing were conducted in a simulated environment to evaluate the model's performance. The results demonstrated that the model consistently directed attention to objects that satisfied its current needs and goals and could dynamically shift focus as the needs changed. With specific precision tunings, a behaviour similar to object permanence emerged.
Furthermore, the model's architecture allows for the integration of additional sensory modalities, such as auditory or tactile inputs, which can enhance its ability to prioritize attention based on a broader range of sensory information.

• Keywords: aktivno zaključivanje; vizualna pažnja; varijacijski auto-enkoder
• Keywords (english): active inference; visual attention; variational auto-encoder
• Language: english
• URN:NBN: urn:nbn:hr:168:957115
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-10-12 21:38:18