Arhitekture za raspoznavanje slika slojevima pažnje

završni rad

• Naslov (engleski): Architectures for Image classification through attention layers
• Autor: Darijan Gudelj
• Mentor: Siniša Šegvić (mentor)
• Član povjerenstva: Siniša Šegvić (predsjednik povjerenstva)
• Član povjerenstva: Josip Šarić (član povjerenstva)
• Član povjerenstva: Ivan Grubišić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-06, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Vizualni transformeri postali su standardna arhitektura za obradu vizualnih podataka.
Obilježje transformerske arhitekture je rezidualni tok, koji olakšava optimizaciju
modela, no restriktira izradu novih značajki jer ima fiksnu dimanzionalnost kroz
cijeli model. Model treba odlučiti zadržati prethodno izračunate značajke ili dodati
nove. U ovom radu se proučavaju četiri različite arhitektonske modifikacije
vizualnog transformera s ciljem poboljšanja ponovne uporabe značajki i
parametarske učinkovitosti. Inspiracija se crpi iz konvolucijskih modela, posebno
DenseNet-a, koji je pokazao uspješno rješavanje sličnih problema. Provodimo
eksperimente na CIFAR-10 skupu podataka, pri tom pokazujući da je jedna od
predloženih varijanti, gusti vizualni transformer, pareto optimalnija od vizualnog
transformera.

Sažetak (engleski)

Vision transformers have become a standard architecture for processing visual data. The characteristic of transformer architecture is the residual flow, which facilitates model optimization but restricts the creation of new features due to fixed dimensionality throughout the model. The model needs to decide whether to keep the previously calculated features or add new ones. This paper investigates four different architectural modifications of the visual transformer with the aim of improving feature reuse and parameter efficiency. Inspiration is drawn from convolutional models, particularly DenseNet, which has successfully addressed similar problems. We conduct experiments on the CIFAR-10 dataset, demonstrating that one of the proposed variations, Dense Visual Transformer, is Pareto-optimal compared to the Vision Transformer.

• Ključne riječi: vizualni transformer; DenseNet; arhitektura; optimizacija
• Ključne riječi (engleski): Vision Transformer; DenseNet; architecture; optimization
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:738470
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: preddiplomski; Akademski / stručni naziv: sveučilišni/a prvostupnik/ prvostupnica (baccalaureus/baccalaurea) inženjer/inženjerka računarstva (univ.bacc.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2023-07-13 10:05:43