Analiza i hibridizacija jednostavnog modela transformera za modularno zbrajanje koristeći mehanističku interpretabilnost

diplomski rad

• Naslov (engleski): Analysis and hibridization of a simple transformer model for modular addition using mechanistic interpretabilit
• Autor: Filip Nekić
• Mentor: Mario Brčić (mentor)
• Član povjerenstva: Mario Brčić (predsjednik povjerenstva)
• Član povjerenstva: Ivica Botički (član povjerenstva)
• Član povjerenstva: Danijel Mlinarić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2024-08-30, Hrvatska

Sažetak

Ovaj diplomski rad istražuje analizu i hibridizaciju jednostavnog modela transformera za modularno zbrajanje koristeći mehanističku interpretabilnost.Na početku opisujemo povijest, arhitekturu, način rada, glavne komponente te prednosti i nedostatke transformera. Zatim se bavimo mehanističkom interpretabilnošću, fokusirajući se na ključne obrasce i metode za razumijevanje ponašanja modela. Analiza otkriva da model koristi Fourierov algoritam za množenje, što nam daje uvid u unutrašnji rad modela. Nadalje, hibridizacijom određenih neuralnih komponenti postigli smo poboljšanje performansi modela. Ova saznanja doprinose boljem razumijevanju transformera i pokazuju kako ciljane modifikacije mogu optimizirati i performanse i interpretabilnost.

Sažetak (engleski)

This thesis explores the analysis and hybridization of a simple transformer model for modular addition using mechanistic interpretability. Initially, we provide an overview of the transformer history, architecture, key components, types and advantages and disadvantages. We then talk about mechanistic interpretability, focusing on key patterns and methods for understanding the behavior of the model. Additionally, we briefly explain hybridization in machine learning. Our analysis reveals that the model employs Fourier's multiplication algorithm, offering insights into its internal workings. Furthermore, by hybridizing certain neural components, we achieved improved model performance. These findings enhance our understanding of transformers and demonstrate how targeted modifications can optimize both performance and interpretability.

• Ključne riječi: analiza; hibridizacija; transformer; modularno zbrajanje; mehanistička interpretabilnost
• Ključne riječi (engleski): transformer; mechanistic interpretability; modular addition; hybridization
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:458254
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2024-10-12 21:40:30