Razvoj sustava za prepoznavanje i identifikaciju sintetički generiranih glasova korištenjem tehnika strojnog učenja

diplomski rad

• Naslov (engleski): Development of a system for recognition and identification of synthetically generated voices using machine learning techniques
• Autor: Mirta Vučinić
• Mentor: Davor Petrinović (mentor)
• Član povjerenstva: Davor Petrinović (predsjednik povjerenstva)
• Član povjerenstva: Damir Seršić (član povjerenstva)
• Član povjerenstva: Mladen Vučić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2025-02-19, Hrvatska

Sažetak

Ovo istraživanje fokusira se na razvoj učinkovitog sustava za detekciju sintetički generiranih audiozapisa. Glavni cilj bio je razviti i evaluirati različite modele za prepoznavanje manipuliranih audiozapisa, kako bi se mogli koristiti za zaštitu privatnosti, prevenciju manipulacija i zloupotreba. U istraživanju provedeno je nekoliko koraka obrade podataka, uključujući segmentaciju, augmentaciju, ekstrakciju značajki i organizaciju podataka za treniranje, kako bi se podaci pripremili za... Više različite tipove modela strojnog učenja.
Upotrijebljeni su različiti klasifikatori, među kojima naivni Bayes, stroj potpornih vektora, K-najbližih susjeda, logistička regresija, slučajne šume, stabla odluke, CatBoost klasifikator, ekstremno povećanje gradijenta te neuronske mreže: LSTM i CNN. Rezultati pokazuju da je stroj potpornih vektora postigao najbolje rezultate u detekciji, ostvarivši 100%-tnu točnost, preciznost, odziv i F1-mjeru. Drugi testirani modeli su također dali dobre rezultate, njihova točnost bila je nešto niža u odnosu na SVM.
Istraživanje također obuhvaća analizu popularnih metoda generiranja sintetičkih audiozapisa, ističe potrebu za razvojem sustava za njihovu detekciju, analizira tehničke izazove u izradi takvih sustava te istražuje interdisciplinarne pristupe koji mogu doprinijeti njihovoj učinkovitosti.
Zaključno, detekcija sintetički generiranih audiozapisa postaje ključna u zaštiti društva od prijetnji koje ova tehnologija može donijeti. Daljnja istraživanja trebaju se usmjeriti na razvoj naprednih sustava koji će pratiti razvoj alata za generiranje manipuliranih audiozapisa i uspješno ih detektirati. Kako bi se poboljšala detekcija manipuliranih audiozapisa trebaju se koristiti integrirani pristupi sustava za detekciju s naprednim tehnologijama, kao što su obrada prirodnog jezika i računalni vid.
Sakrij dio sažetka

Sažetak (engleski)

This research focuses on the development of an effective system for detecting synthetically generated audio recordings. The main objective was to develop and evaluate different models for recognizing manipulated audio recordings, so that they could be used to protect privacy, prevent manipulation and abuse. Several data processing steps were carried out in the research, including segmentation, augmentation, feature extraction, and training data organization, to prepare the data for... Više different types of machine learning models.
Various classifiers were used, including Naïve Bayes, Support Vector Machine, K-Nearest Neighbors, Logistic Regression, Random Forest, Decision Tree, CatBoost classifier, eXtreme Gradient Boosting, and neural networks: LSTM and CNN. The results show that the support vector machine achieved the best results in detection, achieving 100% accuracy, precision, response and F1-measure. Other tested models also gave good results, their accuracy was slightly lower compared to SVM.
The research also includes an analysis of popular methods of generating synthetic audio recordings, emphasizes the need to develop systems for their detection, analyzes technical challenges in the creation of such systems and explores interdisciplinary approaches that can contribute to their efficiency.
In conclusion, the detection of synthetically generated audio recordings becomes crucial in protecting society from the threats that this technology can bring. Further research should focus on the development of advanced systems that will accompany the development of tools for generating manipulated audio recordings and successfully detect them. To improve the detection of manipulated audio, integrated detection system approaches with advanced technologies, such as natural language processing and computer vision, should be used.
Sakrij dio sažetka

• Ključne riječi: deepfake; detekcija sintetički generiranih audiozapisa; MFCC; spektrogrami; SVM; klasifikator; neuronska mreža; manipulirani audiozapis; točnost
• Ključne riječi (engleski): deepfake; detection of synthetically generated audio recordings; MFCC; spectrograms; SVM; classifier; neural network; manipulated audio; accuracy
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:609542
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2025-03-12 11:20:21