Razvoj sustava za prepoznavanje i identifikaciju sintetički generiranih glasova korištenjem tehnika strojnog učenja

master's thesis

• Title (english): Development of a system for recognition and identification of synthetically generated voices using machine learning techniques
• Author: Mirta Vučinić
• Mentor: Davor Petrinović (mentor)
• Committee member: Davor Petrinović (predsjednik povjerenstva)
• Committee member: Damir Seršić (član povjerenstva)
• Committee member: Mladen Vučić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2025-02-19, Croatia

Abstract

Ovo istraživanje fokusira se na razvoj učinkovitog sustava za detekciju sintetički generiranih audiozapisa. Glavni cilj bio je razviti i evaluirati različite modele za prepoznavanje manipuliranih audiozapisa, kako bi se mogli koristiti za zaštitu privatnosti, prevenciju manipulacija i zloupotreba. U istraživanju provedeno je nekoliko koraka obrade podataka, uključujući segmentaciju, augmentaciju, ekstrakciju značajki i organizaciju podataka za treniranje, kako bi se podaci pripremili za... More različite tipove modela strojnog učenja.
Upotrijebljeni su različiti klasifikatori, među kojima naivni Bayes, stroj potpornih vektora, K-najbližih susjeda, logistička regresija, slučajne šume, stabla odluke, CatBoost klasifikator, ekstremno povećanje gradijenta te neuronske mreže: LSTM i CNN. Rezultati pokazuju da je stroj potpornih vektora postigao najbolje rezultate u detekciji, ostvarivši 100%-tnu točnost, preciznost, odziv i F1-mjeru. Drugi testirani modeli su također dali dobre rezultate, njihova točnost bila je nešto niža u odnosu na SVM.
Istraživanje također obuhvaća analizu popularnih metoda generiranja sintetičkih audiozapisa, ističe potrebu za razvojem sustava za njihovu detekciju, analizira tehničke izazove u izradi takvih sustava te istražuje interdisciplinarne pristupe koji mogu doprinijeti njihovoj učinkovitosti.
Zaključno, detekcija sintetički generiranih audiozapisa postaje ključna u zaštiti društva od prijetnji koje ova tehnologija može donijeti. Daljnja istraživanja trebaju se usmjeriti na razvoj naprednih sustava koji će pratiti razvoj alata za generiranje manipuliranih audiozapisa i uspješno ih detektirati. Kako bi se poboljšala detekcija manipuliranih audiozapisa trebaju se koristiti integrirani pristupi sustava za detekciju s naprednim tehnologijama, kao što su obrada prirodnog jezika i računalni vid.
Less

Abstract (english)

This research focuses on the development of an effective system for detecting synthetically generated audio recordings. The main objective was to develop and evaluate different models for recognizing manipulated audio recordings, so that they could be used to protect privacy, prevent manipulation and abuse. Several data processing steps were carried out in the research, including segmentation, augmentation, feature extraction, and training data organization, to prepare the data for... More different types of machine learning models.
Various classifiers were used, including Naïve Bayes, Support Vector Machine, K-Nearest Neighbors, Logistic Regression, Random Forest, Decision Tree, CatBoost classifier, eXtreme Gradient Boosting, and neural networks: LSTM and CNN. The results show that the support vector machine achieved the best results in detection, achieving 100% accuracy, precision, response and F1-measure. Other tested models also gave good results, their accuracy was slightly lower compared to SVM.
The research also includes an analysis of popular methods of generating synthetic audio recordings, emphasizes the need to develop systems for their detection, analyzes technical challenges in the creation of such systems and explores interdisciplinary approaches that can contribute to their efficiency.
In conclusion, the detection of synthetically generated audio recordings becomes crucial in protecting society from the threats that this technology can bring. Further research should focus on the development of advanced systems that will accompany the development of tools for generating manipulated audio recordings and successfully detect them. To improve the detection of manipulated audio, integrated detection system approaches with advanced technologies, such as natural language processing and computer vision, should be used.
Less

• Keywords: deepfake; detekcija sintetički generiranih audiozapisa; MFCC; spektrogrami; SVM; klasifikator; neuronska mreža; manipulirani audiozapis; točnost
• Keywords (english): deepfake; detection of synthetically generated audio recordings; MFCC; spectrograms; SVM; classifier; neural network; manipulated audio; accuracy
• Language: croatian
• URN:NBN: urn:nbn:hr:168:609542
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2025-03-12 11:20:21