Automatska klasifikacija dokumenata metodama strojnog učenja i obrade prirodnog jezika

master's thesis

• Title (english): Automatic document classification using machine learning and natural language processing methods
• Author: Josip Mihaljević
• Mentor: Dario Bojanjac (mentor)
• Committee member: Dario Bojanjac (predsjednik povjerenstva)
• Committee member: Sonja Grgić (član povjerenstva)
• Committee member: Marko Bosiljevac (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-07-08, Croatia

Abstract

Klasifikacija dokumenata predstavlja zanimljiv, ali i vrlo izazovan zadatak strojnog učenja i obrade prirodnog jezika. Duboke neuronske mreže predstavljaju najčešći korišteni alat u strojnom učenju za klasifikaciju dokumenata na temelju značajki izlučenih iz stranica. U obradi prirodnog jezika primjenom modela za vektorsku reprezentaciju sadržaja dokumenata analiziraju se i izvlače tekstualne značajke za klasifikaciju. U ovome se radu razrađuje problem segmentacije stranica dokumenata radi izvlačenja tekstualnog sadržaj stranice u prvi plan. Dalje su opisane tehnike predobrade tekstualnog sadržaja izlučenih iz stranica dokumenata s pomoću optičkog prepoznavanje teksta. Kako bi se ostvarilo sveobuhvatno razumijevanje sadržaja dokumenata, razvijen je multimodalni model za klasifikaciju dokumenata na temelju tekstualnih značajki i značajki slike. Prema tome, vektorski model distribuirane memorije, naučen na tekstualnom sadržaju stranica dokumenata, korišten je za izvlačenje tekstualnih značajki. Za izvlačenje značajki slike predložena je duboka konvolucijske neuronska mreža naučena na segmentiranim slikama stranica dokumenata. Kombiniranjem tekstualnih značajki i značajki slike razvijen je multimodalni model koji određuje vjerojatnost pripadanja dokumenata pojedinoj klasi. Na kraju, provedeno je evaluiranje modela i vrednovanje multimodalnog modela u odnosu na pojedinačne modele za klasifikaciju dokumenata.

Abstract (english)

The document classification represents an interesting, yet highly challenging task in machine learning and natural language processing. Deep neural networks are the most commonly used tool in machine learning for document classification based on features extracted from pages. In natural language processing, models for vector representation of document content are applied to analyze and extract textual features for classification. This thesis elaborates on the problem of page segmentation to bring the textual content of the page to the fore. Techniques for pre-processing textual content extracted from document pages using optical text recognition are further described. A comprehensive understanding of document content is achieved by developing a multimodal model for document classification, based on textual and image features. Accordingly, a vector model of distributed memory, trained on the textual content of document pages, was used to extract textual features. A deep convolutional neural network, learned on segmented images of document pages, was proposed for image feature extraction. By combining textual and image features, a multimodal model was developed to determine the probability of documents belonging to specific classes. Finally, the model was evaluated, and the multimodal model was compared to individual models for document classification.

• Keywords: konvolucijske neuronske mreže; vektorski model; optičko prepoznavanje teksta; segmentacija slike; filtriranje teksta; klasifikacija
• Keywords (english): convolutional neural networks; vector model; optical character recognition; image segmentation; text filtering; classification
• Language: croatian
• URN:NBN: urn:nbn:hr:168:084458
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-10-12 21:34:25