Mobilna aplikacija za automatsko raspoznavanje uzoraka na plinskom brojilu pomoću strojnog učenja

master's thesis

• Title (english): Mobile application for automatic gas meter pattern recognition using machine learning
• Author: Katarina Kovačević
• Mentor: Mario Matijević (mentor)
• Committee member: Mario Matijević (predsjednik povjerenstva)
• Committee member: Krešimir Trontl (član povjerenstva)
• Committee member: Siniša Šadek (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2024-07-05, Croatia

Abstract

Postojanje mobilne aplikacije za očitavanje uzoraka na plinskim brojilima uklonilo bi potrebu za ručnim očitavanjem brojila te uvelo mogućnost u automatizaciju tog procesa. Posljedica uvođenja takve aplikacije donijela bi uštedu vremena i resursa u očitanje plinskih brojila za kompanije koje se bave prodajom plina te za korisnike plina. Također bi omogućila pregled potrošnje i uvid u podatke potrošnje plina. Aplikacija razvijena u sklopu ovog rada koristi osnove strojnog učenja kako bi pronašla dijelove fotografije koje sadrže najbitnije informacije o plinskom brojilu za njegovo očitanje – brojilo i serijski broj. Razvijena je u programskom jeziku Java u razvojnom okruženju Android Studio. Za model strojnog učenja koji raspoznaje bitne dijelove fotografije korišten je YOLO model, verzija 8, kojeg je razvila tvrtka Ultralytics te prikladna biblioteka u programskom jeziku Python, dok je za očitanje znakova s fotografije korištena biblioteka EasyOCR. Za povezivanje mobilne aplikacije s modelom, korišten je programski okvir Flask, te platforma Ngrok koja nudi besplatni plan za otvaranje lokalnog servera Internetu. Programski kod za uključenje servera nalazi se na Google Colab platformi, gdje je provedeno i treniranje modela na vlastitom skupljenom skupu podataka koji se sastoji od fotografija hrvatskih plinskih brojila. Testiranjem mobilne aplikacije zaključeno je da su šanse za pravilna očitanja visoke ako se pri fotografiranju plinskog brojila koristi bljeskalica, te ako su brojila slikana iz pravilnog kuta i fotografija je čista i jasna. Aplikacija ima mjesta za napredak proširivanjem skupa podataka te ponovnim treniranjem modela na proširenom skupu, te izradom vlastitog modela za prepoznavanje teksta sa fotografije

Abstract (english)

The existence of a mobile application for reading gas meter pattern recognition would eliminate the need for manual meter readings and introduce the possibility of automating this process. The introduction of such an application would save time and resources for gas companies and gas users. It would also enable an overview of consumption and an insight into gas consumption data. The application developed in this project uses the basics of machine learning to find parts of the photo that contain the most important information about the gas meter for its reading – the gas meter and the serial number. It was developed in the Java programming language in the Android Studio environment. YOLO model version 8, developed by Ultralytics was used for the machine learning model that recognizes important parts of the photo. Meanwhile, the EasyOCR library was used to read characters from the photo. The Flask framework and the Ngrok platform, which offers a free plan for opening a local server to the Internet, were used to connect the mobile application with the model. The program code that is used for activating the server is located on the Google Colab platform, which was also used for the training of the model. The model was trained on a custom collected dataset consisting of photos of Croatian gas meters. Testing the mobile application led to the conclusion that the chances for correct readings are high if the gas meter is photographed using a camera with flash, and if the meters are photographed from the correct angle with the photo being clean and clear. The application has room for improvement by expanding the dataset and retraining the model on the expanded set, as well as developing its own optical character recognition model for recognizing text from the photo.

• Keywords: Mobilna aplikacija; Razvoj aplikacija; Plinska brojila; Strojno učenje; Python; Java; YOLO; Optičko prepoznavanje znakova
• Keywords (english): Mobile application; Application development; Gas meters; Machine learning; Python; Java; YOLO; Optical character recognition
• Language: croatian
• URN:NBN: urn:nbn:hr:168:581974
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2024-10-12 21:09:14