Zaštita strojnog koda pomoću virtualizacije na x86 arhitekturi

master's thesis

• Title (english): Machine Code Obfuscation Through Virtualization on the x86 Architecture
• Author: Barbara Drašković
• Mentor: Klemo Vladimir (mentor)
• Committee member: Klemo Vladimir (predsjednik povjerenstva)
• Committee member: Stjepan Groš (član povjerenstva)
• Committee member: Dejan Škvorc (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2019-07-09, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Osmišljen je novi instrukcijski skup koji se bazira na load-store arhitekturi. Ostvaren
je virtualni stroj koji se temelji na novom instrukcijskom skupu, funkcionalnosti za
dohvaćanje arhitektonskog stanja procesora prije izvršavanja virtualiziranih instrukcija
i funkcionalnosti za osvježavanje arhitektonskog stanja procesora poslije izvršavanja
virtualiziranih instrukcija. Te su funkcionalnosti objedinjene u statičkoj biblioteci. Definiran
je mehanizam kojim korisnik označava dijelove koda koje želi zaštititi. Napisan
je program koji vrši zaštitu izvršne datoteke.

Korisnik statičku biblioteku i mehanizme za označavanje koda uključuje u svoj projekt
te definiranim mehanizmima označuje kritični dio koda koji želi zaštititi. Zatim generira
izvršnu datoteku te pokreće program za zaštitu iste.

Program za zaštitu u izvršnoj datoteci traži dio koda označen za zaštitu. Disasemblira
svaku instrukciju unutar označenog dijela. Virtualizira podržane x86 instrukcije i nove
instrukcije pohranjuje u spremnik instrukcija koje će izvršavati virtualni stroj. Kad
dođe do instrukcije za koju nije podržana virtualizacija, u spremnik instrukcija sprema
instrukciju koja će uzrokovati izlazak iz virtualnog stroja, osvježavanje arhitektonskog
stanja procesora i vraćanje normalnom toku programa. Virtualizirane x86 instrukcije
mijenja instrukcijama koje će svojim izvršavanjem (preko Strukturiranog upravljanja
iznimkama (engl. Structured Exception Handling)) uzrokovati poziv funkcionalnosti
definiranih u statičkoj biblioteci. Te funkcionalnosti služe za dohvaćanje arhitektonskog
stanja i poziv virtualnog stroja. Proces virtualizacije ponavlja se za sve nizove
instrukcija koje je moguće virtualizirati unutar kritičnog dijela koda. Program stvara
zaštićenu izvršnu datoteku.

Abstract (english)

A new instruction set has been designed based on LOAD-STORE architecture,
along with the corresponding virtual machine implementation. The implementation
has been equipped with functionality which allows preserving CPU state before executing
virtualized instructions, and restoring it afterwards. The solution has been implemented
in a static library. The user may mark parts of code they want to protect
through a defined interface. A program that protects the executable file has also been
implemented.

The user is expected to link his program with the static library and use the defined
interface to mark part of code he wants to protect. He then generates the executable
file and launches the protection program.

The protection program searches the executable file for protected code, disassembling
each instruction within and virtualizing supported x86 instructions. It stores new instructions into the instruction buffer. When it comes to instructions that are not supported for virtualization, instruction that will cause exit from the virtual machine, refresh the architectural state of the processor and resume to the normally run program
is saved into the instruction buffer. Virtualized x86 instructions are replaced by instructions which, through their execution (via Structured Exception Handling), cause a
functionality call defined in the static library. This functionality is used to capture the
architectural state and to call the virtual machine. The virtualization process is repeated
for all instruction sequences which can be virtualized within the critical part of
the code. The program creates a protected executable file.

• Keywords: virtualizacija; zaštita; reverzno inženjerstvo
• Keywords (english): virtualization; obfuscation; reverse engineering
• Language: croatian
• URN:NBN: urn:nbn:hr:168:041056
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2020-01-07 17:42:26