Sustav za ekstrinzičnu i intrinzičnu detekciju plagijata u studentskim radovima

diplomski rad

• Naslov (engleski): A System for Extrinsic and Intrinsic Plagiarism Detection in Student Theses
• Autor: David Lozić
• Mentor: Jan Šnajder (mentor)
• Član povjerenstva: Jan Šnajder (predsjednik povjerenstva)
• Član povjerenstva: Alan Jović (član povjerenstva)
• Član povjerenstva: Ante Đerek (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2019-07-10, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Cilj ekstrinzičnog otkrivanja plagijata je prepoznavanje ukradenih odlomaka teksta u danom dokumentu koristeći bazu referentnih dokumenata. U intrinzičnoj detekciji plagijata se krađa prepoznaje bez korištenja vanjskih izvora. U ovom radu su preložena dva sustava intrinzičnog i dva sustava ekstrinzičnog otkrivanja plagijata. Za potrebe eksperimentiranja korišten je skup podataka iz PAN 2009 natjecanja. Prvi sustav ekstrinzične detekcije koristi odabir kandidata za smanjivanje prostora pretraživanja. Odabrani kandidati su zatim detaljno uspoređivani s sumnjivim dokumentom koristeći mjesno osjetljive metode raspršivanja. Ovim pristupom ostvaren je vrlo nizak plagdet rezultat 0.076. Drugi sustav koristi raspršivanje N-grama u izradi indeksa sačinjenog od baze referentnih dokumenata. Takav indeks je korišten u analizi sumnjivih dokumenata. Uz ovakvu metodu postignut je visok plagdet rezultat 0.507. Prvi sustav intrinzične detekcije plagijata koristi stilometrijske značajke u detekciji stršećih vrijednosti, dok drugi pristup koristi povratne neuronske mreže. Plagdet rezultati za obje metode su relativno niski i iznose 0.106 i 0.094.

Sažetak (engleski)

The goal of extrinsic plagiarism detection is to locate plagiarized passages in a given document using a database of external reference documents. In contrast, intrinsic detection systems do not have such a database at their disposal, and rely on detecting stylometric changes within the document to uncover theft. This thesis explores two extrinsic and two intrinsic detection systems. The PAN 2009 plagiarism detection competition is used for experimentation. To narrow the search space, the first extrinsic system uses candidate
retrieval to retrieve possibly plagiarized documents from the reference document database.
The retrieved documents are then exhaustively compared with the suspicious document using similarity hashing. The system achieves a low plagdet score of 0.076. The second system uses character N-gram hashes to create a large key-value index from the reference database. This index is then used for analyzing the suspicious document. A high plagdet score of 0.507 was achieved using this method. The first intrinsic system uses feature engineering with outlier detection In the second system a more novel approach is used based on recurrent neural networks and outlier detection to achieve similar results. The two intrinsic methods achieved fairly low plagdet scores of 0.106 and 0.094 respectively.

• Ključne riječi: Obrada prirodnog jezika; povrat informacija; strojno učenje; detekcija plagijata; intrinzična detekcija plagijata; ekstrinzična detekcija plagijata; PAN 2009; one-class SVM; povratna neuronska mreža
• Ključne riječi (engleski): Natural language processing; information retrieval; machine learning; plagiarism detection; intrinsic plagiarism detection; extrinsic plagiarism detection; PAN 2009; one-class SVM; recurrent neural network
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:730779
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Datum i vrijeme pohrane: 2020-01-07 19:48:21