Predviđanje osobnosti iz teksta usmjeravanjem jezičnih modela

master's thesis

• Title (english): Personality prediction from text using prompt-based learning
• Author: Rino Čala
• Mentor: Jan Šnajder (mentor)
• Committee member: Jan Šnajder (predsjednik povjerenstva)
• Committee member: Marko Đurasević (član povjerenstva)
• Committee member: Alan Jović (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2022-07-12, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Osobnost je karakteristično svojstvo koje pojedinca čini jedinstvenim u populaciji, a manifestira se kao skup oprečnih crta ličnosti. Kako je ono ključno za prepoznavanje i predikciju ljudskog ponašanja, sve se više istraživanja fokusira na izgradnju modela i pristupa za predikciju osobnosti iz teksta. Prateći najnovije pristupe temeljene na dubokom učenju, ovaj rad proučava predikciju osobnosti na temelju usmjeravanja jezičnih modela pomoću predložaka i skupa podataka PANDORA. Pomoću modela GPT2 i BERTa, ovaj rad proučava metode temeljene na predlošcima u okolinama bez podataka, s malo podataka i s potpunom raspoloživosti podacima. Načinjena je detaljna usporedba između kontinuiranih i ručno izrađenih predložaka te klasičnog treniranja modela u različitim okolinama dostupnosti podataka. Rezultati pokazuju da klasično treniranje modela nije univerzalno i da pristupi temeljeni na predlošcima trebaju biti ukomponirani u okolinama niske dostupnosti podataka ili u treniranju velikih modela.

Abstract (english)

Personality makes an individual unique in the population and is manifested as a set of opposing personality traits. As it is essential for recognizing and predicting human behavior, emerging research focuses on building models and approaches for personality assessment from text. Following the latest deep-learning methods, this work examines the use of prompt- based learning in personality assessment on the PANDORA dataset. Using GPT2 and BERT models this work explores prompt-based techniques in a zero-shot, few-shot, and full data setting. An extensive comparison is made between continuous and hand-made prompts and classic model training with different amounts of available data. The results indicate that classic model training is not a universally good approach and that prompt-based approaches should be incorporated with less data and larger models.

• Keywords: obrada prirodnog jezika; duboko učenje; pretrenirani jezični modeli; predikcija osobnosti
• Keywords (english): natural language processing; deep learning; pretrained language models; personality assessment
• Language: english
• URN:NBN: urn:nbn:hr:168:929590
• Study programme: Title: Computing; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka računarstva (magistar/magistra inženjer/inženjerka računarstva)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Created on: 2023-01-13 14:44:02