Title Segmentation of retinal structures in optical coherent tomography images Title (croatian) Segmentacija retinalnih struktura u slikama optičke koherentne tomografije Author Martina Melinščak Mentor Sven Lončarić (mentor)Committee member Sven Lončarić (predsjednik povjerenstva)Granter University of Zagreb Defense date and country 2022, Croatia Scientific / art field, TECHNICAL SCIENCES Universal decimal classificationUDC ) 004 - Computer science and technology. Computing. Data processing Abstract Optical coherence tomography (OCT) images of the retina provide a structural representation and give an insight into the pathological changes present in age-related macular degeneration (AMD). Due to the three-dimensionality and complexity of the images, manual analysis of pathological features is difficult, time-consuming, and prone to subjectivity. Computer analysis of 3D OCT images is necessary to enable automated quantitative measuring of the features, objectively and repeatedly. As supervised and semi-supervised learning-based automatic segmentation depends on the training data and quality of annotations, a new database of Annotated Retinal OCT Images (AROI database) has been created. It consists of 1136 images with annotations for pathological changes (fluid accumulation and related findings) and basic structures (layers) in patients with AMD. Inter- and intra-observer errors have been calculated to enable the validation of developed algorithms in relation to human variability. The framework for validation of OCT image segmentation methods consisting of a publicly available database of manually labeled image features and methodology and programming code for standardized measurement of segmentation accuracy is developed thus making the first scientific contribution. In the case of retinal OCT images of patients suffering from AMD, there is a significant deformation of the retinal structure. This causes the methods for retinal layers segmentation without introducing information on pathology significantly impaired. Therefore, an approach for layer segmentation which takes into account information about fluids (joint segmentation of layers and fluids) was chosen. Also, the automatic segmentation with standard U-net architecture and two state-of-the-art architectures for medical image segmentation has been performed to set a baseline for further algorithm development and to get insight into challenges for automatic segmentation. After an analysis of how various architectures and their modifications affect the performance and accuracy of segmentation, an analysis of the effects of various data manipulations (data augmentation, image post-processing) on segmentation performance was performed. Based on all the examined methods, comparison and proposal of two models for segmentation of retinal and intraretinal fluid layers in optical coherence tomography images that give comparable results were made. One model consists of a standard U-net architecture with post-processing using conditional random fields. The second model consists of a neural network architecture that combines the good features of the U-net architecture and the ResNet architecture. The existing state-of-the-art architecture has been adapted to the given problem and improved by adding skip connections. Additionally, segmentation accuracy was improved by using data augmentation and post-processing using conditional random fields. This is the second scientific contribution. A comparative quantitative analysis of fluid-only segmentation and fluid segmentation with available layer information was performed to gain insight into how much information about layers (fluid position in the retina) contributes to the accuracy of fluid segmentation itself. A study of the efficiency of transfer learning, which is an active and insufficiently researched topic in the field of deep learning with applications in medicine, was conducted, based on which a method for retinal fluid segmentation in optical coherence tomography images was proposed. This is the third scientific contribution. In conclusion, the main challenges of automatic segmentation are presented and the ideas for further research and improvements are given.
Abstract (croatian) Optička koherentna tomografija (OCT) slika retina omogućava strukturalni prikaz i daje uvid u patološke promjene prisutne kod senilne makularne degeneracije (SMD). S obzirom na trodimenzionalnost i kompleksnost slika, manualna analiza patoloških značajki je teška, vremenski zahtjevna i podložna subjektivnosti. Stoga je računalna analiza 3D OCT slika nužan preduvjet za automatsko kvantitativno mjerenje značajki, na objektivan način u sklopu kliničke prakse. Kako nadzirana i polu-nadzirana automatska segmentacija bazirana na dubokom učenju ovisi o podacima za treniranje i o kvaliteti anotacija, prikupljena je nova baza anotiranih retinalnih OCT slika (AROI baza). Sastoji se od 1136 slika pacijenata koji boluju od SMD s pripadajućim anotacijama patoloških promjena (akumulacije tekućina i slične patološke promjene) i osnovnih anatomskih struktura (slojeva). Izračunata je procjena ljudske varijabilnosti kako bi se omogućila usporedba i validacija razvijenih algoritama u odnosu na ljudsku varijabilnost. Time je razvijen radni okvir za provjeru metoda za segmentaciju OCT slika koji se sastoji od javno dostupne baze slika s ručno označenim značajkama te metodologije i od programskog koda za standardizirano mjerenje točnosti segmentacije čime je ostvaren prvi znanstveni doprinos. U slučaju retinalnih OCT slika pacijenata koji boluju od SMD dolazi do značajne deformacije strukture retine. Time je onemogućena segmentacija slojeva retine bez uvođenja informacija o patološkim promjenama bez značajnog narušavanja točnosti segmentacije razvijenih modela. Zato je odabran pristup segmentacije slojeva pri čemu se uzima u obzir informacija o tekućinama, odnosno istovremena segmentacija slojeva i tekućina. Provedena je automatska segmentacija sa standardnom U-net arhitekturom i dvije napredne i češće korištene arhitekture za segmentaciju medicinskih slika kako bi se postavila osnova za daljnji razvoj algoritama i dobio uvid u izazove automatske segmentacije. Nakon što je provedena analiza kako razne arhitekture i njihove modifikacije djeluju na točnost i performanse segmentacije, provedena je analiza djelovanja raznih manipulacija nad podacima (povećanje podataka, obrada slika) na performanse segmentacije. Na osnovu svih ispitanih metoda, napravljena je usporedba i prijedlog dvaju modela za segmentaciju slojeva retine i intraretinalnih tekućina u slikama optičke koherentne tomografije koji daju sumjerljive rezultate. Jedan model se sastoji od standardne U-net arhitekture uz obradu predikcija pomoću uvjetnih slučajnih polja (eng. conditional random fields). Drugi model se sastoji od arhitekture neuronske mreže koja kombinira dobre značajke U-net arhitekture i ResNet arhitekture. Postojeća napredna (eng. state-of-the-art) arhitektura prilagođena je za dani problem i unaprijeđena dodavanjem veza (eng. skip connections). Dodatno, točnost segmentacije je poboljšana uporabom augmentacije podataka (eng. data augmentation) i obradom predikcija pomoću uvjetnih slučajnih polja. Time je ostvaren drugi znanstveni doprinos. Napravljena je komparativna kvantitativna analiza segmentacije samo tekućina i segmentacije tekućina uz dostupne informacije o slojevima kako bi se dobio uvid koliko informacije o slojevima, odnosno poziciji tekućina u retini doprinose točnosti segmentacije samih tekućina. Provedeno je istraživanje efikasnosti prijenosnog učenja koje je aktivna i nedovoljno istražena tema u području dubokog učenja s primjenama u medicini na temelju čega je predložena metoda za segmentaciju intraretinalnih tekućina u slikama optičke koherentne tomografije. Time je ostvaren treći znanstveni doprinos. Zaključno su izneseni i istaknuti glavni izazovi automatske segmentacije te dane ideje za daljnja istraživanja i poboljšanja.
Keywords
age-related macular degeneration
optical coherence tomography
annotated retinal OCT images
automatic image segmentation
deep learning
Keywords (croatian)
senilna makularna degeneracija
optička koherentna tomografija
anotirane retinalne OCT slike
automatska segmentacija slika
duboko učenje
Language english URN:NBN urn:nbn:hr:168:294089 Promotion 2022 Study programme Title: Computer Science Type of resource Text Extent 82 str. : ilust. u bojama File origin Born digital Access conditions Open access Terms of use Created on 2022-04-22 11:58:11
