| Abstract | Izraz kardiovaskularne bolesti (KVB) odnosi se na brojne funkcionalne abnormalnosti srca i krvožilnog sustava. KVB uzrokuju gotovo jednu trećinu (33%) smrtnosti u suvremenom svijetu, što predstavlja najveći udio u odnosu na sve druge bolesti. Rana dijagnoza i odgovarajuće liječenje kardiovaskularnih bolesti mogu značajno smanjiti smrtnost I poboljšati kvalitetu pacijentova života. Postavljanje dijagnoze temelji se na cjelokupnoj slici kardiovaskularnog sustava, uključujući anatomiju i fiziologiju srca. Dijagnostički proces obično se sastoji od dva glavna dijela. Prvi dio odnosi se na prikupljanje slika srca pomoću medicinskih uređaja. Razvijene su brojne invazivne i neinvazivne tehnike medicinskog snimanja koje omogućuju uvid u anatomiju i funkcionalnost srca. Drugi dio dijagnostičkog procesa je kvantifikacija i interpretacija prethodno dobivenih slika pomoću naprednih metoda obrade slike. Razvoj učinkovitih metoda za obradu medicinskih slika je složen zadatak, s obzirom da podrazumijeva obradu ogromne količine visokodimenzionalnih podataka. Napredak u razvoju algoritama obrade slike, računalnog vida i umjetne inteligencije, kao i dostupnost grafičkih procesorskih jedinica (GPU-a), značajno su olakšale i ubrzale razvoj takvih metoda.
Segmentacija medicinskih slika ima važnu ulogu u procjeni, dijagnozi te postavljanju prognoze različitih kardiovaskularnih bolesti. Opsežna istraživanja i kliničke primjene pokazale su da računalna tomografija (CT) i magnetska rezonanca (MRI), kao osnovne tehnike prikupljanja medicinskih slika, imaju izrazito važnu ulogu u procjeni kardiovaskularnih bolesti. Njima je omogućeno kvantificiranje bolesti, mjerenje volumena kao i analizira morfologije različitih organa. Prema tome, segmentaciju srca i srčanih struktura predstavlja osnovu za širok spektar kliničkih primjena. Primjerice, često se koristi se za modeliranje i analizu anatomije i funkcionalnosti kao i za lokalizaciju različitih patologija. Izrada trodimenzionalnog (3D) modela srca specifičnog za pojedinog pacijenta predstavlja izrazit potencijal za poboljšanje kirurškog planiranja za pacijente s urođenom srčanom manom. Kako bi se takvi 3D modeli mogli izraditi, potrebno je imati segmentirane različite srčane strukture, uključujući pojedine srčane komore, epikardijalnu površinu, aortu kao i pojedine žile kardiovaskularnog sustava. Segmentacija lijeve i desne klijetke ima izrazito važnu ulogu u kvantitativnoj analizi globalnih i regionalnih informacija, odnosno pokazatelja rada srca, poput volumena na kraju dijastole (VKD), volumena na kraju sistole (VKS), frakcije izbacivanja (FI), debljine stijenke ili mase. Primjerice, ventrikularna hipertrofija uzrokovana je abnormalnim povećanjem srčanog mišića koji okružuje lijevu ili desnu klijetku. Prema tome, segmentacija cijelog srca i srčanih komora iz volumetrijskih medicinskih slika igraju bitnu ulogu u procjeni cjelokupnog kardiovaskularnog zdravlja. Nadalje, radiolozi često trebaju ocrtati aortu kako bi dobili njezinu morfologiju, što je bitno za otkrivanje i dijagnosticiranje aneurizme aorte. Ručna segmentacija srca i srčanih struktura je vremenski veoma zahtijevan posao, podložan subjektivnosti. Prema tome, razvoj točnih i robusnih automatskih algoritama za segmentaciju je neophodan za primjenu u kliničkoj praksi.
Duboko učenje predstavlja najsuvremeniju metodu za različite zadatke obrade slike poput raspoznavanja, segmentacije i klasifikacije. Metode dubokog učenja temelje se na umjetnim neuronskim mrežama. Najčešće upotrebljena vrsta neuronske mreže su konvolucijske neuronske mreže (CNN). FCNs predstavljaju specifičnu vrstu CNN-a bez potpuno povezanog sloja, kojima se obrađuje cijela slika te nije potrebno korištenje patcheva. Razvijene su različite varijante FCN-a, od kojih su najznačajnije varijante koje koriste koder-dekoder arhitekture. U biomedicinskoj obradi slika, za segmentaciju, najčešće se koristi U-Net arhitektura neruonske mreže kao i njezina odgovarajuća 3D verzija. U-Net arhitektura ima snažnu reprezentativnu snagu te je u mogućnosti zabilježiti značajke niskih razina što je izrazito važno prilikom treniranja mreže sa malom količinom podataka. Iako U-Net ima snažnu reprezentativnu snagu, dugoročni odnosi između značajki su slabi zbog upotrebe konvolucijskih operacija. Prema tome, potrebno je razvijati naprednije mehanizme kao i dodatne blokove koji će biti u mogućnosti ispraviti nedostatke U-Net arhitekture. Tehnike i blokovi poput veza za preskakivanje ili dubokog nadzora, omogućuju izgradnju dubljih arhitektura neuronskih mreža koje pružaju apstraktnije rezultate učenja te postižu veću točnost prilikom segmentacije medicinskih slika. S obzirom da povećanje broja slojeva osigurava veći prostor parametara koji omogućuje učenje apstraktnijih značajki, dublje arhitekture neuronskih mreža pružaju apstraktnije učenje koje rezultira boljim performanse i većom točnost u zadacima medicinske segmentacije. Unatoč tome, kako se dubina mreže povećava, informacije o gradijentu prolaze kroz mnogo slojeva te mogu nestati ili nakupiti velike pogreške do trenutka kada gradijet dosegne kraj mreže. To dovodi do uobičajenih prepreka treninga dubokih arhitektura neuronskih mreža kao što su problem nestajajućih gradijenta, ekstenzivnog rasta parametara, kao i smanjenja točnosti, što dovodi do računalno zahtjevnih modela.
U ovoj doktorskoj disertaciji, predložen je niz metoda dubokog učenja za automatsku segmentaciju srca i srčanih komora. Fokus disertacije je na poboljšanju metoda dubokog učenja za segmentaciju cijeloga srca, lijeve i desne klijetke i miokarda kao i aneurizme abdominalne aorte. S obzirom na karakteristične probleme koji se javljanju prilikom dizajniranja metoda dubokog učenja za segmentaciju medicinskih slika, poput problema visoke dimenzionalnosti slika koje rezultiraju treniranim modelima s velikim brojem parametara kao i nedostatkom anotiranih podataka za treniranje, cilj ove disertacije je ublažiti navedene izazove predlaganjem novih i robusnih arhitektura neuronskih mreža koje smanjuju broj korištenih parametara, ali zadržavaju izrazito visoku točnost krajnjih rezultata segmentacije.
Prvi i najvažniji znanstveni doprinos predstavlja nova struktura povezivanja rezidualnih jedinica, koju nazivamo rezidualna jedinica za spajanje značajki (FM-Pre-ResNet). FM-Pre-ResNet struktura povezivanja rezidualnih jedinica dodaje konvolucijski sloj na vrh i na dno već postojećih prethodno aktivirajućih rezidualnih jedinica. Pri tome, gornji sloj uravnotežuje parametre dviju grana rezidualne jedinice, dok donji sloj smanjuje dimenzije kanala. Na ovaj način predložena struktura povezivanja rezidualnih jedinica omogućuje kreiranje značajno dubljih modela uz održavanje iste ili čak manje količine parametara u odnosu na originale rezidualne jedinice.
Nakon toga, u drugom znanstvenom doprinosu, predložena je nova 3D arhitektura neuronske mreže bazirana na koder-dekoder arhitekturi koja uspješno integrira FM-Pre-ResNet jedinice s varijacijskim autokoderima (VAE) za segmentaciju srca i srčanih komora iz CT i MRI slika. Metoda se sastoji od tri osnovna dijela. U prvom dijelu, prethodno predložene FM-Pre-ResNet jedinice koriste se za učenje nisko-dimenzionalnog prikaza ulaza u fazi kodiranja. U drugom dijelu, VAE rekonstruira ulaznu sliku iz nisko-dimenzionalnog latentnog prostora, osiguravajući da su sve težine modela snažno regulirane, kako bi se izbjegnula neželjena pojava pretreniranja. VAE dio koristi se samo tijekom treniranja mreže. Konačno, u trećoj fazi dekodiranja ponovno su integrirane FM-Pre-ResNet jedinice pomoću kojih se stvaraju konačne segmentacije srca. Predložena nova arhitektura evaluirana je na testnom skupu podataka koji se sastoji od 40 različitih pacijenata dostupnih kroz MICCAI Multi-Modality Whole Segmentation Challenge (MM-WHS) izazov. Naša metoda ostvarila je prosječni DSC, JI, SD i HD za cijelo srce od 90,39%, 82,24%, 1.1093 i 15,3621 na CT snimkama, odnosno 89,50%, 80,44%, 1,8599, 25,6558 na MRI snimkama. Predloženi pristup ostvario je približno slične rezultate kao i najsuvremenije metode za segmentaciju cijelog srca na CT slikama dok su rezultati na MRI slikama bolji od rezultata prethodno objavljenih najsuvremenijih metoda.
Treći znanstveni doprinos, predstavlja novu automatsku metodu za segmentaciju miokarda (MiO), lijeve (LK) i desne klijetke (DK) iz cineMRI slika. Predstavljena je nova arhitekturu koja integrira SERes blokove u 3D U-net arhitekturu (3D SERes-U-Net). SERes blokovi upotrebljavaju operacije stiskanja i uzbude u rezidualne jedinice. Sposobnost ponovne kalibracije značajki operacija stiskanja i uzbude povećava reprezentativnu snagu mreže, dok ponovna upotreba značajki koristi učinkovito učenje o značajkama, što poboljšava performanse segmentacije. Predloženu metodu evaluirali smo na testnom skupu podataka MICCAI Automated Cardiac Diagnosis Challenge (ACDC). Naša predložena metoda za segmentaciju pomoću 3D SERes-U-Net ostvarila je prosječni DSC za LK, DK i MiO na kraju dijastole od 95%, 90%, 83%. Slično, prosječni DSC za LK, DK i MiO na kraju sistole je 86%, 83%, 85%. Dodatno, izračunati su volumeni LK, DK i MiO na temelju kojih su dalje računate značajne kliničke metrike te su uspoređeni rezultati s referentnim rezultatima. Navedeno uključuje kliničke metrike, odnosno pokazatelje funkcionalnosti srca, uključujući volumen lijeve klijetke na kraju dijastole (VLKKD), volumen lijeve klijetke na kraju sistole (VLKKS), frakciju izbacivanja lijeve klijetke (FILK), volumen desne klijetke na kraju dijastole (VDKKD), volumen desne klijetke na krajnjoj sistoli (VDKKS), frakciju izbacivanja desne klijetke (FIDK), volumen miokarda na krajnjoj sistoli (VMiOKS) kao i masu miokarda na kraju dijastole (MiOKD). Bland-Altman analiza pokazuje visoki koeficijent korelacije od R = 0,99 za VLKKD i VLKKD, dok je R = 0,95 za FILK. Korelacije VDKKD, VDKKS i FIDK su R = 0,97, R = 0,93, R = 0,69. Konačno, R = 0,96 za VMiOKS i R = 0,95 za MiOKD dodatno pokazuju snagu točnosti i preciznosti naše predložene metode.
Konačno, četvrti znanstveni doprinos predstavlja novi automatski pristup za segmentaciju aneurizme abdominalne aorte (AAA). 3D U-Net arhitektura modificirana je uvođenjem rezidualnih jedinica u koder dijelu kao i mehanizmom dubokog nadzora u dekoder dijelu. Kako bi se povećala točnost rezultata, mreža je trenirana i validirana na 19 preoperativnih AAA CTA volumena različitih pacijenata primjenom 4-ostrukog pristupa unakrsne provjere valjanosti. Naša metoda postiže DSC rezultat od 91,03% za segmentaciju aneurizme abdominalne aorte.
Tijekom rada na ovoj doktorskoj disertaciji, objavljeno je 5 radova u časopisima (od čega 3 kao prvi autor), 10 radova objavljeno je na međunarodnim konferencijama (od čega 5 kao prvi autor) te 1 rad kao dio knjige (ko-autor). |
| Abstract (english) | The term cardiovascular disease (CVD) refers to numerous dysfunctions of the heart and circulatory system. Cardiovascular disease accounts for nearly one-third (33%) of all deaths in the modern world, which is the highest proportion of all diseases. Early diagnosis and appropriate treatment can significantly reduce mortality and improve quality of life. The diagnosis of heart disease is based on the complete cardiovascular picture, including anatomy and physiology. The diagnostic process usually consists of two main parts. The first part refers to obtaining images of the heart using imaging devices. Numerous invasive and non-invasive imaging techniques have been developed to characterize the anatomy and functionality of the heart. The second part of the diagnostic process is the quantification and interpretation of the images using advanced image processing methods. Developing efficient medical image processing and analysis methods is a complex task, mainly because it involves processing large amounts of high-dimensional data. Advances in the development of image processing, computer vision, and artificial intelligence, as well as the widespread availability of powerful graphical processing units (GPUs), have made this challenging task manageable.
Medical image segmentation plays an important role in the as-assessment, diagnosis, and prognosis of various cardiovascular diseases. Extensive research and clinical applications have shown that computed tomography (CT) and magnetic resonance imaging (MRI) play an important role in the non-invasive assessment of cardiovascular disease. They help quantify disease, measure the volume of structures, and analyze organ morphology. Therefore, segmentation of whole heart is an important step for a variety of clinical applications. For example, itis used for modelling and analysing the anatomy and function of the heart and for localizing pathologies. The creation of a patient-specific3D heart model holds excellent potential for improving surgical planning for patients with congenital heart defects. It requires delineation of all cardiac structures, including heart chambers, epicardial surface, entire blood pool, and great vessels. Segmentation of the left and right ventricles plays a critical role in quantitative analysis of global and regional information, i.e., indicators of cardiac function, such as end-diastolic volume (EDV), end-systolic volume (ESV), ejection fraction(EF), wall thickness, and mass. For example, ventricular hypertrophy is caused by abnormal enlargement of the myocardium surrounding the left or right ventricle. Therefore, segmentation of the whole heart and heart chambers from volumetric medical images plays an essential role in cardiac assessment. In addition, radiologists often need to delineate the aorta to obtain its morphology, which is essential for the detection and diagnosis of aortic aneurysms. Manual segmentation of cardiac structures is a time-consuming process that depends on observer variability. Therefore, the development of accurate and robust automatic segmentation algorithms is critical for clinical practice.
Deep learning has emerged as a state-of-the-art method for various image processing tasks such as recognition, segmentation, and classification. Deep learning methods are based on deep artificial neural networks. The most common type of deep neural network is convolutional neural networks (CNNs). Fully convolutional neural networks (FCNs) are a special type of CNNs that do not have a fully connected layer and are trained and applied to the entire image so that no patch selection is required. Several variants of FCNs have been pro-posed to transfer features from the encoder to the decoder to increase segmentation accuracy. The most widely used FCNs for biomedical image segmentation are the U-net architecture and its corresponding three-dimensional counterpart, the 3D U-net architecture. The ability of U-Net architecture to capture low-level features makes them very useful in scenarios with a small amount of training data. Although it has strong representational power, long-range relationships are weak due to the inherent localization of convolutional operations, so more advanced mechanisms and building blocks are required. Techniques and building blocks such as residual connections and deep supervision enable the construction of deeper architectures that provide more abstract learning results and higher accuracy for medical segmentation tasks. The increment in the number of layers provides larger parameter space enabling learning of more abstract features. Therefore, deeper architectures could provide more abstract learning that results in better performance and higher accuracy in medical segmentation tasks. Nevertheless, when the depth of CNN increases, information about the gradient passes through many layers, and it can vanish or accumulate large errors by the time it reaches the end of the network. This leads to common obstacles of training deep neural network architectures such as appearance of vanishing gradients, accuracy degradation, and extensive parameter growth, which results in computationally intensive models.
In this Thesis, we propose a set of deep learning methods for automatic heart and heart chambers segmentation. We focus on improving deep learning segmentation methods for the whole heart, both ventricles, myocardium, and abdominal aortic aneurysm. Several unique challenges and issues arise in developing deep learning methods for medical image segmentation and analysis. For example, the high im-age dimensionality leads to trained models with a high number of parameters, and the lack of expert annotation makes the models more susceptible to overfitting. Therefore, we aim to alleviate these challenges by proposing new and robust CNNs that reduce the number of parameters so that they can be trained with smaller training sets and are less prone to overfitting. One of the most important scientific contributions of this work is the novel connectivity structure of residual units, which we call the feature merge residual unit (FM-Pre-ResNet). The FM-Pre-ResNet unit attaches two convolution layers at the top and at the bottom of the pre-activation residual block. The top layer balances the parameters of the two branches, while the bottom layer reduces the channel dimension. The proposed connectivity allows the construction of notably deeper models while maintaining the same or smaller number of parameters than the pre-activation residual units. Following that, the second scientific contribution is a novel three-dimensional (3D) encoder-decoder architecture that successfully integrates FM-Pre-ResNet units and is additionally guided with variational autoencoders (VAE) for the task of whole heart segmentation from CT and MRI images. The architecture includes three stages. First, in an encoding stage, FM-Pre-ResNet units learn a low-dimensional representation of the input. Second, in the VAE stage, an input image is reduced to a low-dimensional latent space and reconstructs itself to provide a strong regularization of all model weights. This ensures that all model weights are strongly regularized while avoiding overfitting the training data. Third, the decoding stage creates the final whole heart segmentation. We evaluate our method on the 40 test subjects of the MICCAI Multi-Modality Whole Heart Segmentation (MM-WHS)Challenge. Our method achieves an average Dice score (DSC), Jaccard index (JI), surface distance (SD), and Hausdorff distance (HD) for WHS of 90.39%, 82.24%, 1.1093, and 15.3621 on CT images and 89.50%,80.44%, 1.8599, 25.6558 on MRI images, respectively. The proposed approach obtains highly comparable DSC to the state-of-the-art for whole heart segmentation tasks on CT images while outperforming the current state-of-the-art on the MRI images. The third scientific contribution is a new automatic method for left ventricle (LV), right ventricle (RV), and myocardium (Myo) seg-mentation and quantification from cine-MRI images. We introduce a new architecture that incorporates SERes blocks into 3D U-net architecture (3D SERes-U-Net). The SERes blocks incorporate squeeze-and-excitation operations into residual learning. The adaptive feature recalibration ability of squeeze-and-excitation operations boosts the network’s representational power while feature reuse utilizes effective feature learning, which improves segmentation performance. We evaluate the proposed method on the MICCAI Automated Cardiac Diagnosis Challenge (ACDC) testing dataset. Our method obtains an average DSC for LV, RV, and Myo at end-diastole of 95%, 90%, 83%,respectively. Similarly, we obtain an average DSC for LV, RV, and Myo at end-systole of 86%, 83%, 85%, respectively. Additionally, we calculate significant clinical metrics, i.e., indicators of hearts’ function, including volume of the left ventricle at end-diastole (LVEDV), the volume of the left ventricle at end-systole (LVESV), left ventricles’ ejection fraction (LVEF), the volume of the right ventricle at end-diastole(RVEDV), volume of the right ventricle at end-systole (RVESV), right ventricles’ ejection fraction (RVEF), myocardium volume at end-systole(MyoLVES), and myocardium mass at end-diastole (MyoMED). The Bland-Altman analysis shows a high correlation coefficient of R=0.99for LVEDV and LVESV, while R=0.95 for LVEF. Correlations ofRVEDV, EVESV and RVEF are R=0.97, R=0.93, R=0.69, respectively. Finally, R=0.96 for MyoLVES and R=0.95 for MyoMED further show our proposed methods’ strength of accuracy and precision. Finally, the fourth scientific contribution includes a new automatic approach for robust and reproducible abdominal aortic aneurysm(AAA) segmentation. The 3D U-Net network is adapted by introducing residual units in the contracting pathway and a deep supervision mechanism in the expanding pathway. We conduct an ablation study to demonstrate the effect of the addition of residual units and deep supervision for this particular clinical application. To increase the robustness of the results, networks are trained, validated, and evaluated on 19 pre-operative CTA volumes from different patients using a 4-foldcross-validation approach. Our pipeline achieves a Dice score of 91.03%for AAA segmentation. The work conducted during this Thesis resulted in 5 journal publications (of which 3 as the first author), 10 papers are published at international conferences (of which 5 as the first author), and 1publication in book chapters (as co-author). |
