Deep learning -based segmentation methods for computer-assisted fetal surgery

Abstract

This thesis focuses on the development of deep learning-based image processing techniques for the detection and segmentation of fetal structures in magnetic resonance imaging (MRI) and 3D ultrasound (US) images of singleton and twin pregnancies. Special attention is laid on monochorionic twins affected by the twin-to-twin transfusion syndrome (TTTS). In this context, we propose the first TTTS fetal surgery planning and simulation platform. Different approaches are utilized to automatically segment the mother’s soft tissue, uterus, placenta, its peripheral blood vessels, and umbilical cord from multiple (axial, sagittal and coronal) MRI views or a super-resolution reconstruction. (Conditional) generative adversarial networks (GANs) are used for segmentation of fetal structures from (3D) US and the umbilical cord insertion is localized from color Doppler US. Finally, we present a comparative study of deep-learning approaches and Radiomics over the segmentation performance of several fetal and maternal anatomies in both MRI and 3D US.

Aquesta tesi comprèn el desenvolupament de tècniques de processament d’imatge basades en aprenentatge profund per a la detecció i segmentació d’estructures fetals en imatges de ressonància magnètica (RM) i ultrasò (US) tridimensional d’embarassos normals i de bessons. S’ha fet especial èmfasi en el cas de bessons monocoriònics afectats per la síndrome de transfusió feto fetal (STFF). En aquest context es proposa la primera plataforma de planificació i simulació quirúrgica orientada a STFF. S’han utilitzat diferents mètodes per segmentar automàticament el teixit de la mare, l’úter, la placenta, els seus vasos perifèrics i el cordó umbilical a partir de les diferents vistes en RM o a partir d’un volum en super-resolució. S’han utilitzat xarxes generatives antagòniques (condicionals) per a la segmentació d’estructures en imatges d’US tridimensionals i s’ha localitzat la inserció del cordó a partir d’US Doppler. Finalment, es presenta un estudi comparatiu de les metodologies d’aprenentatge profund i Radiomics.