Automatic Identification of 3D Facial Biomarkers for Non-Invasive Disease Diagnosis Using Computer Vision and Artificial Intelligence

Abstract

Les dismorfologies facials han emergit com a indicadors clau potencials en el diagnòstic i pronòstic de trastorns genètics, psicòtics i malalties minoritàries. Tot i que en alguns casos aquestes alteracions són evidents, en altres poden ser subtils i imperceptibles fins i tot per a l’ull humà expert. Tradicionalment, l’estudi i anotació de la morfologia facial s’ha realitzat de manera manual, fet que requereix formació especialitzada, és costós en temps i propens a errors de mesura, a nivell tant d'inter com d'intraobservador. En aquest context, s’obre una via prometedora per al desenvolupament d’eines objectives, automàtiques i basades en imatges que facilitin un diagnòstic precoç i precís, acostant aquestes tecnologies a la pràctica clínica.

L’objectiu principal d’aquesta tesi és desenvolupar i integrar tècniques de visió per computador, intel·ligència artificial, morfometria geomètrica i imatge 3D per a la caracterització automàtica de les dismorfologies facials de forma integral. Aquesta caracterització té com a finalitat identificar biomarcadors facials potencials, interpretables i clínicament rellevants, que permetin entrenar models automàtics de diagnòstic a partir d’informació tridimensional. Per això, es proposa una metodologia completament automatitzada que inclou l’adquisició i processament de la morfologia facial per generar malles 3D uniformes a partir de dues tècniques d'imatge -ressonància magnètica i escaneig fotogramètric-, la codificació de la forma mitjançant el registre automàtic de landmarks anatòmics, el càlcul de biomarcadors amb tècniques de morfometria geomètrica i l’entrenament de models de classificació mitjançant aprenentatge automàtic a partir d’aquests biomarcadors.

La metodologia es valida amb bases de dades públiques i propietàries en tres condicions clíniques amb diferents graus de severitat morfològica: síndrome de Down, síndrome de Turner i esquizofrènia. A més, s’exploren enfocaments complementaris com l’adquisició facial 3D de baix cost, l’extensió del landmarking automàtic a altres estructures craniofacials i el desenvolupament d’eines integrades que automatitzin i optimitzin tot el procés d’anàlisi morfològica.

Els resultats obtinguts avalen el potencial de la caracterització facial automàtica en 3D, tant pel que fa a la precisió tècnica com al rendiment diagnòstic, i mostren un comportament favorable en comparacions indirectes amb mètodes de l’estat de l’art. Tot això es discuteix tenint en compte les limitacions en la generalització dels resultats i les implicacions bioètiques associades a l’ús d’aquestes tecnologies.

Las dismorfologías faciales han emergido como indicadores potenciales clave en el diagnóstico y pronóstico de trastornos genéticos, psicóticos y enfermedades raras. Si bien en algunos casos estas dismorfologías son evidentes, en otros pueden ser sutiles e imperceptibles incluso para el ojo humano experto. El estudio y anotación de la morfología facial se ha realizado tradicionalmente de forma manual, lo que requiere formación especializada, un coste temporal elevado y es susceptible a variabilidad inter- e intraobservador. En este contexto, se abre una oportunidad prometedora para el desarrollo de herramientas objetivas, automáticas y basadas en imágenes, que faciliten un diagnóstico temprano y preciso, acercando estas tecnologías a la práctica clínica.

El objetivo principal de esta tesis es desarrollar e integrar técnicas de visión por computador, inteligencia artificial, morfometría geométrica e imagen 3D para la caracterización automática extremo a extremo de dismorfologías faciales. Esta caracterización busca descubrir biomarcadores faciales potenciales, interpretables y útiles para entrenar modelos automáticos de diagnóstico a partir de información tridimensional. Para ello, se propone una metodología completamente automática que abarca desde la adquisición y procesamiento de la morfología facial para generar mallas 3D uniformes a partir de dos técnicas de imagen -resonancia magnética y escaneo fotogramétrico-, hasta la codificación de la forma facial mediante el registro automático de landmarks anatómicos, el cálculo de biomarcadores basados en morfometría geométrica, y el entrenamiento de modelos de clasificación basados en aprendizaje automático a partir de dichos biomarcadores.

La metodología se evalúa utilizando tanto bases de datos públicas como propietarias en tres condiciones clínicas con dismorfologías de distinta severidad: síndrome de Down, síndrome de Turner y esquizofrenia. Además, se exploran técnicas complementarias como la adquisición 3D de bajo coste, la extensión del landmarking automático a otras estructuras craneofaciales, y el desarrollo de herramientas integradas que automatizan y optimizan el proceso completo de análisis morfológico.

Los resultados obtenidos validan el potencial de la caracterización 3D automática de la morfología facial, tanto en precisión técnica como en rendimiento diagnóstico, y se compara favorablemente con métodos del estado del arte. Todo ello se discute reconociendo las limitaciones en la generalización de los resultados y considerando las implicaciones bioéticas del uso de estas tecnologías.

Facial dysmorphologies have emerged as key potential indicators in the diagnosis and prognosis of genetic, psychotic, and rare disorders. While in some cases these facial traits are evident, in others they may be subtle and imperceptible even to the expert human eye. Traditionally, the study and annotation of facial morphology have been conducted manually, requiring specialised training, being time-consuming, and prone to both inter- and intra-observer variability. In this context, there is a promising avenue for developing objective, automatic, image-based tools that support an early and accurate diagnosis, bringing these technologies closer to clinical practice.

The main objective of this thesis is to develop and integrate techniques from computer vision, artificial intelligence, geometric morphometrics, and 3D imaging for the end-to-end automatic characterisation of facial dysmorphologies. This characterisation aims to identify potential facial biomarkers that are interpretable and clinically relevant, enabling the training of automatic diagnostic models based on three-dimensional information. To achieve this, a fully automated methodology is proposed, covering the acquisition and processing of facial morphology to generate uniform 3D meshes from two imaging techniques -magnetic resonance and photogrammetric scanning-, the encoding of facial shape through the automatic registration of anatomical landmarks, the computation of biomarkers using geometric morphometric techniques, and the training of machine learning-based classification models from these biomarkers.

The methodology is validated using both public and proprietary datasets covering three clinical conditions with varying degrees of facial dysmorphology severity: Down syndrome, Turner syndrome and schizophrenia. Additionally, complementary approaches are explored, including low-cost 3D facial acquisition, the extension of automatic landmarking to other craniofacial structures, and the development of integrated tools that automate and streamline the entire morphological analysis pipeline.

The results support the potential of automatic 3D facial morphology characterisation, both in terms of technical accuracy and diagnostic performance, and show favourable comparisons with indirect benchmarks from state-of-the-art methods. All findings are discussed in light of the generalisation limitations and the bioethical implications of deploying such technologies