Development of dimensionality reduction techniques for deep learning-based pattern recognition systems.

Abstract

BigData. Representar aquestes dades d'una manera intuïtiva i dinàmica és una tasca complexa, especialment a causa de l'alta dimensionalitat, que fa referència al nombre de variables que caracteritzen un objecte. La reducció de dimensió facilita l'accés ràpid a grans conjunts de dades, cosa que permet que les màquines contribueixin al descobriment i anàlisi de patrons. Ajuda a revelar propietats rellevants de les dades en integrar-les en un espai de menor dimensió, cosa que fa que la visualització sigui més efectiva. Els mètodes de reducció de dimensió espectral que utilitzen matrius kernel han mostrat resultats òptims. Les versions en línia daquests mètodes són valuoses per projectar de forma incremental noves dades sense haver de tornar a calcular tota la incrustació. A més, la integració de múltiples mètodes espectrals pot millorar-ne el rendiment. Aquesta tesi presenta NetDR, un mètode de reducció de dimensió en línia basat en xarxes neuronals profundes. NetDR integra incrustacions optimitzades per aproximacions de veïnatge i induïdes per diversos mètodes espectrals utilitzant aprenentatge d'encaix. Es proposen dues versions de NetDR: NetDRt, dissenyada per processar tensors d'imatges, i NetDRm, pensada per a dades matricials o tabulars generals. NetDRt aplica primer una etapa autosupervisada per entrenar codificadors profunds basats en incrustacions de diferents mètodes espectrals.

Los avances en electrónica y ciencias de la computación han llevado a una explosión de datos, dando lugar al término BigData. Representar estos datos de una manera intuitiva y dinámica es una tarea compleja, especialmente debido a la alta dimensionalidad, que se refiere al número de variables que caracterizan a un objeto. La reducción de dimensión facilita el acceso rápido a grandes conjuntos de datos, lo que permite que las máquinas contribuyan al descubrimiento y análisis de patrones. Ayuda a revelar propiedades relevantes de los datos al integrarlos en un espacio de menor dimensión, lo que hace que la visualización sea más efectiva. Los métodos de reducción de dimensión espectral que utilizan matrices kernel han mostrado resultados óptimos. Las versiones en línea de estos métodos son valiosas para proyectar de forma incremental nuevos datos sin tener que volver a calcular toda la incrustación. Además, la integración de múltiples métodos espectrales puede mejorar el rendimiento. Esta tesis presenta a NetDR, un método de reducción de dimensión en línea basado en redes neuronales profundas. NetDR integra incrustaciones optimizadas por aproximaciones de vecindad e inducidas por varios métodos espectrales utilizando aprendizaje de ensamble. Se proponen dos versiones de NetDR: NetDRt, diseñada para procesar tensores de imágenes, y NetDRm, pensada para datos matriciales o tabulares generales. NetDRt aplica primero una etapa autosupervisada para entrenar codificadores profundos basados en incrustaciones de diferentes métodos espectrales.

Advances in electronics and computer sciences have led to an explosion of data, giving rise to the term BigData. Representing this data in an intuitive and dynamic way is a complex task, especially due to high dimensionality, which refers to the number of variables characterizing an object.Dimensionality reduction facilitates fast access to large datasets, allowing machines to assist in pattern discovery and analysis. It helps reveal key properties of data by embedding them into a lower-dimensional space, making visualization more effective.Spectral dimensionality reduction methods using kernel matrices have shown optimal results. Online versions of these methods are valuable for incrementally projecting new data without recomputing the entire embedding. Additionally, integrating multiple spectral methods can enhance performance.This thesis introduces NetDR, an online dimensionality reduction method based on deep neural networks. NetDR integrates embeddings optimized by neighborhood approximations and induced by various spectral methods using stacking ensemble learning.Two versions of NetDR are proposed: NetDRt, designed for processing image tensors, and NetDRm, intended for general tabular or matrix data.NetDRt first applies a selfsupervised stage to train deep encoders based on embeddings from different spectral methods. These encoders are optimized and combined using a fully connected network. NetDRm, on the other hand, processes structured and unstructured data using deep residual encoders trained on multiple dimension reduction methods.