Deep Learning Based Data Fusion Approaches for the Assessment of Cognitive States on EEG Signals

Abstract

Durant mil·lennis, l'estudi de la parella cervell-ment ha fascinat la humanitat per entendre la naturalesa complexa dels estats cognitius. Un estat cognitiu és l'estat de la ment en un moment concret i implica activitats cognitives per adquirir i processar informació per prendre una decisió, resoldre un problema o assolir un objectiu.

Mentre que els estats cognitius normals ajuden a la realització exitosa de les tasques; per contra, els estats anormals de la ment poden conduir a fracassos de tasques a causa d'una capacitat cognitiva reduida. En aquesta tesi ens centrem en l'avaluació dels estats cognitius mitjançant l'anàlisi de senyals d'Electroencefalogrames (EEG) mitjançant mètodes d'aprenentatge profund. L'EEG registra l'activitat elèctrica del cervell mitjançant un conjunt d'elèctrodes col·locats al cuir cabellut que produeixen un conjunt de senyals espai-temporals que s'espera que estiguin correlacionats amb un procés mental específic.

Des del punt de vista de la intel·ligència artificial, qualsevol mètode per a l'avaluació d'estats cognitius utilitzant senyals EEG com a entrada hauria d'afrontar diversos desafiaments. D'una banda, cal determinar quin és l'enfocament més adequat per a la combinació òptima dels múltiples senyals enregistrats pels elèctrodes EEG. D'altra banda, s'hauria de disposar d'un protocol per a la recollida de dades anotades sense ambigüitats de bona qualitat, i d'un disseny experimental per a l'avaluació de la generalització i transferència de models. Per abordar-los, primer, proposem diverses arquitectures neuronals convolucionals per dur a terme la fusió de dades dels senyals enregistrats pels elèctrodes EEG, a nivells de senyal i característiques en brut. Es proposen i avaluen quatre mètodes de fusió de canals, fàcils d'incorporar a qualsevol arquitectura de xarxa neuronal. En segon lloc, presentem un mètode per crear un conjunt de dades inequívoc per a la predicció de la càrrega de treball mental cognitiva mitjançant jocs seriosos i un simulador de vol Airbus-320. En tercer lloc, presentem un protocol de validació que té en compte els nivells de generalització dels models basats en l'origen i la quantitat de dades de prova.

Finalment, els enfocaments per a l'avaluació dels estats cognitius s'apliquen a dos casos d'ús d'alt impacte social: l'avaluació de la càrrega de treball mental per a sistemes de suport personalitzats a la cabina i la detecció de convulsions epilèptiques. Els resultats obtinguts del primer cas d'ús mostren la viabilitat de la transferència de tasques de models entrenats per detectar càrrega de treball en jocs seriosos a escenaris de vol reals. Els resultats del segon cas d'ús mostren la capacitat de generalització dels nostres mètodes de fusió de canals EEG a nivells de validació creuada de k-fold, específics del pacient i de població.

Por milenios, el estudio del par cerebro-mente ha fascinado a la humanidad con el fin de comprender la compleja naturaleza de los estados cognitivos. Un estado cognitivo es el estado de la mente en un momento específico e involucra todas las actividades cognitivas para adquirir y procesar información con el fin de tomar una decisión, resolver un problema o lograr un objetivo.

Mientras que los estados cognitivos normales contribuyen en la realización exitosa de las tareas; al contrario, los estados mentales anómalos pueden conducir al fracaso de las tareas debido a una reducción de la capacidad cognitiva. En esta tesis nos enfocamos en la evaluación de estados cognitivos mediante el análisis de señales de electroencefalogramas (EEG) utilizando métodos de aprendizaje automático. Un EEG registra la actividad eléctrica del cerebro mediante un conjunto de electrodos colocados sobre el cuero cabelludo y emiten un conjunto de señales espacio-temporales que se espera que estén correlacionadas con un proceso mental específico.

Desde el punto de vista de la inteligencia artificial, cualquier método para la evaluación de estados cognitivos utilizando señales de un EEG debe enfrentar varios desafíos. Por un lado, se debe determinar cuál es el enfoque más adecuado para la combinación óptima de las múltiples señales registradas por los electrodos del EEG. Por otro lado, se debe tener un protocolo para la recolección de datos anotados no ambiguos de buena calidad, y un diseño experimental para la evaluación de la generalización y transferencia de los modelos. Para abordar estos problemas, primero, proponemos varias arquitecturas neuronales convolucionales para realizar fusión de datos de las señales registradas por los electrodos del EEG, a niveles de señal sin procesar y a nivel de características. Se proponen y evalúan cuatro métodos de fusión, los cuales pueden ser incorporados fácilmente en cualquier arquitectura. Segundo, presentamos un método para crear base de datos no ambiguos con fines de predicción de la sobrecarga de trabajo mental utilizando juegos serios y un simulador de vuelo Airbus-320. Tercero, presentamos un protocolo de validación que tome en cuenta los niveles de generalización de los modelos en función del origen y cantidad de datos utilizados en el conjunto de test.

Finalmente, las propuestas para la evaluación de estados cognitivos se aplican a dos casos de uso de alto impacto social: la evaluación de la sobrecarga de trabajo mental para sistemas de apoyo personalizados en cabinas de aviación y la detección de epilepsia. Los resultados obtenidos del primer caso de uso demuestran la viabilidad de la transferencia de tareas para detectar la sobrecarga mental de trabajo entre tareas realizadas en ambientes de juegos serios hacia escenarios de vuelos reales. Los resultados del segundo caso de uso muestran la capacidad de generalización de nuestros métodos de fusión de canales de EEG a nivel de validación cruzada \textit{k-fold}, paciente específico y población.

For millennia, the study of the couple brain-mind has fascinated the humanity in order to understand the complex nature of cognitive states. A cognitive state is the state of the mind at a specific time and involves cognition activities to acquire and process information for making a decision, solving a problem, or achieving a goal.

While normal cognitive states assist in the successful accomplishment of tasks; on the contrary, abnormal states of the mind can lead to task failures due to a reduced cognition capability. In this thesis, we focus on the assessment of cognitive states by means of the analysis of ElectroEncephaloGrams (EEG) signals using deep learning methods. EEG records the electrical activity of the brain using a set of electrodes placed on the scalp that output a set of spatio-temporal signals that are expected to be correlated to a specific mental process.

From the point of view of artificial intelligence, any method for the assessment of cognitive states using EEG signals as input should face several challenges. On the one hand, one should determine which is the most suitable approach for the optimal combination of the multiple signals recorded by EEG electrodes. On the other hand, one should have a protocol for the collection of good quality unambiguous annotated data, and an experimental design for the assessment of the generalization and transfer of models. In order to tackle them, first, we propose several convolutional neural architectures to perform data fusion of the signals recorded by EEG electrodes, at raw signal and feature levels. Four channel fusion methods, easy to incorporate into any neural network architecture, are proposed and assessed. Second, we present a method to create an unambiguous dataset for the prediction of cognitive mental workload using serious games and an Airbus-320 flight simulator. Third, we present a validation protocol that takes into account the levels of generalization of models based on the source and amount of test data.

Finally, the approaches for the assessment of cognitive states are applied to two use cases of high social impact: the assessment of mental workload for personalized support systems in the cockpit and the detection of epileptic seizures. The results obtained from the first use case show the feasibility of task transfer of models trained to detect workload in serious games to real flight scenarios. The results from the second use case show the generalization capability of our EEG channel fusion methods at k-fold cross-validation, patient-specific, and population levels.