The effect of cognitive factors on cross-modal synchrony perception

Author

Ikumi Montserrat, Nara

Director

Soto-Faraco, Salvador

Date of defense

2016-11-14

Pages

184 p.



Department/Institute

Universitat Pompeu Fabra. Departament de Ciències Experimentals i de la Salut

Doctorate programs

Programa de doctorat en Biomedicina

Abstract

Perception in our everyday life takes place in multisensory environments, and hence involves the processing of a multitude of signals captured by various sensory modalities. Given the different nature of the signals, understanding how all the information is combined in the brain to form an integrated percept is not straightforward. One of the paramount questions is how the considerable timing differences between sensory information processing are managed. For example, in the last years there has been a tremendous surge in interest to understand how the perceptual system elicits the subjective impression of synchrony for stimuli coming from different sensory modalities. Yet, most evidence so far concerns stimulus-related properties in simple contexts. The present dissertation addresses the influence of cognitive factors and participants’ inner state (such as attention, action task demands, and ongoing brain rhythms) on synchrony perception between audio-visual events. In the first two studies of the dissertation, we have addressed the role of selective attention and action during cross-modal temporal recalibration. The results of these studies provide evidence that subjective simultaneity can be strongly modulated as a function of the focus of the observer’s endogenous attention, in otherwise identical stimulation conditions. In the third study, we have recorded electroencephalographic activity while participants performed an audio-visual simultaneity judgment task for stimuli presented at different asynchronies. Our results show that the phase of low frequency neural oscillations, reflecting brain states prior to the occurrence of an audio-visual event, can predict perceptual variability in synchrony judgments. Overall, our results shed new light on how cognitive factors can modulate multisensory perception.


La percepció del nostre entorn és multisensorial, és a dir, involucra el processament de senyals a través de diverses modalitats sensorials. Combinar aquesta informació en el cervell per tal de formar una percepció coherent i integrada és un procés complex, degut a la diferent naturalesa de les senyals. A més, això farà que el cervell hagi de resoldre diferències temporals durant el processament de la informació. En els últims anys, ha sorgit un profund interès per entendre com el sistema perceptiu genera la impressió de sincronia d’estímuls provinents de diferents modalitats sensorials. La major part dels estudis han examinat propietats de la percepció de sincronia relacionades directament amb els estímuls físics, en contexts molt simplificats. En aquesta tesi investigo la influència de factors cognitius i de l’estat intern de l’individu (com per exemple l’atenció, demandes en tasques motores, i els ritmes interns cerebrals) en la percepció de sincronia entre estímuls audiovisuals. En els primers dos estudis de la tesi, hem examinat la funció de l’atenció i les accions durant la recalibració temporal d’estímuls audiovisuals. Els resultats dels estudis mostren com la sincronia subjectiva pot ser fortament modulada en funció d’on es dirigeixi el focus atencional del participant, en condicions on l’estimulació física és idèntica. En el tercer estudi, hem enregistrat l’activitat electroencefalogràfica dels participants, mentres realitzaven una tasca de simultaneïtat. Durant aquesta tasca presentàvem diferentes asincronies entre estímuls audiovisuals per tal d’estudiar la percepció de sincronia (vs. asincronia). Els resultats indiquen que la fase de les oscil•lacions neuronals, que reflecteixen estats cerebrals abans de la presència d’un estímul audiovisual, poden predir la resposta en quan a percepció de sincronia. En resum, els nostres resultats aporten coneixement sobre com alguns factors cognitius poden modular la percepció multisensorial.

Keywords

Synchrony perception; Multisensory; Temporal recalibration; Simultaneity judgement; Attention; Percepció de sincronia; Multisensorial; Recalibració temporal; Judici de simultaneïtat; Atenció

Subjects

616.8 - Neurology. Neuropathology. Nervous system

Documents

tni.pdf

2.087Mb

 

Rights

ADVERTIMENT. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.

This item appears in the following Collection(s)