The Role of cross-modal semantic interactions in real-world visuo-spatial attention

dc.contributor
Universitat Pompeu Fabra. Departament de Ciències Experimentals i de la Salut
dc.contributor.author
Kvasova, Daria
dc.date.accessioned
2020-02-17T17:00:26Z
dc.date.available
2020-02-17T17:00:26Z
dc.date.issued
2020-02-13
dc.identifier.uri
http://hdl.handle.net/10803/668665
dc.description.abstract
In our everyday life we must effectively orient attention to relevant objects and events in multisensory environments. The impact of cross-modal links for attention orienting to spatial and temporal cues has been widely described. However, real-life scenarios provide a rich web of semantic information through the different sensory modalities. Despite some previous studies have revealed an impact of crossmodal sematic correspondences, the results are mixed with regard to the conditions in which audiovisual semantic congruence can influence attention orienting. Furthermore, the vast majority of the research on crossmodal semantics used simple, stereotyped displays that are far from achieving ecological validity. The present thesis attempts to close this gap by addressing the role of identity-based crossmodal relationships on attention orienting in scenarios closer to real-world conditions. To this end, the experiments presented here attempt to extrapolate and generalize previous findings in more realistic environments by using naturalistic and dynamic stimuli, and address the theoretical questions of task relevance and perceptual load. The outcome of the three empirical studies in this thesis lead to several conclusions. First, that the effect of audio-visual semantic congruence on attention is not strictly automatic. Instead, they suggest that some top-down processing is necessary for audio-visual semantic congruence to trigger spatial orienting. The second conclusion to emerge is that crossmodal semantic congruence can guide attention under goal-directed conditions in visual search, and also under free observation in complex and dynamic scenes. Third, that perceptual load is a limiting factor for these interactions. These findings extend previous knowledge on object-based crossmodal interactions with simple stimuli and clarify how audio-visual semantically congruent relationships play out in realistic scenarios.
en_US
dc.description.abstract
En nuestra vida cotidiana debemos orientar efectivamente la atención a objetos y eventos relevantes en entornos multisensoriales. El impacto que tienen los enlaces intermodales en la orientación de la atención a señales espaciales y temporales ha sido ampliamente descrito. Sin embargo, los escenarios de la vida real proporcionan una rica red de información semántica a través de las diferentes modalidades sensoriales. A pesar de que algunos estudios previos han revelado un impacto de las correspondencias semánticas entre modalidades, los resultados se mezclan con respecto a las condiciones en que la congruencia semántica audiovisual puede influir en la orientación de la atención. Además, la gran mayoría de la investigación sobre semántica intermodal utilizó representaciones simples y estereotipadas que están lejos de alcanzar la validez ecológica. La presente tesis intenta llenar esta brecha al abordar el papel que las relaciones intermodales basadas en la identidad tienen en la orientación de la atención en escenarios más cercanos a las condiciones del mundo real. Con este fin, los experimentos presentados aquí intentan extrapolar y generalizar hallazgos previos en entornos más realistas mediante el uso de estímulos naturales y dinámicos, y abordar cuestiones teóricas como la relevancia de la tarea y la carga perceptiva. El resultado de los tres estudios empíricos de esta tesis condujo a varias conclusiones. Primero, que el efecto de la congruencia semántica audiovisual en la atención no es estrictamente automático. En cambio, sugieren que es necesario un procesamiento de arriba hacia abajo para que la congruencia semántica audiovisual desencadene en la orientación espacial. La segunda conclusión que surge es que la congruencia semántica intermodal puede guiar la atención en condiciones de búsqueda visual dirigida a un objetivo, y también bajo observación libre en escenas complejas y dinámicas. Tercero, la carga perceptiva es un factor limitante para estas interacciones. Estos hallazgos amplían el conocimiento previo sobre las interacciones intermodales basadas en objetos usando estímulos simples y aclaran cómo las relaciones audiovisuales semánticamente congruentes se desarrollan en escenarios realista
en_US
dc.format.extent
135 p.
en_US
dc.format.mimetype
application/pdf
dc.language.iso
eng
en_US
dc.publisher
Universitat Pompeu Fabra
dc.rights.license
ADVERTIMENT. Tots els drets reservats. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.
dc.source
TDX (Tesis Doctorals en Xarxa)
dc.subject
Attention
en_US
dc.subject
Semantics
en_US
dc.subject
Multisensory
en_US
dc.subject
Crossmodal interactions
en_US
dc.subject
Visual search
en_US
dc.subject
Eyetracking
en_US
dc.subject
Audiovisual processing
en_US
dc.subject
Natural scenes
en_US
dc.subject
Real life
en_US
dc.subject
Spatial orienting
en_US
dc.title
The Role of cross-modal semantic interactions in real-world visuo-spatial attention
en_US
dc.type
info:eu-repo/semantics/doctoralThesis
dc.type
info:eu-repo/semantics/publishedVersion
dc.subject.udc
159.9
en_US
dc.contributor.authoremail
daria.kvasova@gmail.com
en_US
dc.contributor.director
Soto-Faraco, Salvador
dc.embargo.terms
cap
en_US
dc.rights.accessLevel
info:eu-repo/semantics/openAccess
dc.description.degree
Programa de doctorat en Biomedicina


Documents

tdk.pdf

7.742Mb PDF

Aquest element apareix en la col·lecció o col·leccions següent(s)