TY - THES A1 - Riechelmann [verh. Steinbacher], Eva Katharina T1 - Gaze interaction: Cognitive mechanisms of oculomotor action control T1 - Blickinteraktion: Kognitive Mechanismen der okulomotorischen Handlungskontrolle N2 - Humans use their eyes not only as visual input devices to perceive the environment, but also as an action tool in order to generate intended effects in their environment. For instance, glances are used to direct someone else's attention to a place of interest, indicating that gaze control is an important part of social communication. Previous research on gaze control in a social context mainly focused on the gaze recipient by asking how humans respond to perceived gaze (gaze cueing). So far, this perspective has hardly considered the actor’s point of view by neglecting to investigate what mental processes are involved when actors decide to perform an eye movement to trigger a gaze response in another person. Furthermore, eye movements are also used to affect the non-social environment, for instance when unlocking the smartphone with the help of the eyes. This and other observations demonstrate the necessity to consider gaze control in contexts other than social communication whilst at the same time focusing on commonalities and differences inherent to the nature of a social (vs. non-social) action context. Thus, the present work explores the cognitive mechanisms that control such goal-oriented eye movements in both social and non-social contexts. The experiments presented throughout this work are built on pre-established paradigms from both the oculomotor research domain and from basic cognitive psychology. These paradigms are based on the principle of ideomotor action control, which provides an explanatory framework for understanding how goal-oriented, intentional actions come into being. The ideomotor idea suggests that humans acquire associations between their actions and the resulting effects, which can be accessed in a bi-directional manner: Actions can trigger anticipations of their effects, but the anticipated resulting effects can also trigger the associated actions. According to ideomotor theory, action generation involves the mental anticipation of the intended effect (i.e., the action goal) to activate the associated motor pattern. The present experiments involve situations where participants control the gaze of a virtual face via their eye movements. The triggered gaze responses of the virtual face are consistent to the participant’s eye movements, representing visual action effects. Experimental situations are varied with respect to determinants of action-effect learning (e.g., contingency, contiguity, action mode during acquisition) in order to unravel the underlying dynamics of oculomotor control in these situations. In addition to faces, conditions involving changes in non-social objects were included to address the question of whether mechanisms underlying gaze control differ for social versus non-social context situations. The results of the present work can be summarized into three major findings. 1. My data suggest that humans indeed acquire bi-directional associations between their eye movements and the subsequently perceived gaze response of another person, which in turn affect oculomotor action control via the anticipation of the intended effects. The observed results show for the first time that eye movements in a gaze-interaction scenario are represented in terms of their gaze response in others. This observation is in line with the ideomotor theory of action control. 2. The present series of experiments confirms and extends pioneering results of Huestegge and Kreutzfeldt (2012) with respect to the significant influence of action effects in gaze control. I have shown that the results of Huestegge and Kreutzfeldt (2012) can be replicated across different contexts with different stimulus material given that the perceived action effects were sufficiently salient. 3. Furthermore, I could show that mechanisms of gaze control in a social gaze-interaction context do not appear to be qualitatively different from those in a non-social context. All in all, the results support recent theoretical claims emphasizing the role of anticipation-based action control in social interaction. Moreover, my results suggest that anticipation-based gaze control in a social context is based on the same general psychological mechanisms as ideomotor gaze control, and thus should be considered as an integral part rather than as a special form of ideomotor gaze control. N2 - Der Mensch nutzt die Augen nicht nur zur Wahrnehmung seiner Umwelt, sondern auch als Handlungsinstrument, um intendierte Effekte in seiner Umwelt zu erzeugen. So werden Blicke beispielsweise dazu verwendet, die Aufmerksamkeit eines anderen auf einen bestimmten Ort zu lenken. Dies weist darauf hin, dass Blickkontrolle einen wichtigen Bestandteil in der sozialen Kommunikation darstellt. Die Forschung zu Blickkontrolle im sozialen Kontext hat sich bisher hauptsächlich auf den Blick-Empfänger konzentriert, um die Frage zu beantworten, wie Menschen auf wahrgenommene Blicke reagieren (Gaze Cueing). Dieser Ansatz hat dementsprechend bisher kaum den Standpunkt des Blick-Senders berücksichtigt. So wurde beispielsweise noch nicht untersucht, welche mentalen Prozesse der Ausübung einer Augenbewegung zugrunde liegen, die zum Ziel hat, bei einer anderen Person eine bestimmte Blickreaktion auszulösen. Darüber hinaus werden zielgerichtete Augenbewegungen auch im nicht-sozialen Kontext eingesetzt, beispielsweise beim Entsperren des Smartphones mithilfe der Augen. Diese und andere Beobachtungen zeigen allerdings klar die Notwendigkeit, Blickkontrolle sowohl in der sozialen Kommunikation als auch in anderen, nicht-sozialen Kontexten zu berücksichtigen und dabei gleichzeitig auf Gemeinsamkeiten und Unterschiede zu achten, die der Natur eines sozialen (vs. nicht-sozialen) Handlungskontextes innewohnen. Die vorliegende Arbeit untersucht daher die kognitiven Mechanismen, die solchen zielgerichteten Blickbewegungen in sozialen wie in nicht-sozialen Kontexten zugrunde liegen. Die in der vorliegenden Arbeit vorgestellten Experimente bauen auf bereits etablierten Paradigmen aus der Forschung zu Okulomotorik und zu basalen kognitiven Prozessen auf. Diese Paradigmen basieren auf dem Prinzip der ideomotorischen Handlungskontrolle, das eine Erklärung für die Entstehung zielgerichteter und beabsichtigter Handlungen liefert. Der ideomotorische Gedanke legt nahe, dass Menschen Assoziationen zwischen ihren Handlungen und den daraus resultierenden Effekten erwerben, die in zwei Richtungen wirken können: Eine Handlung kann die Antizipation ihrer Effekte auslösen, aber die aktive Antizipation eines Handlungseffektes kann auch die damit verbundene Handlung auslösen. Nach der ideomotorischen Theorie beinhaltet Handlungsgenerierung die mentale Antizipation des beabsichtigten Handlungseffektes, um das zugehörige motorische Muster zu aktivieren. Die vorliegenden Experimente beinhalten Situationen, in denen die Probanden den Blick eines virtuellen Gesichts mithilfe ihre eigenen Augenbewegungen steuern. Die im virtuellen Gesicht ausgelösten Blickreaktionen repräsentieren die visuellen Handlungseffekte. Die Situationen werden in Bezug auf die Determinanten von Handlungs-Effekt-Lernen (Kontingenz, Kontiguität, Handlungsmodus während des Lernens) variiert, um die zugrundeliegende Dynamik der okulomotorischen Handlungskontrolle in diesen Situationen zu verstehen. Zusätzlich zu den Gesichtern wurden Handlungseffekte in nicht-sozialen Objekten untersucht, um die Frage zu klären, ob sich die der Blickkontrolle zugrundeliegenden Mechanismen für soziale und nicht-soziale Kontextsituationen unterscheiden. Die Ergebnisse der vorliegenden Arbeit lassen sich in drei Hauptergebnisse zusammenfassen. 1. Meine Resultate legen nahe, dass Menschen bi-direktionale Assoziationen zwischen ihren Augenbewegungen und der darauf folgenden Blickreaktion einer anderen Person erwerben, was über die Antizipation der beabsichtigten Effekte die okulomotorische Handlungssteuerung beeinflusst. Die beobachteten Ergebnisse zeigen zum ersten Mal, dass Augenbewegungen in einem Blickinteraktionsszenario in Form einer bei der anderen Person ausgelösten Blickreaktion repräsentiert werden. Diese Beobachtung steht im Einklang mit dem ideomotorischen Prinzip der Handlungskontrolle. 2. Die vorliegende Versuchsreihe belegt und erweitert die wegweisenden Ergebnisse von Huestegge und Kreutzfeldt (2012) in Bezug auf den bedeutenden Einfluss von Handlungseffekten in der okulomotorischen Handlungskontrolle. Ich konnte zeigen, dass sich die Ergebnisse von Huestegge und Kreutzfeldt (2012) über verschiedene Kontexte mit unterschiedlichem Stimulus-Material replizieren lassen unter der Bedingung, dass die wahrgenommenen Handlungseffekte ausreichend stark ausgeprägt waren. 3. Zudem konnte ich zeigen, dass sich Mechanismen der Blickkontrolle in einem sozialen Blickinteraktionskontext vermutlich nicht qualitativ von denen in einem nicht-sozialen Kontext unterscheiden. Zusammenfassend unterstützen die Ergebnisse die jüngsten theoretischen Überlegungen, die die Rolle von antizipativen Prozessen in der Handlungssteuerung in sozialen Interaktionskontexten betonen. Darüber hinaus legen meine Ergebnisse nahe, dass antizipationsbasierte Blickkontrolle im sozialen Kontext auf den gleichen allgemeinen psychologischen Mechanismen wie ideomotorische Blickkontrolle basiert und somit als integraler Bestandteil, und nicht als eine spezielle Form der ideomotorischen Blickkontrolle, betrachtet werden sollte. KW - Verhaltenskontrolle KW - Blickbewegung KW - Kognition KW - Ideomotorische Blickkontrolle KW - Soziomotorische Blickkontrolle KW - Blickinteraktion KW - Soziale Handlungseffekte KW - Effektantizipation KW - Ideomotor gaze control KW - Sociomotor gaze control KW - Gaze interaction KW - Social action effects KW - Effect anticipation KW - Ideomotorik Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-215279 ER - TY - THES A1 - Pieczykolan, Aleksandra T1 - Cross-Modal Action Control T1 - Crossmodale Handlungskontrolle N2 - Multitasking als allgegenwärtiges Phänomen wird heutzutage in verschiedenen wissenschaftlichen Disziplinen diskutiert. In der vorliegenden Arbeit wird Multitasking aus der Perspektive der kognitiven Verhaltenswissenschaften beleuchtet mit dem Fokus auf der Rolle von Konfliktlösungs- prozessen bei der Verarbeitung von Mehrfachtätigkeiten. Insbesondere liegt der Fokus auf kognitiven Mechanismen der crossmodalen Handlungskontrolle, d.h. der Kontrolle von zwei Handlungen in verschiedenen Effektorsystemen. Mit dem Ziel, den bisherigen Umfang derjenigen Handlungsmodalitäten zu erweitern, die üblicherweise in Studien eingesetzt wurden, wurden okulomotorische Reaktionen (d.h. Sakkaden), die bisher als Handlungsmodalität in der Forschung vernachlässigt wurden, in Kombination mit Reaktionen in anderen Efffektorsystemen untersucht (d.h. mit manuellen und vokalen Reaktionen). Weiterhin wurde beabsichtigt, Mechanismen von Crosstalk zu spezifizieren, welches ein Erklärungskonzept darstellt, das sich auf den Aufgabeninhalt bezieht. Crosstalk erscheint besonders relevant für crossmodale Handlungen, da sich Handlungsmodalitäten vor allem bezüglich ihrer Reaktionsmerkmale unterscheiden. In der vorliegenden Arbeit werden vier Studien berichtet, die auf jeweils zwei oder drei Experimenten beruhen. In Studie A wurden crossmodale Doppelreaktionen auf einen einzelnen Stimulus untersucht mit der Fragestellung, wie sich das Zusammenspiel des Vorhandenseins von Reaktionsalternativen und der Kompatibilität zwischen Reaktionen (also dem Crosstalkpotential) auswirkt. In drei Experimenten zeigte sich, dass Crosstalk in mehrere Komponenten dissoziiert werden kann, nämlich eine Komponente, die auf der aktuellen Konfliktstärke (Online-Crosstalk) basiert, und eine gedächtnisbasierte Komponente, die entweder durch Restaktivität vergangener Handlungsanforderungen bestimmt wird (retrospektiver Crosstalk), oder durch Vorbereitung auf zukünftige Handlungsanforderungen (prospektiver Crosstalk). Studie B lieferte Evidenz dafür, dass okulomotorische Reaktionen sowohl struktureller als auch inhaltsbasierte Interferenz unterliegen. In drei Experimenten wurde das Paradigma zeitlich überlappender Aufgaben verwendet, bei dem zwei Stimuli mit zeitlichem Versatz präsentiert wurden, auf die jeweils mit einer okulomotorischen und einer manuellen Handlung reagiert werden musste. Dabei wurden sowohl Hinweise auf einen seriellen als auch auf einen parallelen Verarbeitungsmodus gefunden. Weiterhin deuteten die Ergebnisse darauf hin, dass abhängig von der Aufgabenkompatibilität zwischen diesen Verarbeitungsmodi gewechselt wurde, d.h. zu eher paralleler Verarbeitung bei kompatiblen Aufgabenanforderungen und zu eher serieller Verarbeitung bei inkompatiblen Aufgabenanforderungen. In Studie C wurden Verarbeitungsprioritäten zwischen Effektorsystemen untersucht. In zwei Experimenten zeigte sich, dass das zuvor berichtete Verarbeitungsdominanzmuster repliziert werden konnte, bei der okulomotorische Reaktionen vokale Reaktionen dominieren und diese wiederum manuelle Reaktionen dominieren. Die relative Stärke der Dominanz konnte allerdings bei vorhandenem Reaktionskonflikt angepasst werden. Die Verarbeitungsprioritäten wurden hierbei zum Teil in Richtung derjenigen Reaktion verschoben, in der bereits ein Konflikt im Bezug auf die Kompatibilität zwischen Stimulus und Reaktion gelöst werden musste. Dieses Ergebnis zeigt, dass Verarbeitungsprioritäten flexibel an die spezifischen Handlungsanforderungen angepasst werden können. Studie D beschäftigte sich mit einem bisher weitgehend vernachlässigten Bereich innerhalb der Doppelaufgabenforschung, nämlich der Kontrolle der zeitlichen Reaktionsreihenfolge. In einer drei Experimente umfassenden Untersuchung wurden mehrere Faktoren variiert, die sich in früheren Studien bereits als relevant für Mechanismen der Doppelaufgabeninterferenz gezeigt haben. In der vorliegenden Studie wurde gezeigt, dass die finale Reaktionsreihenfolge in einem Handlungsdurchgang das Ergebnis eines kontinuierlichen Anpassungsprozesses ist, welcher auf dem Zusammenspiel mehrerer top-down-Faktoren, z.B. der Antizipation von Reaktionsmerkmalen, und mehrerer bottom-up-Faktoren, wie z.B. der Stimulusreihenfolge oder der Aufgabenkompatibilität, basiert. Die vorliegende Arbeit liefert somit einen wichtigen Beitrag zum Fortschritt des Verständnisses der Verarbeitung komplexer Handlungsanforderungen aus der Perspektive crossmodaler Handlungen. Insbesondere wurden Spezifikationen für Mechanismen der Effektorpriorisierung und der Kontrolle der Reaktionsreihenfolge als auch eine neuartige Taxonomie von Crosstalk vorgestellt, welche als umfassende Rahmenvorstellung zur Erklärung von Interferenzmechanismen bei Kontrollprozessen von Mehrfachanforderungen dienlich sein kann. N2 - Nowadays, multitasking is ubiquitously discussed within many different scientific disciplines. The present work addressed multitasking from the perspective of cognitive behavioural sciences by investigating the role of conflict resolution processes that arise during the requirements of multiple-action control. More specifically, the present work focuses on cognitive mechanisms in the case of cross-modal action control, which involves the performance of two actions in different effector systems. One aim was to broaden the scope of action modalities typically considered in the literature by studying oculomotor responses (i.e. saccades) – an action modality that has been largely neglected in previous research – in combination with responses in other effector systems (i.e. manual and vocal responses). A further aim was to specify the mechanisms of crosstalk as an explanatory concept referring to the action content, which is particularly relevant since cross-modal actions usually differ regarding their response characteristics. The present work comprises four studies (each involving two or three experiments). In Study A, cross-modal response compounds based on a single stimulus were studied with respect to the interplay of the presence of response alternatives and between-response compatibility (i.e. crosstalk potential). In three experiments, this study showed that crosstalk can be dissociated into a component that determines the amount of current conflict (i.e. online crosstalk) and a memory-based component that originates either from residual activation of previous action demands (retrospective crosstalk) or from preparation for future demands (prospective crosstalk). Study B provided first evidence that oculomotor responses are subject to interference based on both structural and content-based origins. In three experiments, an overlapping tasks paradigm was employed in which the onsets between two stimuli that triggered oculomotor and manual responses were varied. Evidence for both serial and parallel processing of the two tasks was found. The results further indicated that based on the between-task compatibility participants shifted between these processing modes, i.e. to more parallel processing during compatible task demands and to more serial processing during incompatible task demands. Study C examined processing priorities among effector systems and demonstrated in two experiments that the previously reported prioritisation scheme, in which the oculomotor system is prioritised over the vocal and manual effector system, can be replicated, but is also adjusted in its strength by the presence of response conflict. Specifically, processing priorities were shifted towards the response that already is involved in conflict resolution (in terms of stimulus-response compatibility), suggesting that processing priorities can be flexibly adapted to particular task demands. Study D addressed response order control in dual tasks, an issue that has been widely neglected in previous research. In a comprehensive study of three experiments including several factors that are known to be relevant for dual-task interference mechanisms, it was shown that the final response order in a given trial is the result of a continuous adjustment process based on the interplay of several top-down factors, such as the anticipation of response characteristics, and bottom-up factors, such as stimulus order and between-task compatibility. In summary, the present work advances the theoretical understanding of complex action control by providing a cross-modal action perspective, by proposing mechanisms for effector-system prioritisation and response order control, and by proposing a novel taxonomy of crosstalk as an overarching framework for interference mechanisms in multiple-response control. KW - Kognition KW - Mehrfachtätigkeit KW - Dual task KW - cross-modal action KW - Task interference KW - Saccades KW - Vocal responses KW - Manual responses KW - Multitasking KW - Doppelaufgabe KW - Blickbewegung KW - Reaktionszeit Y1 - 2016 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-142356 ER -