@phdthesis{Menne2020,
  author    = {Menne, Isabelle M.},
  title     = {Facing Social Robots - Emotional Reactions towards Social Robots},
  edition   = {1. Auflage},
  publisher = {W{\"u}rzburg University Press},
  address   = {W{\"u}rzburg},
  isbn      = {978-3-95826-120-4},
  doi       = {10.25972/WUP-978-3-95826-121-1},
  url       = {http://nbn-resolving.de/urn:nbn:de:bvb:20-opus-187131},
  school      = {W{\"u}rzburg University Press},
  pages     = {XXIV, 201},
  year      = {2020},
  abstract  = {Ein Army Colonel empfindet Mitleid mit einem Roboter, der versuchsweise Landminen entsch{\"a}rft und deklariert den Test als inhuman (Garreau, 2007). Roboter bekommen milit{\"a}rische Bef{\"o}rderungen, Beerdigungen und Ehrenmedaillen (Garreau, 2007; Carpenter, 2013). Ein Schildkr{\"o}tenroboter wird entwickelt, um Kindern beizubringen, Roboter gut zu behandeln (Ackermann, 2018). Der humanoide Roboter Sophia wurde erst k{\"u}rzlich Saudi-Arabischer Staatsb{\"u}rger und es gibt bereits Debatten, ob Roboter Rechte bekommen sollen (Delcker, 2018). Diese und {\"a}hnliche Entwicklungen zeigen schon jetzt die Bedeutsamkeit von Robotern und die emotionale Wirkung die diese ausl{\"o}sen. Dennoch scheinen sich diese emotionalen Reaktionen auf einer anderen Ebene abzuspielen, gemessen an Kommentaren in Internetforen. Dort ist oftmals die Rede davon, wieso jemand {\"u}berhaupt emotional auf einen Roboter reagieren kann. Tats{\"a}chlich ist es, rein rational gesehen, schwierig zu erkl{\"a}ren, warum Menschen mit einer leblosen (‚mindless') Maschine mitf{\"u}hlen sollten. Und dennoch zeugen nicht nur oben genannte Berichte, sondern auch erste wissenschaftliche Studien (z.B. Rosenthal- von der P{\"u}tten et al., 2013) von dem emotionalen Einfluss den Roboter auf Menschen haben k{\"o}nnen. Trotz der Bedeutsamkeit der Erforschung emotionaler Reaktionen auf Roboter existieren bislang wenige wissenschaftliche Studien hierzu. Tats{\"a}chlich identifizierten Kappas, Krumhuber und K{\"u}ster (2013) die systematische Analyse und Evaluation sozialer Reaktionen auf Roboter als eine der gr{\"o}ßten Herausforderungen der affektiven Mensch-Roboter Interaktion. Nach Scherer (2001; 2005) bestehen Emotionen aus der Koordination und Synchronisation verschiedener Komponenten, die miteinander verkn{\"u}pft sind. Motorischer Ausdruck (Mimik), subjektives Erleben, Handlungstendenzen, physiologische und kognitive Komponenten geh{\"o}ren hierzu. Um eine Emotion vollst{\"a}ndig zu erfassen, m{\"u}ssten all diese Komponenten gemessen werden, jedoch wurde eine solch umfassende Analyse bisher noch nie durchgef{\"u}hrt (Scherer, 2005). Haupts{\"a}chlich werden Frageb{\"o}gen eingesetzt (vgl. Bethel \& Murphy, 2010), die allerdings meist nur das subjektive Erleben abfragen. Bakeman und Gottman (1997) geben sogar an, dass nur etwa 8\% der psychologischen Forschung auf Verhaltensdaten basiert, obwohl die Psychologie traditionell als das ‚Studium von Psyche und Verhalten' (American Psychological Association, 2018) definiert wird. Die Messung anderer Emotionskomponenten ist selten. Zudem sind Frageb{\"o}gen mit einer Reihe von Nachteilen behaftet (Austin, Deary, Gibson, McGregor, Dent, 1998; Fan et al., 2006; Wilcox, 2011). Bethel und Murphy (2010) als auch Arkin und Moshkina (2015) pl{\"a}dieren f{\"u}r einen Multi-Methodenansatz um ein umfassenderes Verst{\"a}ndnis von affektiven Prozessen in der Mensch-Roboter Interaktion zu erlangen. Das Hauptziel der vorliegenden Dissertation ist es daher, mithilfe eines Multi-Methodenansatzes verschiedene Komponenten von Emotionen (motorischer Ausdruck, subjektive Gef{\"u}hlskomponente, Handlungstendenzen) zu erfassen und so zu einem vollst{\"a}ndigeren und tiefgreifenderem Bild emotionaler Prozesse auf Roboter beizutragen. Um dieses Ziel zu erreichen, wurden drei experimentelle Studien mit insgesamt 491 Teilnehmern durchgef{\"u}hrt. Mit unterschiedlichen Ebenen der „apparent reality" (Frijda, 2007) sowie Macht / Kontrolle {\"u}ber die Situation (vgl. Scherer \& Ellgring, 2007) wurde untersucht, inwiefern sich Intensit{\"a}t und Qualit{\"a}t emotionaler Reaktionen auf Roboter {\"a}ndern und welche weiteren Faktoren (Aussehen des Roboters, emotionale Expressivit{\"a}t des Roboters, Behandlung des Roboters, Autorit{\"a}tsstatus des Roboters) Einfluss aus{\"u}ben. Experiment 1 basierte auf Videos, die verschiedene Arten von Robotern (tier{\"a}hnlich, anthropomorph, maschinenartig), die entweder emotional expressiv waren oder nicht (an / aus) in verschiedenen Situationen (freundliche Behandlung des Roboters vs. Misshandlung) zeigten. Frageb{\"o}gen {\"u}ber selbstberichtete Gef{\"u}hle und die motorisch-expressive Komponente von Emotionen: Mimik (vgl. Scherer, 2005) wurden analysiert. Das Facial Action Coding System (Ekman, Friesen, \& Hager, 2002), die umfassendste und am weitesten verbreitete Methode zur objektiven Untersuchung von Mimik, wurde hierf{\"u}r verwendet. Die Ergebnisse zeigten, dass die Probanden Gesichtsausdr{\"u}cke (Action Unit [AU] 12 und AUs, die mit positiven Emotionen assoziiert sind, sowie AU 4 und AUs, die mit negativen Emotionen assoziiert sind) sowie selbstberichtete Gef{\"u}hle in {\"U}bereinstimmung mit der Valenz der in den Videos gezeigten Behandlung zeigten. Bei emotional expressiven Robotern konnten st{\"a}rkere emotionale Reaktionen beobachtet werden als bei nicht-expressiven Robotern. Der tier{\"a}hnliche Roboter Pleo erfuhr in der Misshandlungs-Bedingung am meisten Mitleid, Empathie, negative Gef{\"u}hle und Traurigkeit, gefolgt vom anthropomorphen Roboter Reeti und am wenigsten f{\"u}r den maschinenartigen Roboter Roomba. Roomba wurde am meisten Antipathie zugeschrieben. Die Ergebnisse kn{\"u}pfen an fr{\"u}here Forschungen an (z.B. Krach et al., 2008; Menne \& Schwab, 2018; Riek et al., 2009; Rosenthal-von der P{\"u}tten et al., 2013) und zeigen das Potenzial der Mimik f{\"u}r eine nat{\"u}rliche Mensch-Roboter Interaktion. Experiment 2 und Experiment 3 {\"u}bertrugen die klassischen Experimente von Milgram (1963; 1974) zum Thema Gehorsam in den Kontext der Mensch-Roboter Interaktion. Die Gehorsamkeitsstudien von Milgram wurden als sehr geeignet erachtet, um das Ausmaß der Empathie gegen{\"u}ber einem Roboter im Verh{\"a}ltnis zum Gehorsam gegen{\"u}ber einem Roboter zu untersuchen. Experiment 2 unterschied sich von Experiment 3 in der Ebene der „apparent reality" (Frijda, 2007): in Anlehnung an Milgram (1963) wurde eine rein text-basierte Studie (Experiment 2) einer live Mensch-Roboter Interaktion (Experiment 3) gegen{\"u}bergestellt. W{\"a}hrend die abh{\"a}ngigen Variablen von Experiment 2 aus den Selbstberichten emotionaler Gef{\"u}hle sowie Einsch{\"a}tzungen des hypothetischen Verhaltens bestand, erfasste Experiment 3 subjektive Gef{\"u}hle sowie reales Verhalten (Reaktionszeit: Dauer des Z{\"o}gerns; Gehorsamkeitsrate; Anzahl der Proteste; Mimik) der Teilnehmer. Beide Experimente untersuchten den Einfluss der Faktoren „Autorit{\"a}tsstatus" (hoch / niedrig) des Roboters, der die Befehle erteilt (Nao) und die emotionale Expressivit{\"a}t (an / aus) des Roboters, der die Strafen erh{\"a}lt (Pleo). Die subjektiven Gef{\"u}hle der Teilnehmer aus Experiment 2 unterschieden sich zwischen den Gruppen nicht. Dar{\"u}ber hinaus gaben nur wenige Teilnehmer (20.2\%) an, dass sie den „Opfer"-Roboter definitiv bestrafen w{\"u}rden. Ein {\"a}hnliches Ergebnis fand auch Milgram (1963). Das reale Verhalten von Versuchsteilnehmern in Milgrams' Labor-Experiment unterschied sich jedoch von Einsch{\"a}tzungen hypothetischen Verhaltens von Teilnehmern, denen Milgram das Experiment nur beschrieben hatte. Ebenso lassen Kommentare von Teilnehmern aus Experiment 2 darauf schließen, dass das beschriebene Szenario m{\"o}glicherweise als fiktiv eingestuft wurde und Einsch{\"a}tzungen von hypothetischem Verhalten daher kein realistisches Bild realen Verhaltens gegen{\"u}ber Roboter in einer live Interaktion zeichnen k{\"o}nnen. Daher wurde ein weiteres Experiment (Experiment 3) mit einer Live Interaktion mit einem Roboter als Autorit{\"a}tsfigur (hoher Autorit{\"a}tsstatus vs. niedriger) und einem weiteren Roboter als „Opfer" (emotional expressiv vs. nicht expressiv) durchgef{\"u}hrt. Es wurden Gruppenunterschiede in Frageb{\"o}gen {\"u}ber emotionale Reaktionen gefunden. Dem emotional expressiven Roboter wurde mehr Empathie entgegengebracht und es wurde mehr Freude und weniger Antipathie berichtet als gegen{\"u}ber einem nicht-expressiven Roboter. Außerdem konnten Gesichtsausdr{\"u}cke beobachtet werden, die mit negativen Emotionen assoziiert sind w{\"a}hrend Probanden Nao's Befehl ausf{\"u}hrten und Pleo bestraften. Obwohl Probanden tendenziell l{\"a}nger z{\"o}gerten, wenn sie einen emotional expressiven Roboter bestrafen sollten und der Befehl von einem Roboter mit niedrigem Autorit{\"a}tsstatus kam, wurde dieser Unterschied nicht signifikant. Zudem waren alle bis auf einen Probanden gehorsam und bestraften Pleo, wie vom Nao Roboter befohlen. Dieses Ergebnis steht in starkem Gegensatz zu dem selbstberichteten hypothetischen Verhalten der Teilnehmer aus Experiment 2 und unterst{\"u}tzt die Annahme, dass die Einsch{\"a}tzungen von hypothetischem Verhalten in einem Mensch-Roboter-Gehorsamkeitsszenario nicht zuverl{\"a}ssig sind f{\"u}r echtes Verhalten in einer live Mensch-Roboter Interaktion. Situative Variablen, wie z.B. der Gehorsam gegen{\"u}ber Autorit{\"a}ten, sogar gegen{\"u}ber einem Roboter, scheinen st{\"a}rker zu sein als Empathie f{\"u}r einen Roboter. Dieser Befund kn{\"u}pft an andere Studien an (z.B. Bartneck \& Hu, 2008; Geiskkovitch et al., 2016; Menne, 2017; Slater et al., 2006), er{\"o}ffnet neue Erkenntnisse zum Einfluss von Robotern, zeigt aber auch auf, dass die Wahl einer Methode um Empathie f{\"u}r einen Roboter zu evozieren eine nicht triviale Angelegenheit ist (vgl. Geiskkovitch et al., 2016; vgl. Milgram, 1965). Insgesamt st{\"u}tzen die Ergebnisse die Annahme, dass die emotionalen Reaktionen auf Roboter tiefgreifend sind und sich sowohl auf der subjektiven Ebene als auch in der motorischen Komponente zeigen. Menschen reagieren emotional auf einen Roboter, der emotional expressiv ist und eher weniger wie eine Maschine aussieht. Sie empfinden Empathie und negative Gef{\"u}hle, wenn ein Roboter misshandelt wird und diese emotionalen Reaktionen spiegeln sich in der Mimik. Dar{\"u}ber hinaus unterscheiden sich die Einsch{\"a}tzungen von Menschen {\"u}ber ihr eigenes hypothetisches Verhalten von ihrem tats{\"a}chlichen Verhalten, weshalb videobasierte oder live Interaktionen zur Analyse realer Verhaltensreaktionen empfohlen wird. Die Ankunft sozialer Roboter in der Gesellschaft f{\"u}hrt zu nie dagewesenen Fragen und diese Dissertation liefert einen ersten Schritt zum Verst{\"a}ndnis dieser neuen Herausforderungen.},
  subject      = {Roboter},
  language  = {en}
}
@article{WuWinklerWieseretal.2015,
  author    = {Wu, Lingdan and Winkler, Markus H. and Wieser, Matthias J. and Andreatta, Marta and Li, Yonghui and Pauli, Paul},
  title     = {Emotion regulation in heavy smokers: experiential, expressive and physiological consequences of cognitive reappraisal},
  series = {Frontiers in Psychology},
  volume    = {6},
  journal   = {Frontiers in Psychology},
  number    = {1555},
  doi       = {10.3389/fpsyg.2015.01555},
  url       = {http://nbn-resolving.de/urn:nbn:de:bvb:20-opus-145225},
  year      = {2015},
  abstract  = {Emotion regulation dysfunctions are assumed to contribute to the development of tobacco addiction and relapses among smokers attempting to quit. To further examine this hypothesis, the present study compared heavy smokers with non-smokers (NS) in a reappraisal task. Specifically, we investigated whether non-deprived smokers (NDS) and deprived smokers (DS) differ from non-smokers in cognitive emotion regulation and whether there is an association between the outcome of emotion regulation and the cigarette craving. Sixty-five participants (23 non-smokers, 22 NDS, and 20 DS) were instructed to down-regulate emotions by reappraising negative or positive pictorial scenarios. Self-ratings of valence, arousal, and cigarette craving as well as facial electromyography and electroencephalograph activities were measured. Ratings, facial electromyography, and electroencephalograph data indicated that both NDS and DS performed comparably to nonsmokers in regulating emotional responses via reappraisal, irrespective of the valence of pictorial stimuli. Interestingly, changes in cigarette craving were positively associated with regulation of emotional arousal irrespective of emotional valence. These results suggest that heavy smokers are capable to regulate emotion via deliberate reappraisal and smokers' cigarette craving is associated with emotional arousal rather than emotional valence. This study provides preliminary support for the therapeutic use of reappraisal to replace maladaptive emotion-regulation strategies in nicotine addicts.},
  language  = {en}
}
@article{TopolinskiStrack2015,
  author    = {Topolinski, Sascha and Strack, Fritz},
  title     = {Corrugator activity confirms immediate negative affect in surprise},
  series = {Frontiers in Psychology},
  volume    = {6},
  journal   = {Frontiers in Psychology},
  number    = {134},
  doi       = {10.3389/fpsyg.2015.00134},
  url       = {http://nbn-resolving.de/urn:nbn:de:bvb:20-opus-144068},
  year      = {2015},
  abstract  = {The emotion of surprise entails a complex of immediate responses, such as cognitive interruption, attention allocation to, and more systematic processing of the surprising stimulus. All these processes serve the ultimate function to increase processing depth and thus cognitively master the surprising stimulus. The present account introduces phasic negative affect as the underlying mechanism responsible for this switch in operating mode. Surprising stimuli are schema discrepant and thus entail cognitive disfluency, which elicits immediate negative affect. This affect in turn works like a phasic cognitive tuning switching the current processing mode from more automatic and heuristic to more systematic and reflective processing. Directly testing the initial elicitation of negative affect by surprising events, the present experiment presented high and low surprising neutral trivia statements to N = 28 participants while assessing their spontaneous facial expressions via facial electromyography. High compared to low surprising trivia elicited higher corrugator activity, indicative of negative affect and mental effort, while leaving zygomaticus (positive affect) and frontalis (cultural surprise expression) activity unaffected. Future research shall investigate the mediating role of negative affect in eliciting surprise-related outcomes.},
  language  = {en}
}
@article{MusselGoeritzHewig2013,
  author    = {Mussel, Patrick and G{\"o}ritz, Anja S. and Hewig, Johannes},
  title     = {The value of a smile: Facial expression affects ultimatum-game responses},
  series = {Judgment and Decision Making},
  volume    = {8},
  journal   = {Judgment and Decision Making},
  number    = {3},
  url       = {http://nbn-resolving.de/urn:nbn:de:bvb:20-opus-129639},
  pages     = {381-385},
  year      = {2013},
  abstract  = {In social interaction, the facial expression of an opponent contains information that may influence the interaction. We asked whether facial expression affects decision-making in the ultimatum game. In this two-person game, the proposer divides a sum of money into two parts, one for each player, and then the responder decides whether to accept the offer or reject it. Rejection means that neither player gets any money. Results of a large-sample study support our hypothesis that offers from proposers with a smiling facial expression are more often accepted, compared to a neutral facial expression. Moreover, we found lower acceptance rates for offers from proposers with an angry facial expression.},
  language  = {en}
}
@article{GerdesWieserAlpers2014,
  author    = {Gerdes, Antje B. M. and Wieser, Matthias J. and Alpers, Georg W.},
  title     = {Emotional pictures and sounds: a review of multimodal interactions of emotion cues in multiple domains},
  series = {Frontiers in Psychology},
  volume    = {5},
  journal   = {Frontiers in Psychology},
  issn      = {1664-1078},
  doi       = {10.3389/fpsyg.2014.01351},
  url       = {http://nbn-resolving.de/urn:nbn:de:bvb:20-opus-114548},
  pages     = {1351},
  year      = {2014},
  abstract  = {In everyday life, multiple sensory channels jointly trigger emotional experiences and one channel may alter processing in another channel. For example, seeing an emotional facial expression and hearing the voice's emotional tone will jointly create the emotional experience. This example, where auditory and visual input is related to social communication, has gained considerable attention by researchers. However, interactions of visual and auditory emotional information are not limited to social communication but can extend to much broader contexts including human, animal, and environmental cues. In this article, we review current research on audiovisual emotion processing beyond face-voice stimuli to develop a broader perspective on multimodal interactions in emotion processing. We argue that current concepts of multimodality should be extended in considering an ecologically valid variety of stimuli in audiovisual emotion processing. Therefore, we provide an overview of studies in which emotional sounds and interactions with complex pictures of scenes were investigated. In addition to behavioral studies, we focus on neuroimaging, electro- and peripher-physiological findings. Furthermore, we integrate these findings and identify similarities or differences. We conclude with suggestions for future research.},
  language  = {en}
}
@phdthesis{Likowski2011,
  author    = {Likowski, Katja U.},
  title     = {Facial mimicry, valence evaluation or emotional reaction? Mechanisms underlying the modulation of congruent and incongruent facial reactions to emotional facial expressions},
  url       = {http://nbn-resolving.de/urn:nbn:de:bvb:20-opus-65013},
  school      = {Universit{\"a}t W{\"u}rzburg},
  year      = {2011},
  abstract  = {Humans have the tendency to react with congruent facial expressions when looking at an emotional face. Interestingly, recent studies revealed that several situational moderators can modulate strength and direction of these reactions. In current literature, congruent facial reactions to emotional facial expressions are usually described in terms of "facial mimicry" and interpreted as imitative behavior. Thereby, facial mimicry is understood as a process of pure motor resonance resulting from overlapping representations for the perception and the execution of a certain behavior. Motor mimicry, however, is not the only mechanism by which congruent facial reactions can occur. Numerous studies have shown that facial muscles also indicate valence evaluations. Furthermore, facial reactions are also determined by our current emotional state. These thoughts suggest that the modulation of congruent facial reactions to emotional expressions can be based on both motor and affective processes. However, a separation of motor and affective processes in facial reactions is hard to make. None of the published studies that tried that could show a clear involvement of one or the other process so far. Therefore, the aim of the present line of experiments is to shed light on the involvement of motor and affective processes in the modulation of congruent and incongruent facial reactions. Specifically, the experiments are designed to test the assumptions of a working model on mechanisms underlying the modulation of facial reactions and to examine the neuronal correlates involved in such modulations with a broad range of methods. Experiments 1 and 2 experimentally manipulate motor and affective mechanisms by using specific contexts. In the chose settings, motor process models and affective models of valence evaluations make competing predictions about resulting facial reactions. The results of Experiment 1 did not support the involvement of valence evaluations in the modulation of congruent and incongruent facial reactions to facial expressions. The results of Experiments 2a and 2b suggest that emotional reactions are the predominant determinant of facial reactions. Experiment 3 aimed at identifying the psychological mediators that indicate motor and affective mechanisms. Motor mechanisms are assessed via the psychological mediator empathy. Additionally, as a psychological mediator for clarifying the role of affective mechanisms subjective measures of the participants' current emotional state in response to the presented facial expressions were taken. Mediational analyses show that the modulation of congruent facial reactions can be explained by a decrease of state cognitive empathy. This suggests that motor processes mediate the effects of the context on congruent facial reactions. However, such a mechanism could not be observed for incongruent reactions. Instead, it was found that affective processes in terms of emotional reactions are involved in incongruent facial reactions. Additionally, the involvement of a third class of processes, namely strategic processes, was observed. Experiment 4 aimed at investigating whether a change in the strength of perception can explain the contextual modulation of facial reactions to facial expressions. According to motor process models the strength of perception is directly related to the strength of the spread of activation from perception to the execution of an action and thereby to the strength of the resulting mimicry behavior. The results suggest that motor mechanisms were involved in the modulation of congruent facial reactions by attitudes. Such an involvement of motor mechanisms could, however, not be observed for the modulation of incongruent reactions. In Experiment 5 the investigation of neuronal correlates shall be extended to the observation of involved brain areas via fMRI. The proposed brain areas depicting motor areas were prominent parts of the mirror neuron system. The regions of interest depicting areas involved in the affective processing were amygdala, insula, striatum. Furthermore, it could be shown that changes in the activity of parts of the MNS are related to the modulation of congruent facial reactions. Further on, results revealed the involvement of affective processes in the modulation of incongruent facial reactions. In sum, these results lead to a revised working model on the mechanisms underlying the modulation of facial reactions to emotional facial expressions. The results of the five experiments provide strong support for the involvement of motor mechanisms in congruent facial reactions. No evidence was found for the involvement of motor mechanisms in the occurrence or modulation of incongruent facial reactions. Furthermore, no evidence was found for the involvement of valence evaluations in the modulation of facial reactions. Instead, emotional reactions were found to be involved in the modulation of mainly incongruent facial reactions.},
  subject      = {Gef{\"u}hl},
  language  = {en}
}
@phdthesis{Weiland2010,
  author    = {Weiland, Romy},
  title     = {Facial reactions in response to gustatory and olfactory stimuli in healthy adults, patients with eating disorders, and patients with attention-deficit hyperactivity disorder},
  url       = {http://nbn-resolving.de/urn:nbn:de:bvb:20-opus-51759},
  school      = {Universit{\"a}t W{\"u}rzburg},
  year      = {2010},
  abstract  = {The aim of this project was to investigate whether reflex-like innate facial reactions to tastes and odors are altered in patients with eating disorders. Qualitatively different tastes and odors have been found to elicit specific facial expressions in newborns. This specificity in newborns is characterized by positive facial reactions in response to pleasant stimuli and by negative facial reactions in response to unpleasant stimuli. It is, however, unclear, whether these specific facial displays remain stable during ontogeny (1). Despite the fact that several studies had shown that taste-and odor-elicited facial reactions remain quite stable across a human's life-span, the specificity of research questions, as well as different research methods, allow only limited comparisons between studies. Moreover, the gustofacial response patterns might be altered in pathological eating behavior (2). To date, however, the question of whether dysfunctional eating behavior might alter facial activity in response to tastes and odors has not been addressed. Furthermore, changes in facial activity might be linked to deficient inhibitory facial control (3). To investigate these three research questions, facial reactions in response to tastes and odors were assessed. Facial reactions were analyzed using the Facial Action Coding System (FACS, Ekman \& Friesen, 1978; Ekman, Friesen, \& Hager, 2002) and electromyography.},
  subject      = {Mimik},
  language  = {en}
}