Martin Weiß

• The present dissertation aims to shed light on different mechanisms of socio-emotional feedback in social decision-making situations. The objective is to evaluate emotional facial expressions as feedback stimuli, i.e., responses of interaction partners to certain social decisions. In addition to human faces, artificial emojis are also examined due to their relevance for modern digital communication. Previous research on the influence of emotional feedback suggests that a person's behavior can be effectively reinforced by rewarding stimuli. InThe present dissertation aims to shed light on different mechanisms of socio-emotional feedback in social decision-making situations. The objective is to evaluate emotional facial expressions as feedback stimuli, i.e., responses of interaction partners to certain social decisions. In addition to human faces, artificial emojis are also examined due to their relevance for modern digital communication. Previous research on the influence of emotional feedback suggests that a person's behavior can be effectively reinforced by rewarding stimuli. In the context of this dissertation, the differences in the feedback processing of human photographs and emojis, but also the evaluation of socially expected versus socially unexpected feedback were examined in detail in four studies. In addition to behavioral data, we used the electroencephalogram (EEG) in all studies to investigate neural correlates of social decision-making and emotional feedback. As the central paradigm, all studies were based on a modified ultimatum game. The game is structured as follows: there is a so-called proposer who holds a specific amount of money (e.g., 10 cents) and offers the responder a certain amount (e.g., 3 cents). The responder then decides whether to accept or reject the offer. In the version of the ultimatum game presented here, different types of proposers are introduced. After the participants have accepted or rejected in the role of the responder, the different proposers react to the participant’s decision with specific emotional facial expressions. Different feedback patterns are used for the individual experiments conducted in the course of this dissertation. In the first study, we investigated the influence of emotional feedback on decision-making in the modified version of the ultimatum game. We were able to show that a proposer who responds to the acceptance of an offer with a smiling face achieves more accepted offers overall than a control proposer who responds to both accepted and rejected offers with a neutral facial expression. Consequently, the smile served as a positive reinforcement. Similarly, a sad expression in response to a rejected offer also resulted in higher acceptance rates as compared to the control identity, which could be considered an expression of compassion for that proposer. On a neuronal level, we could show that there are differences between simply looking at negative emotional stimuli (i.e., sad and angry faces) and their appearance as feedback stimuli after rejected offers in the modified ultimatum game. The so-called feedback-related negativity was reduced (i.e., more positive) when negative emotions appeared as feedback from the proposers. We argued that these findings might show that the participants wanted to punish the proposers by rejecting an offer for its unfairness and therefore the negative feedback met their expectations. The altered processing of negative emotional facial expressions in the ultimatum game could therefore indicate that the punishment is interpreted as successful. This includes the expectation that the interaction partner will change his behavior in the future and eventually make fairer offers. In the second study we wanted to show that smiling and sad emojis as feedback stimuli in the modified ultimatum game can also lead to increased acceptance rates. Contrary to our assumptions, this effect could not be observed. At the neural level as well, the findings did not correspond to our assumptions and differed strongly from those of the first study. One finding, however, was that the neural P3 component showed how the use of emojis as feedback stimuli particularly characterizes certain types of proposers. This is supported by the fact that the P3 is increased for the proposer who rewards an acceptance with a smile as well as for the proposer who reacts to rejection with a sad emoji compared to the neutral control proposer. The third study examined the discrepancy between the findings of the first and second study. Accordingly, both humans and emojis representing the different proposers were presented in the ultimatum game. In addition, emojis were selected that showed a higher similarity to known emojis from common messenger services compared to the second study. We were able to replicate that the proposers in the ultimatum game, who reward an acceptance of the offer with a smile, led to an increased acceptance rate compared to the neutral control proposers. This difference is independent of whether the proposers are represented by emojis or human faces. With regard to the neural correlates, we were able to demonstrate that emojis and human faces differ strongly in their neural processing. Emojis showed stronger activation than human faces in the face-processing N170 component, the feedback-related negativity and the P3 component. We concluded that the results of the N170 and feedback-related negativity could indicate a signal for missing social information of emojis compared to faces. The increased P3 amplitude for emojis might imply that emojis appear unexpectedly as reward stimuli in a social decision task compared to human faces. The last study of this project dealt with socially unexpected feedback. In comparison to the first three studies, new proposer identities were implemented. In particular, the focus was on a proposer who reacted to the rejection of an offer unexpectedly with a smile and to the acceptance with a neutral facial expression. According to the results, participants approach this unexpected smile through increased rejection, although it is accompanied by financial loss. In addition, as reported in studies one and three, we were able to show that proposers who respond to the acceptance of an offer with a smiling face and thus meet the expectations of the participants have higher offer acceptance rates than the control proposer. At the neuronal level, especially the feedback from the socially unexpected proposer led to an increased P3 amplitude, which indicates that smiling after rejection is attributed a special subjective importance. The experiments provide new insights into the social influence through emotional feedback and the processing of relevant social cues. Due to the conceptual similarity of the studies, it was possible to differentiate between stable findings and potentially stimulus-dependent deviations, thus creating a well-founded contribution to the current research. Therefore, the novel paradigm presented here, and the knowledge gained from it could also play an important role in the future for clinical questions dealing with limited social competencies.…
• Die vorliegende Dissertation soll verschiedene Mechanismen des sozio-emotionalen Feedbacks in sozialen Entscheidungssituationen beleuchten. Ziel ist es, emotionale Gesichtsausdrücke als Feedbackreize, d.h. Reaktion des Gegenübers auf bestimmte soziale Entscheidungen, zu evaluieren. Neben menschlichen Gesichtern werden auch künstliche Emojis aufgrund ihrer Relevanz für die moderne digitale Kommunikation untersucht. Bisherige Forschungen zum Einfluss von emotionalem Feedback legen nahe, dass das Verhalten einer Person durch belohnendeDie vorliegende Dissertation soll verschiedene Mechanismen des sozio-emotionalen Feedbacks in sozialen Entscheidungssituationen beleuchten. Ziel ist es, emotionale Gesichtsausdrücke als Feedbackreize, d.h. Reaktion des Gegenübers auf bestimmte soziale Entscheidungen, zu evaluieren. Neben menschlichen Gesichtern werden auch künstliche Emojis aufgrund ihrer Relevanz für die moderne digitale Kommunikation untersucht. Bisherige Forschungen zum Einfluss von emotionalem Feedback legen nahe, dass das Verhalten einer Person durch belohnende Hinweisreize erfolgreich verstärkt werden kann. Im Rahmen dieser Dissertation wurden daher vier Studien durchgeführt, die die Unterschiede in der Feedback-Verarbeitung von menschlichen Fotos und Emojis, aber auch die Bewertung von sozial erwartetem gegenüber sozial unerwartetem Feedback eingehend untersuchen. Zusätzlich zu den Verhaltensdaten verwendeten wir in allen Studien das Elektroenzephalogramm (EEG), um neuronale Korrelate sozialer Entscheidungen und emotionalen Feedbacks zu untersuchen. Als zentrales Paradigma wurde allen Studien ein modifiziertes Ultimatumspiel zugrunde gelegt. Dieses ist so aufgebaut, dass es einen sogenannten Anbieter gibt, der über einen bestimmten Geldbetrag verfügt (z.B. 10 Cent) und dem Empfänger einen gewissen Anteil davon anbietet (z.B. 3 Cent). Der Empfänger entscheidet daraufhin, ob er das Angebot annehmen oder ablehnen möchte. In der hier verwendeten Version des Ultimatumspiels werden dabei verschiedene Typen von Anbietern eingeführt. Nachdem die Versuchspersonen in der Rolle des Empfängers angenommen oder abgelehnt haben, reagieren die verschiedenen Anbieter mit spezifischen emotionalen Gesichtsausdrücken auf die Entscheidung der Versuchsperson. Für die einzelnen Experimente, die im Rahmen dieser Dissertation durchgeführt wurden, werden unterschiedliche Feedbackmuster angewandt. In der ersten Studie untersuchten wir den Einfluss des emotionalen Feedbacks auf die Entscheidungsfindung in der modifizierten Version des Ultimatumspiels. Wir konnten zeigen, dass im Ultimatumspiel ein Anbieter, der auf die Annahme eines Angebots mit einem lächelnden Gesicht reagiert, insgesamt mehr akzeptierte Angebote erzielt als der Anbieter der Kontrollbedingung, der sowohl auf angenommene als auch auf abgelehnte Angebote mit einem neutralen Gesichtsausdruck reagiert. Folglich wirkte das Lächeln als positive Verstärkung. In ähnlicher Weise führte ein trauriger Gesichtsausdruck als Reaktion auf ein abgelehntes Angebot ebenfalls zu höheren Annahmeraten als die Kontrollperson, was als Ausdruck von Mitgefühl für diesen Anbieter betrachtet werden könnte. Auf neuronaler Ebene konnten wir zeigen, dass es Unterschiede zwischen dem bloßen Betrachten negativer emotionaler Stimuli (d.h. trauriger und wütender Gesichter) und ihrem Auftreten als Feedback-Stimuli nach abgelehnten Angeboten im modifizierten Ultimatumspiel gibt. Die so genannte feedback-related negativity wurde reduziert (d.h. positiver), wenn negative Emotionen als Feedback von den Anbietern auftraten. Wir zogen aus den Ergebnissen den Schluss, dass die Versuchsteilnehmer die Anbieter bestrafen wollten, indem sie ein Angebot wegen seiner Unfairness ablehnten, und dass daher das negative Feedback ihren Erwartungen entsprach. Die veränderte Verarbeitung negativer emotionaler Gesichtsausdrücke im Ultimatumspiel könnte daher darauf hinweisen, dass die Bestrafung als erfolgreich interpretiert wird. Dies schließt die Erwartung ein, dass der Interaktionspartner sein Verhalten in Zukunft ändert und schließlich fairere Angebote machen sollte. In der zweiten Studie war es das Ziel zu zeigen, dass auch lächelnde und traurige Emojis als Feedback-Reize im modifizierten Ultimatumspiel zu erhöhten Annahmeraten führen können. Entgegen unseren Hypothesen konnte dieser Effekt jedoch nicht beobachtet werden. Auch auf der neuronalen Ebene entsprachen die Ergebnisse nicht unseren Annahmen und unterschieden sich stark von denen der ersten Studie. Eine Erkenntnis war jedoch, dass anhand der neuronalen P3-Komponente ersichtlich wurde, dass die Verwendung von Emojis als Feedback-Reize gewisse Typen von Anbietern besonders kennzeichnet. Dies wurde dadurch gezeigt, dass die P3 sowohl für den Anbieter, der eine Annahme mit einem Lächeln belohnt, als auch für den Anbieter, der auf eine Ablehnung mit einem traurigen Emoji reagiert, im Vergleich zum neutralen Kontrollanbieter erhöht ist. Die dritte Studie untersuchte die Diskrepanz zwischen den Ergebnissen der ersten und der zweiten Studie. Dementsprechend wurden sowohl Menschen als auch Emojis, die die Identitäten der Anbieter repräsentieren, im Ultimatumspiel präsentiert. Darüber hinaus wurden Emojis ausgewählt, die eine höhere Ähnlichkeit mit bekannten Emojis aus den üblichen Messenger-Diensten zeigten als in der zweiten Studie. Wir konnten replizieren, dass die Anbieter im Ultimatumspiel, die eine Annahme des Angebots mit einem Lächeln belohnen, zu einer höheren Annahmerate im Vergleich zu den neutralen Kontrollanbietern führen. Dieser Unterschied zeigte sich unabhängig davon, ob die Anbieter durch Emojis oder menschliche Gesichter repräsentiert wurden. In Bezug auf die neuronalen Korrelate konnten wir zeigen, dass sich Emojis und menschliche Gesichter in ihrer neuronalen Verarbeitung stark unterscheiden. Emojis zeigten sowohl in der gesichtsverarbeitenden N170-Komponente als auch in der feedback-related negativity eine stärkere Aktivierung als menschliche Gesichter. Wir schlussfolgerten daraus, dass die Ergebnisse der N170 und feedback-related negativity ein Signal für fehlende soziale Informationen von Emojis im Vergleich zu Gesichtern sein könnten. Die erhöhte P3-Amplitude für Emojis könnte dabei implizieren, dass Emojis im Vergleich zu menschlichen Gesichtern bei einer sozialen Entscheidungsaufgabe unerwartet als Belohnungsreiz erscheinen. Die letzte Studie dieses Projekts beschäftigte sich mit sozial unerwartetem Feedback. Im Vergleich zu den ersten drei Studien wurden neue Anbieteridentitäten implementiert. Im Mittelpunkt stand insbesondere ein Anbieter, der auf die Ablehnung eines Angebots unerwartet mit einem Lächeln und auf die Annahme mit einem neutralen Gesichtsausdruck reagierte. Den Ergebnissen zufolge nähern sich die Teilnehmer diesem unerwarteten Lächeln durch verstärkte Ablehnung an, obwohl es mit einem finanziellen Verlust einhergeht. Darüber hinaus konnten wir, wie in den Studien eins und drei berichtet, zeigen, dass Anbieter, die auf die Annahme eines Angebots mit einem lächelnden Gesicht reagieren und damit die Erwartungen der Teilnehmer erfüllen, höhere Angebotsannahmeraten haben als der Kontrollanbieter. Auf neuronaler Ebene führte insbesondere das Feedback des sozial unerwarteten Anbieters zu einer erhöhten P3-Amplitude, was darauf hinweist, dass dem Lächeln nach der Ablehnung eine besondere subjektive Bedeutung beigemessen wird. In ihrer Gesamtheit liefern die Experimente neue Erkenntnisse über den sozialen Einfluss durch emotionales Feedback und die Verarbeitung relevanter sozialer Signale. Aufgrund der konzeptionellen Ähnlichkeit der Studien ist es möglich, zwischen stabilen Befunden und möglicherweise reizabhängigen Abweichungen zu differenzieren und damit einen fundierten Beitrag zur aktuellen Forschung zu leisten. Das hier vorgestellte neuartige Paradigma und die daraus gewonnenen Erkenntnisse könnten daher in Zukunft auch für klinische Fragestellungen, die sich mit eingeschränkten sozialen Kompetenzen befassen, eine nicht unerhebliche Rolle spielen.…