Daniel Roth

• Virtual reality and related media and communication technologies have a growing impact on professional application fields and our daily life. Virtual environments have the potential to change the way we perceive ourselves and how we interact with others. In comparison to other technologies, virtual reality allows for the convincing display of a virtual self-representation, an avatar, to oneself and also to others. This is referred to as user embodiment. Avatars can be of varying realism and abstraction in their appearance and in theVirtual reality and related media and communication technologies have a growing impact on professional application fields and our daily life. Virtual environments have the potential to change the way we perceive ourselves and how we interact with others. In comparison to other technologies, virtual reality allows for the convincing display of a virtual self-representation, an avatar, to oneself and also to others. This is referred to as user embodiment. Avatars can be of varying realism and abstraction in their appearance and in the behaviors they convey. Such userembodying interfaces, in turn, can impact the perception of the self as well as the perception of interactions. For researchers, designers, and developers it is of particular interest to understand these perceptual impacts, to apply them to therapy, assistive applications, social platforms, or games, for example. The present thesis investigates and relates these impacts with regard to three areas: intrapersonal effects, interpersonal effects, and effects of social augmentations provided by the simulation. With regard to intrapersonal effects, we specifically explore which simulation properties impact the illusion of owning and controlling a virtual body, as well as a perceived change in body schema. Our studies lead to the construction of an instrument to measure these dimensions and our results indicate that these dimensions are especially affected by the level of immersion, the simulation latency, as well as the level of personalization of the avatar. With regard to interpersonal effects we compare physical and user-embodied social interactions, as well as different degrees of freedom in the replication of nonverbal behavior. Our results suggest that functional levels of interaction are maintained, whereas aspects of presence can be affected by avatar-mediated interactions, and collaborative motor coordination can be disturbed by immersive simulations. Social interaction is composed of many unknown symbols and harmonic patterns that define our understanding and interpersonal rapport. For successful virtual social interactions, a mere replication of physical world behaviors to virtual environments may seem feasible. However, the potential of mediated social interactions goes beyond this mere replication. In a third vein of research, we propose and evaluate alternative concepts on how computers can be used to actively engage in mediating social interactions, namely hybrid avatar-agent technologies. Specifically, we investigated the possibilities to augment social behaviors by modifying and transforming user input according to social phenomena and behavior, such as nonverbal mimicry, directed gaze, joint attention, and grouping. Based on our results we argue that such technologies could be beneficial for computer-mediated social interactions such as to compensate for lacking sensory input and disturbances in data transmission or to increase aspects of social presence by visual substitution or amplification of social behaviors. Based on related work and presented findings, the present thesis proposes the perspective of considering computers as social mediators. Concluding from prototypes and empirical studies, the potential of technology to be an active mediator of social perception with regard to the perception of the self, as well as the perception of social interactions may benefit our society by enabling further methods for diagnosis, treatment, and training, as well as the inclusion of individuals with social disorders. To this regard, we discuss implications for our society and ethical aspects. This thesis extends previous empirical work and further presents novel instruments, concepts, and implications to open up new perspectives for the development of virtual reality, mixed reality, and augmented reality applications.…
• Virtual Reality und weitere Medien- und Kommunikationstechnologien haben einen wachsenden Einfluss auf professionelle Anwendungsbereiche und unseren Alltag. Virtuelle Umgebungen haben das Potenzial, Einfluss darauf zu nehmen, wie Mensche sich selbst wahrnehmen und wie sie mit anderen umgehen. Im Vergleich zu anderen Technologien ermöglicht Virtual Reality die überzeugende Visualisierung einer virtuellen Selbstdarstellung, eines Avatars, sichtbar für den Nutzer/die Nutzerin selbst aber auch für andere. Dies bezeichnet man alsVirtual Reality und weitere Medien- und Kommunikationstechnologien haben einen wachsenden Einfluss auf professionelle Anwendungsbereiche und unseren Alltag. Virtuelle Umgebungen haben das Potenzial, Einfluss darauf zu nehmen, wie Mensche sich selbst wahrnehmen und wie sie mit anderen umgehen. Im Vergleich zu anderen Technologien ermöglicht Virtual Reality die überzeugende Visualisierung einer virtuellen Selbstdarstellung, eines Avatars, sichtbar für den Nutzer/die Nutzerin selbst aber auch für andere. Dies bezeichnet man als Nutzerverk¨orperung. Avatare können von unterschiedlichem Realismus und Abstraktion in Bezug auf ihr Aussehen sowie der Darstellung von Verhaltensweisen geprägt sein. Solche nutzerverkörpernde Schnittstellen wiederum können die Wahrnehmung des Selbst sowie die Wahrnehmung von Interaktionen beeinflussen. Für Forscher/-innen, Designer/-innen und Entwickler/-innen ist es von besonderem Interesse, diese Wahrnehmungseffekte zu verstehen, um sie beispielsweise auf Therapie, assistive Anwendungen, soziale Plattformen oder Spiele anzuwenden. Die vorliegende Arbeit untersucht und bezieht sich auf diese Auswirkungen in drei Bereichen: intrapersonelle Effekte, zwischenmenschliche Effekte sowie Effekte durch soziale Augmentierungen, die durch die Simulation bereitgestellt werden. Im Hinblick auf intrapersonelle Effekte widmet sich die vorliegende Arbeit insbesondere der Frage, welche Simulationseigenschaften die Illusion des Besitzens/Innehabens und der Kontrolle eines virtuellen Körpers sowie eine wahrgenommene Veränderung des Körperschemas beeinflussen. Die vorgestellten Studien führen zur Konstruktion eines Instruments zur Erfassung dieser Dimensionen und die Ergebnisse zeigen, dass die empfundene Verkörperung besonders von dem Grad der Immersion, der Simulationslatenz sowie dem Grad der Personalisierung des Avatars abhängt. Im Hinblick auf zwischenmenschliche Effekte vergleicht diese Dissertation physische (realweltliche) und virtuelle soziale Interaktionen sowie unterschiedliche Freiheitsgrade in der Replikation nonverbalen Verhaltens. Die Ergebnisse deuten darauf hin, dass die funktionalen Ebenen der Interaktion aufrechterhalten werden, während Aspekte der Präsenz durch avatarvermittelte Interaktionen beeinflusst werden und die kollaborative motorische Koordination durch immersive Simulationen gestört werden kann. Die soziale Interaktion besteht aus vielen unbekannten Symbolen und harmonischen Mustern, die das menschliche Verst¨andnis und zwischenmenschliche Beziehungen definieren. Für erfolgreiche virtuelle soziale Interaktionen mag eine bloße Replikation von physikalischenWeltverhaltensweisen auf virtuelle Umgebungen m¨oglich erscheinen. Das Potenzial computervermittelter sozialer Interaktionen geht jedoch über diese bloße Replikation hinaus. Im dritten Bereich dieser Arbeit werden alternative Konzepte vorgeschlagen und evaluiert, wie Computer genutzt werden können, um eine aktive Rolle in sozialen Interaktionen einzunehmen. Diese Technologien werden als hybride Avatar-Agenten-Technologien definiert. Insbesondere wird untersucht, welche Möglichkeiten das soziale Verhalten zu erweitern emtstehen, indem die Verhaltensweisen der Benutzer/-innen entsprechend sozialer Ph¨anomene und Verhaltensweisen modifiziert und transformiert werden. Beispiele sind die nonverbale Spiegelung, der Fokus des Blicks, eine gemeinsame Aufmerksamkeit und die Gruppenbildung. Basierend auf den Ergebnissen argumentiert diese Arbeit, dass solche Technologien für computervermittelte soziale Interaktionen von Vorteil sein könnten, beispielsweise zum Ausgleich fehlender Sensorik, Störungen bei der Datenübertragung oder zur Verbesserung sozialer Präsenz durch visuelle Substitution oder Verstärkung des sozialen Verhaltens. Basierend auf verwandten Arbeiten und präsentierten Ergebnissen wird abgeleitet, dass Computer als soziale Mediatoren fungieren können. Ausgehend von Prototypen und empirischen Studien kann das Potenzial der Technologie, ein aktiver Vermittler in Bezug auf dieWahrnehmung des Selbst sowie dieWahrnehmung sozialer Interaktionen zu sein, unserer Gesellschaft zugutekommen. Dadurch können beispielsweise weitere Methoden zur Diagnose, der Behandlung und Ausbildung sowie der Inklusion von Menschen mit sozialen Störungen ermöglicht werden. In diesem Zusammenhang werden die Auswirkungen auf unsere Gesellschaft und ethische Aspekte diskutiert. Diese Arbeit erweitert frühere empirische Arbeiten und präasentiert darüber hinaus neue Instrumente, Konzepte und Implikationen, um neue Perspektiven für die Entwicklung von Virtual Reality, Mixed Reality und Augmented Reality Anwendungen zu beleuchten.…