TY - THES A1 - Driewer, Frauke T1 - Teleoperation Interfaces in Human-Robot Teams T1 - Benutzerschnittstellen für Teleoperation in Mensch-Roboter Teams N2 - Diese Arbeit beschäftigt sich mit der Verbesserung von Mensch-Roboter Interaktion in Mensch-Roboter Teams für Teleoperation Szenarien, wie z.B. robotergestützte Feuerwehreinsätze. Hierbei wird ein Konzept und eine Architektur für ein System zur Unterstützung von Teleoperation von Mensch-Roboter Teams vorgestellt. Die Anforderungen an Informationsaustausch und -verarbeitung, insbesondere für die Anwendung Rettungseinsatz, werden ausgearbeitet. Weiterhin wird das Design der Benutzerschnittstellen für Mensch-Roboter Teams dargestellt und Prinzipien für Teleoperation-Systeme und Benutzerschnittstellen erarbeitet. Alle Studien und Ansätze werden in einem Prototypen-System implementiert und in verschiedenen Benutzertests abgesichert. Erweiterungsmöglichkeiten zum Einbinden von 3D Sensordaten und die Darstellung auf Stereovisualisierungssystemen werden gezeigt. N2 - This work deals with teams in teleoperation scenarios, where one human team partner (supervisor) guides and controls multiple remote entities (either robotic or human) and coordinates their tasks. Such a team needs an appropriate infrastructure for sharing information and commands. The robots need to have a level of autonomy, which matches the assigned task. The humans in the team have to be provided with autonomous support, e.g. for information integration. Design and capabilities of the human-robot interfaces will strongly influence the performance of the team as well as the subjective feeling of the human team partners. Here, it is important to elaborate the information demand as well as how information is presented. Such human-robot systems need to allow the supervisor to gain an understanding of what is going on in the remote environment (situation awareness) by providing the necessary information. This includes achieving fast assessment of the robot´s or remote human´s state. Processing, integration and organization of data as well as suitable autonomous functions support decision making and task allocation and help to decrease the workload in this multi-entity teleoperation task. Interaction between humans and robots is improved by a common world model and a responsive system and robots. The remote human profits from a simplified user interface providing exactly the information needed for the actual task at hand. The topic of this thesis is the investigation of such teleoperation interfaces in human-robot teams, especially for high-risk, time-critical, and dangerous tasks. The aim is to provide a suitable human-robot team structure as well as analyze the demands on the user interfaces. On one side, it will be looked on the theoretical background (model, interactions, and information demand). On the other side, real implementations for system, robots, and user interfaces are presented and evaluated as testbeds for the claimed requirements. Rescue operations, more precisely fire-fighting, was chosen as an exemplary application scenario for this work. The challenges in such scenarios are high (highly dynamic environments, high risk, time criticality etc.) and it can be expected that results can be transferred to other applications, which have less strict requirements. The present work contributes to the introduction of human-robot teams in task-oriented scenarios, such as working in high risk domains, e.g. fire-fighting. It covers the theoretical background of the required system, the analysis of related human factors concepts, as well as discussions on implementation. An emphasis is placed on user interfaces, their design, requirements and user testing, as well as on the used techniques (three-dimensional sensor data representation, mixed reality, and user interface design guidelines). Further, the potential integration of 3D sensor data as well as the visualization on stereo visualization systems is introduced. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 1 KW - Robotik KW - Mobiler Roboter KW - Autonomer Roboter KW - Mensch-Maschine-System KW - Mensch-Maschine-Schnittstelle KW - Mixed Reality KW - Mensch-Roboter-Interaktion KW - Situationsbewusstsein KW - Teleoperation KW - Benutzerschnittstelle KW - Rettungsroboter KW - Human-Robot-Interaction KW - Situation Awareness KW - Teleoperation KW - User Interface KW - Search-and-Rescue Y1 - 2008 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-36351 SN - 978-3-923959-57-0 N1 - Zugl. gedruckte Ausgabe: ISBN: 978-3-923959-54-9 (Paper) ER - TY - THES A1 - Sauer, Markus T1 - Mixed-Reality for Enhanced Robot Teleoperation T1 - Mixed-Reality zur verbesserten Fernbedienung von Robotern N2 - In den letzten Jahren ist die Forschung in der Robotik soweit fortgeschritten, dass die Mensch-Maschine Schnittstelle zunehmend die kritischste Komponente für eine hohe Gesamtperformanz von Systemen zur Navigation und Koordination von Robotern wird. In dieser Dissertation wird untersucht wie Mixed-Reality Technologien für Nutzerschnittstellen genutzt werden können, um diese Gesamtperformanz zu erhöhen. Hierzu werden Konzepte und Technologien entwickelt, die durch Evaluierung mit Nutzertest ein optimiertes und anwenderbezogenes Design von Mixed-Reality Nutzerschnittstellen ermöglichen. Er werden somit sowohl die technische Anforderungen als auch die menschlichen Faktoren für ein konsistentes Systemdesign berücksichtigt. Nach einer detaillierten Problemanalyse und der Erstellung eines Systemmodels, das den Menschen als Schlüsselkomponente mit einbezieht, wird zunächst die Anwendung der neuartigen 3D-Time-of-Flight Kamera zur Navigation von Robotern, aber auch für den Einsatz in Mixed-Reality Schnittstellen analysiert und optimiert. Weiterhin wird gezeigt, wie sich der Netzwerkverkehr des Videostroms als wichtigstes Informationselement der meisten Nutzerschnittstellen für die Navigationsaufgabe auf der Netzwerk Applikationsebene in typischen Multi-Roboter Netzwerken mit dynamischen Topologien und Lastsituation optimieren lässt. Hierdurch ist es möglich in sonst in sonst typischen Ausfallszenarien den Videostrom zu erhalten und die Bildrate zu stabilisieren. Diese fortgeschrittenen Technologien werden dann auch dem entwickelten Konzept der generischen 3D Mixed Reality Schnittselle eingesetzt. Dieses Konzept ermöglicht eine integrierte 3D Darstellung der verfügbaren Information, so dass räumliche Beziehungen von Informationen aufrechterhalten werden und somit die Anzahl der mentalen Transformationen beim menschlichen Bediener reduziert wird. Gleichzeitig werden durch diesen Ansatz auch immersive Stereo Anzeigetechnologien unterstützt, welche zusätzlich das räumliche Verständnis der entfernten Situation fördern. Die in der Dissertation vorgestellten und evaluierten Ansätze nutzen auch die Tatsache, dass sich eine lokale Autonomie von Robotern heute sehr robust realisieren lässt. Dies wird zum Beispiel zur Realisierung eines Assistenzsystems mit variabler Autonomie eingesetzt. Hierbei erhält der Fernbediener über eine Kraftrückkopplung kombiniert mit einer integrierten Augmented Reality Schnittstelle, einen Eindruck über die Situation am entfernten Arbeitsbereich, aber auch über die aktuelle Navigationsintention des Roboters. Die durchgeführten Nutzertests belegen die signifikante Steigerung der Navigationsperformanz durch den entwickelten Ansatz. Die robuste lokale Autonomie ermöglicht auch den in der Dissertation eingeführten Ansatz der prädiktiven Mixed-Reality Schnittstelle. Die durch diesen Ansatz entkoppelte Regelschleife über den Menschen ermöglicht es die Sichtbarkeit von unvermeidbaren Systemverzögerungen signifikant zu reduzieren. Zusätzlich können durch diesen Ansatz beide für die Navigation hilfreichen Blickwinkel in einer 3D-Nutzerschnittstelle kombiniert werden – der exozentrische Blickwinkel und der egozentrische Blickwinkel als Augmented Reality Sicht. N2 - With the progress in robotics research the human machine interfaces reach more and more the status of being the major limiting factor for the overall system performance of a system for remote navigation and coordination of robots. In this monograph it is elaborated how mixed reality technologies can be applied for the user interfaces in order to increase the overall system performance. Concepts, technologies, and frameworks are developed and evaluated in user studies which enable for novel user-centered approaches to the design of mixed-reality user interfaces for remote robot operation. Both the technological requirements and the human factors are considered to achieve a consistent system design. Novel technologies like 3D time-of-flight cameras are investigated for the application in the navigation tasks and for the application in the developed concept of a generic mixed reality user interface. In addition it is shown how the network traffic of a video stream can be shaped on application layer in order to reach a stable frame rate in dynamic networks. The elaborated generic mixed reality framework enables an integrated 3D graphical user interface. The realized spatial integration and visualization of available information reduces the demand for mental transformations for the human operator and supports the use of immersive stereo devices. The developed concepts make also use of the fact that local robust autonomy components can be realized and thus can be incorporated as assistance systems for the human operators. A sliding autonomy concept is introduced combining force and visual augmented reality feedback. The force feedback component allows rendering the robot's current navigation intention to the human operator, such that a real sliding autonomy with seamless transitions is achieved. The user-studies prove the significant increase in navigation performance by application of this concept. The generic mixed reality user interface together with robust local autonomy enables a further extension of the teleoperation system to a short-term predictive mixed reality user interface. With the presented concept of operation, it is possible to significantly reduce the visibility of system delays for the human operator. In addition, both advantageous characteristics of a 3D graphical user interface for robot teleoperation- an exocentric view and an augmented reality view – can be combined. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 5 KW - Mobiler Roboter KW - Autonomer Roboter KW - Mensch-Maschine-Schnittstelle KW - Mixed Reality KW - Mensch-Roboter-Interaktion KW - Teleoperation KW - Benutzerschnittstelle KW - Robotik KW - Mensch-Maschine-System KW - Human-Robot-Interaction KW - Teleoperation KW - User Interface Y1 - 2010 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-55083 SN - 978-3-923959-67-9 ER - TY - THES A1 - Gall, Dominik T1 - Increasing the effectiveness of human-computer interfaces for mental health interventions T1 - Steigerung der Effektivität von Mensch-Computer-Schnittstellen für Interventionen im Bereich der psychischen Gesundheit N2 - Human-computer interfaces have the potential to support mental health practitioners in alleviating mental distress. Adaption of this technology in practice is, however, slow. We provide means to extend the design space of human-computer interfaces for mitigating mental distress. To this end, we suggest three complementary approaches: using presentation technology, using virtual environments, and using communication technology to facilitate social interaction. We provide new evidence that elementary aspects of presentation technology affect the emotional processing of virtual stimuli, that perception of our environment affects the way we assess our environment, and that communication technologies affect social bonding between users. By showing how interfaces modify emotional reactions and facilitate social interaction, we provide converging evidence that human-computer interfaces can help alleviate mental distress. These findings may advance the goal of adapting technological means to the requirements of mental health practitioners. N2 - Mensch-Computer-Schnittstellen haben das Potenzial, psychosoziale Fachkräfte bei der Linderung von psychischen Problemen zu unterstützen. Die Adaption solcher Technologien in der Praxis verläuft jedoch langsam. Wir stellen Mittel zur Verfügung, um den Gestaltungsraum von Mensch-Computer-Schnittstellen zur Linderung von psychischen Belastungen zu erweitern. Zu diesem Zweck schlagen wir drei komplementäre Ansätze vor: die Verwendung von Präsentationstechnologie, die Verwendung virtueller Umgebungen und die Verwendung von Kommunikationstechnologie zur Erleichterung sozialer Interaktion. Wir liefern neue Belege dafür, dass elementare Aspekte der Präsentationstechnologie die emotionale Verarbeitung virtueller Stimuli beeinflussen, dass die Wahrnehmung unserer Umgebung die Art und Weise beeinflusst, wie wir unsere Umgebung bewerten, und dass Kommunikationstechnologien die soziale Bindung zwischen Nutzern beeinflussen. Indem wir zeigen, wie Benutzerschnittstellen emotionale Reaktionen modifizieren und soziale Interaktion erleichtern, liefern wir konvergierende Hinweise dafür, dass Mensch-Computer-Schnittstellen die Linderung von psychischen Belastungen unterstützen können. Diese Erkenntnisse können das Vorhaben unterstützen, technologische Möglichkeiten an die Bedürfnisse von psychosozialen Fachkräften anzupassen. KW - Mensch-Maschine-Kommunikation KW - Human-Computer Interaction KW - Mensch-Maschine-Schnittstelle KW - Psychische Gesundheit Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-230120 ER - TY - THES A1 - Aschenbrenner, Doris T1 - Human Robot Interaction Concepts for Human Supervisory Control and Telemaintenance Applications in an Industry 4.0 Environment T1 - Mensch-Roboter-Interaktionskonzepte für Fernsteuerungs- und Fernwartungsanwendungen in einer Industrie 4.0 Umgebung N2 - While teleoperation of technical highly sophisticated systems has already been a wide field of research, especially for space and robotics applications, the automation industry has not yet benefited from its results. Besides the established fields of application, also production lines with industrial robots and the surrounding plant components are in need of being remotely accessible. This is especially critical for maintenance or if an unexpected problem cannot be solved by the local specialists. Special machine manufacturers, especially robotics companies, sell their technology worldwide. Some factories, for example in emerging economies, lack qualified personnel for repair and maintenance tasks. When a severe failure occurs, an expert of the manufacturer needs to fly there, which leads to long down times of the machine or even the whole production line. With the development of data networks, a huge part of those travels can be omitted, if appropriate teleoperation equipment is provided. This thesis describes the development of a telemaintenance system, which was established in an active production line for research purposes. The customer production site of Braun in Marktheidenfeld, a factory which belongs to Procter & Gamble, consists of a six-axis cartesian industrial robot by KUKA Industries, a two-component injection molding system and an assembly unit. The plant produces plastic parts for electric toothbrushes. In the research projects "MainTelRob" and "Bayern.digital", during which this plant was utilised, the Zentrum für Telematik e.V. (ZfT) and its project partners develop novel technical approaches and procedures for modern telemaintenance. The term "telemaintenance" hereby refers to the integration of computer science and communication technologies into the maintenance strategy. It is particularly interesting for high-grade capital-intensive goods like industrial robots. Typical telemaintenance tasks are for example the analysis of a robot failure or difficult repair operations. The service department of KUKA Industries is responsible for the worldwide distributed customers who own more than one robot. Currently such tasks are offered via phone support and service staff which travels abroad. They want to expand their service activities on telemaintenance and struggle with the high demands of teleoperation especially regarding security infrastructure. In addition, the facility in Marktheidenfeld has to keep up with the high international standards of Procter & Gamble and wants to minimize machine downtimes. Like 71.6 % of all German companies, P&G sees a huge potential for early information on their production system, but complains about the insufficient quality and the lack of currentness of data. The main research focus of this work lies on the human machine interface for all human tasks in a telemaintenance setup. This thesis provides own work in the use of a mobile device in context of maintenance, describes new tools on asynchronous remote analysis and puts all parts together in an integrated telemaintenance infrastructure. With the help of Augmented Reality, the user performance and satisfaction could be raised. A special regard is put upon the situation awareness of the remote expert realized by different camera viewpoints. In detail the work consists of: - Support of maintenance tasks with a mobile device - Development and evaluation of a context-aware inspection tool - Comparison of a new touch-based mobile robot programming device to the former teach pendant - Study on Augmented Reality support for repair tasks with a mobile device - Condition monitoring for a specific plant with industrial robot - Human computer interaction for remote analysis of a single plant cycle - A big data analysis tool for a multitude of cycles and similar plants - 3D process visualization for a specific plant cycle with additional virtual information - Network architecture in hardware, software and network infrastructure - Mobile device computer supported collaborative work for telemaintenance - Motor exchange telemaintenance example in running production environment - Augmented reality supported remote plant visualization for better situation awareness N2 - Die Fernsteuerung technisch hochentwickelter Systeme ist seit vielen Jahren ein breites Forschungsfeld, vor allem im Bereich von Weltraum- und Robotikanwendungen. Allerdings hat die Automatisierungsindustrie bislang zu wenig von den Ergebnissen dieses Forschungsgebiets profitiert. Auch Fertigungslinien mit Industrierobotern und weiterer Anlagenkomponenten müssen über die Ferne zugänglich sein, besonders bei Wartungsfällen oder wenn unvorhergesehene Probleme nicht von den lokalen Spezialisten gelöst werden können. Hersteller von Sondermaschinen wie Robotikfirmen verkaufen ihre Technologie weltweit. Kunden dieser Firmen besitzen beispielsweise Fabriken in Schwellenländern, wo es an qualifizierten Personal für Reparatur und Wartung mangelt. Wenn ein ernster Fehler auftaucht, muss daher ein Experte des Sondermaschinenherstellers zum Kunden fliegen. Das führt zu langen Stillstandzeiten der Maschine. Durch die Weiterentwicklung der Datennetze könnte ein großer Teil dieser Reisen unterbleiben, wenn eine passende Fernwartungsinfrastruktur vorliegen würde. Diese Arbeit beschreibt die Entwicklung eines Fernwartungssystems, welches in einer aktiven Produktionsumgebung für Forschungszwecke eingerichtet wurde. Die Fertigungsanlage des Kunden wurde von Procter & Gamble in Marktheidenfeld zur Verfügung gestellt und besteht aus einem sechsachsigen, kartesischen Industrieroboter von KUKA Industries, einer Zweikomponentenspritzgussanlage und einer Montageeinheit. Die Anlage produziert Plastikteile für elektrische Zahnbürsten. Diese Anlage wurde im Rahmen der Forschungsprojekte "MainTelRob" und "Bayern.digital" verwendet, in denen das Zentrum für Telematik e.V. (ZfT) und seine Projektpartner neue Ansätze und Prozeduren für moderne Fernwartungs-Technologien entwickeln. Fernwartung bedeutet für uns die umfassende Integration von Informatik und Kommunikationstechnologien in der Wartungsstrategie. Das ist vor allem für hochentwickelte, kapitalintensive Güter wie Industrierobotern interessant. Typische Fernwartungsaufgaben sind beispielsweise die Analyse von Roboterfehlermeldungen oder schwierige Reparaturmaßnahmen. Die Service-Abteilung von KUKA Industries ist für die weltweit verteilten Kunden zuständig, die teilweise auch mehr als einen Roboter besitzen. Aktuell werden derartige Aufgaben per Telefonauskunft oder mobilen Servicekräften, die zum Kunden reisen, erledigt. Will man diese komplizierten Aufgaben durch Fernwartung ersetzen um die Serviceaktivitäten auszuweiten muss man mit den hohen Anforderungen von Fernsteuerung zurechtkommen, besonders in Bezug auf Security Infrastruktur. Eine derartige umfassende Herangehensweise an Fernwartung bietet aber auch einen lokalen Mehrwert beim Kunden: Die Fabrik in Marktheidenfeld muss den hohen internationalen Standards von Procter & Gamble folgen und will daher die Stillstandzeiten weiter verringern. Wie 71,6 Prozent aller deutschen Unternehmen sieht auch P&G Marktheidenfeld ein großes Potential für frühe Informationen aus ihrem Produktionssystem, haben aber aktuell noch Probleme mit der Aktualität und Qualität dieser Daten. Der Hauptfokus der hier vorgestellten Forschung liegt auf der Mensch-Maschine-Schnittstelle für alle Aufgaben eines umfassenden Fernwartungskontextes. Diese Arbeit stellt die eigene Arbeiten bei der Verwendung mobiler Endgeräte im Kontext der Wartung und neue Softwarewerkzeuge für die asynchrone Fernanalyse vor und integriert diese Aspekte in eine Fernwartungsinfrastruktur. In diesem Kontext kann gezeigt werden, dass der Einsatz von Augmented Reality die Nutzerleistung und gleichzeitig die Zufriedenheit steigern kann. Dabei wird auf das sogenannte "situative Bewusstsein" des entfernten Experten besonders Wert gelegt. Im Detail besteht die Arbeit aus: - Unterstützung von Wartungsaufgaben mit mobilen Endgeräten - Entwicklung und Evaluation kontextsensitiver Inspektionssoftware - Vergleich von touch-basierten Roboterprogrammierung mit der Vorgängerversion des Programmierhandgeräts - Studien über die Unterstützung von Reparaturaufgaben durch Augmented Reality - Zustandsüberwachung für eine spezielle Anlage mit Industrieroboter - Mensch-Maschine Interaktion für die Teleanalyse eines Produktionszyklus - Grafische Big Data Analyse einer Vielzahl von Produktionszyklen - 3D Prozess Visualisierung und Anreicherung mit virtuellen Informationen - Hardware, Software und Netzwerkarchitektur für die Fernwartung - Computerunterstützte Zusammenarbeit mit Verwendung mobiler Endgeräte für die Fernwartung - Fernwartungsbeispiel: Durchführung eines Motortauschs in der laufenden Produktion - Augmented Reality unterstütze Visualisierung des Anlagenkontextes für die Steigerung des situativen Bewusstseins T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 13 KW - Fernwartung KW - Robotik KW - Mensch-Maschine-Schnittstelle KW - Erweiterte Realität KW - Situation Awareness KW - Industrie 4.0 KW - Industrial internet Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-150520 SN - 978-3-945459-18-8 ER - TY - THES A1 - Wiedemann, Katharina T1 - Frühzeitige Informationen über Systemgrenzen beim hochautomatisierten Fahren T1 - Early information about system limits during conditionally automated driving N2 - Fahrzeughersteller haben die Verfügbarkeit sogenannter hochautomatisierter Fahrfunktionen (SAE Level 3; SAE, 2018) in ihren Modellen angekündigt. Hierdurch wird der Fahrer in der Lage sein, sich permanent von der Fahraufgabe abzuwenden und fahrfremden Tätigkeiten nachzugehen. Allerdings muss er immer noch als Rückfallebene zur Verfügung stehen, um im Fall von Systemgrenzen oder -fehlern (siehe Gold, Naujoks, Radlmayr, Bellem & Jarosch, 2017), die Fahrzeugkontrolle zu übernehmen. Das Übernahmeerfordernis wird dem Fahrer durch die Ausgabe einer Übernameaufforderung vermittelt. Die Übernahme der manuellen Fahrzeugführung aus dem hochautomatisierten Fahren stellt aus psychologischer Sicht einen Aufgabenwechsel dar. Bei der Untersuchung von Aufgabenwechseln im Bereich der kognitiven und angewandten Psychologie zeigte sich vielfach, dass Aufgabenwechsel mit verlängerten Reaktionszeiten und erhöhten Fehlerraten assoziiert sind. Für den Anwendungsfall des automatisierten Fahrens liegen ebenfalls eine Reihe empirischer Studien vor, die darauf hinweisen, dass der Wechsel zum manuellen Fahren mit einer Verschlechterung der Fahrleistung gegenüber dem manuellen Fahren verbunden ist. Da Erkenntnisse vorliegen, dass eine Vorbereitung auf den Aufgabenwechsel die zu erwartenden Kosten verringern kann, ist das Ziel dieser Arbeit die Konzeption und empirische Evaluation einer Mensch-Maschine-Schnittstelle, die Nutzer hochautomatisierter Fahrzeuge durch frühzeitige Vorinformationen über Systemgrenzen auf die Kontrollübernahme vorbereitet. Drei Experimente im Fahrsimulator mit Bewegungssystem betrachteten jeweils unterschiedliche Aspekte frühzeitiger Vorinformationen über bevorstehende Übernahmen. Das erste Experiment untersuchte, ob Fahrer überhaupt von frühzeitigen Situationsankündigungen, beispielsweise im Sinne einer verbesserten Übernahmeleistung, profitieren. Das zweite Experiment befasste sich mit der Frage, wie solche Ankündigungen zeitlich und inhaltlich zu gestalten sind (d. h. wann sie präsentiert werden und welche Informationen sie enthalten sollten), und welchen Einfluss deren Gestaltung auf die Aufgabenbearbeitung (insbesondere deren Unterbrechung und spätere Wiederaufnahme) während der automatisierten Fahrt hat. Um herauszufinden, wie ein Anzeigekonzept zur längerfristigen Planung von fahrfremden Tätigkeiten während des automatisierten Fahrens beitragen könnte, fand im dritten Experiment ein Vergleich von Situationsankündigungen, die vor dem Erreichen einer Übernahmesituation ausgegeben wurden, mit kontinuierlich präsentierten Informationen über die verbleibende Distanz zur nächsten Systemgrenze statt. In allen Studien wurde neben den Auswirkungen frühzeitiger Vorinformationen auf die Übernahmeleistung und Bearbeitung von fahrfremden Tätigkeiten auch untersucht, welche Auswirkungen ein erweitertes Übernahmekonzept auf die Fahrerreaktion in Grenz- und Fehlerfällen, in denen Vorinformationen entweder nicht oder fehlerhaft angezeigt wurden, hat. Für die Gestaltung zukünftiger Übernahmekonzepte für hochautomatisierte Fahrzeuge kann basierend auf den Ergebnissen empfohlen werden, frühzeitige Anzeigen von Systemgrenzen zur Ermöglichung eines sicheren und komfortablen Wechsels zwischen dem manuellen und dem automatisierten Fahren in die Mensch-Maschine-Schnittstelle zu integrieren. Basierend auf den Ergebnissen dieser Arbeit liegt der empfohlene Zeitpunkt für diskrete Ankündigungen bei einer Reisegeschwindigkeit von 120 km/h bei etwa 1000 Meter (d. h. ca. 30 Sekunden) vor der Ausgabe der Übernahmeaufforderung. Zudem wird empfohlen zur Abschätzung der verbleibenden Zeit im automatisierten Modus eine Anzeige der Entfernung zur nächsten Systemgrenze in das Konzept zu integrieren, die dem Fahrer eine längerfristige Aufgabenplanung ermöglicht. Neben der reinen Anzeige des Übernahmeerfordernisses sollten dem Fahrer auch Informationen über das erforderliche Fahrmanöver nach der Kontrollübernahme übermittelt werden. N2 - Vehicle manufacturers have announced the availability of so-called conditionally automated driving (SAE Level 3, SAE, 2018) in their upcoming vehicles. As a result, drivers will no longer have to permanently carry out the driving task and are free to pursue non-driving related activities while the vehicle is conditionally automated. However, they still have to be available as a fallback to take over vehicle control in the event of a system limit or error (see Gold, Naujoks, Radlmayr, Bellem & Jarosch, 2017). The requirement to take over driving is communicated via a so-called takeover request. From a psychological point of view, taking over manual vehicle control after driving with the automation represents a task switch. Studies from the field of cognitive and applied psychology have shown that task switches are associated with prolonged reaction times and increased error rates. Regarding the application of these findings to automated driving, there are also a number of empirical studies indicating that switching to manual driving takes considerable time and is associated with a deterioration of driving performance compared to continous manual driving. Since there is evidence that preparation for the task switch can reduce the expected costs, the aim of this work is the conception and empirical evaluation of a human-machine-interface (HMI), which prepares users of conditionally automated vehicles for the takeover by providing them with early information about system limits. Three experiments in a motion-based driving simulator considered different aspects of early information about an upcoming system limit. The first experiment examined whether drivers benefit from early situation announcements compared to imminent takeover requests, for example in terms of improved takeover performance. The second experiment dealt with the question of how such announcements are to be designed in terms of their timing and content (i. e., when they should be presented and what information they should contain), and how they influence the interruption and subsequent resumption of non-driving related tasks that are carried out during the automated drive. To find out how the HMI could contribute to longer-term planning of non-driving related activities during automated driving, a comparison of discrete situation announcements issued before reaching a takeover situation with continuously presented information about the remaining distance to the next system limit took place in the third study. In addition to the effects of early information on takeover performance and engagement in non-driving related tasks, all studies also examined the effects of the extended takeover concept on the driver’s reaction during system failures in which prior information is either not displayed or is displayed incorrectly. Based on the results, it may be recommended to integrate early indications of system limits to enable a safe and comfortable task switch between automated and manual driving. The recommended timing for discrete announcements at a cruising speed of 120 km/h is approximately 1000 meter (i. e., approximately 30 seconds) before issuing an imminent takeover request right before the system limit. It is also recommended to include an indication of the remaining distance to an upcoming system limit in the display concept, which allows for a longer-term planning of non-driving related task during the automated driving. In addition to the mere indication of the takeover requirement, the driver should also be provided with information about the required driving maneuver after the takeover of control. KW - Autonomes Fahrzeug KW - Fahrerverhalten KW - Automatisiertes Fahren KW - Mensch-Maschine-Interaktion KW - Verkehrspsychologie KW - Mensch-Maschine-Schnittstelle KW - Automation Y1 - 2020 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-216581 ER - TY - THES A1 - Leutert, Florian T1 - Flexible Augmented Reality Systeme für robotergestützte Produktionsumgebungen T1 - Flexible Augmented Reality systems for robot-based production environments N2 - Produktionssysteme mit Industrierobotern werden zunehmend komplex; waren deren Arbeitsbereiche früher noch statisch und abgeschirmt, und die programmierten Abläufe gleichbleibend, so sind die Anforderungen an moderne Robotik-Produktionsanlagen gestiegen: Diese sollen sich jetzt mithilfe von intelligenter Sensorik auch in unstrukturierten Umgebungen einsetzen lassen, sich bei sinkenden Losgrößen aufgrund individualisierter Produkte und häufig ändernden Produktionsaufgaben leicht rekonfigurieren lassen, und sogar eine direkte Zusammenarbeit zwischen Mensch und Roboter ermöglichen. Gerade auch bei dieser Mensch-Roboter-Kollaboration wird es damit notwendig, dass der Mensch die Daten und Aktionen des Roboters leicht verstehen kann. Aufgrund der gestiegenen Anforderungen müssen somit auch die Bedienerschnittstellen dieser Systeme verbessert werden. Als Grundlage für diese neuen Benutzerschnittstellen bietet sich Augmented Reality (AR) als eine Technologie an, mit der sich komplexe räumliche Daten für den Bediener leicht verständlich darstellen lassen. Komplexe Informationen werden dabei in der Arbeitsumgebung der Nutzer visualisiert und als virtuelle Einblendungen sichtbar gemacht, und so auf einen Blick verständlich. Die diversen existierenden AR-Anzeigetechniken sind für verschiedene Anwendungsfelder unterschiedlich gut geeignet, und sollten daher flexibel kombinier- und einsetzbar sein. Auch sollen diese AR-Systeme schnell und einfach auf verschiedenartiger Hardware in den unterschiedlichen Arbeitsumgebungen in Betrieb genommen werden können. In dieser Arbeit wird ein Framework für Augmented Reality Systeme vorgestellt, mit dem sich die genannten Anforderungen umsetzen lassen, ohne dass dafür spezialisierte AR-Hardware notwendig wird. Das Flexible AR-Framework kombiniert und bündelt dafür verschiedene Softwarefunktionen für die grundlegenden AR-Anzeigeberechnungen, für die Kalibrierung der notwendigen Hardware, Algorithmen zur Umgebungserfassung mittels Structured Light sowie generische ARVisualisierungen und erlaubt es dadurch, verschiedene AR-Anzeigesysteme schnell und flexibel in Betrieb zu nehmen und parallel zu betreiben. Im ersten Teil der Arbeit werden Standard-Hardware für verschiedene AR-Visualisierungsformen sowie die notwendigen Algorithmen vorgestellt, um diese flexibel zu einem AR-System zu kombinieren. Dabei müssen die einzelnen verwendeten Geräte präzise kalibriert werden; hierfür werden verschiedene Möglichkeiten vorgestellt, und die mit ihnen dann erreichbaren typischen Anzeige- Genauigkeiten in einer Evaluation charakterisiert. Nach der Vorstellung der grundlegenden ARSysteme des Flexiblen AR-Frameworks wird dann eine Reihe von Anwendungen vorgestellt, bei denen das entwickelte System in konkreten Praxis-Realisierungen als AR-Benutzerschnittstelle zum Einsatz kam, unter anderem zur Überwachung von, Zusammenarbeit mit und einfachen Programmierung von Industrierobotern, aber auch zur Visualisierung von komplexen Sensordaten oder zur Fernwartung. Im Verlauf der Arbeit werden dadurch die Vorteile, die sich durch Verwendung der AR-Technologie in komplexen Produktionssystemen ergeben, herausgearbeitet und in Nutzerstudien belegt. N2 - During recent years, production environments involving industrial robots have moved away from static, shielded production lines towards a more open, flexible and adaptable setup, where human and robot are working in close proximity or even collaborating on the same workpiece. This change necessitates improving existing user interfaces for these robots, to allow for an easier understanding of the complex robot data as well as simplifying their handling and programming. Augmented Reality (AR) is a technology that allows for realizing that: it enables the user to simply grasp complex spatial data by seeing it - appropriately visualized - in his natural work environment. This thesis introduces the Flexible Augmented Reality framework, an AR framework that allows for quick and easy realization of multiple monitor- or projection-based AR displays in the work environment of industrial robots, greatly simplifying and improving their handling without the use of specialized AR hardware. The developed framework combines and bundles all the necessary software functions and algorithms, among others for realizing the fundamental AR visualizations, calibrating the necessary hardware, capturing the display environment utilizing Structured Light and easily creating generic AR visualizations, to allow for fast deployment and parallel operation of multiple AR interfaces in different production and application fields. Among describing the developed algorithms as well as properties of the employed hardware, a thorough evaluation of the achievable display accuracy with standard hardware is given in this thesis. Finally, the framework was tested and evaluated in a number of different practical application scenarios involving industrial robot programming, remote surveillance and control, as well as intuitive sensor data display or remote maintenance. The developed solutions are presented in detail together with performed evaluations and user studies, exemplifying the framework's improvement of traditional industrial robot interfaces. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 24 KW - Erweiterte Realität KW - Industrieroboter KW - Mensch-Maschine-Schnittstelle KW - Augmented Reality KW - Nutzerschnittstellen Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-249728 SN - 978-3-945459-39-3 ER -