TY - THES A1 - Aschenbrenner, Doris T1 - Human Robot Interaction Concepts for Human Supervisory Control and Telemaintenance Applications in an Industry 4.0 Environment T1 - Mensch-Roboter-Interaktionskonzepte für Fernsteuerungs- und Fernwartungsanwendungen in einer Industrie 4.0 Umgebung N2 - While teleoperation of technical highly sophisticated systems has already been a wide field of research, especially for space and robotics applications, the automation industry has not yet benefited from its results. Besides the established fields of application, also production lines with industrial robots and the surrounding plant components are in need of being remotely accessible. This is especially critical for maintenance or if an unexpected problem cannot be solved by the local specialists. Special machine manufacturers, especially robotics companies, sell their technology worldwide. Some factories, for example in emerging economies, lack qualified personnel for repair and maintenance tasks. When a severe failure occurs, an expert of the manufacturer needs to fly there, which leads to long down times of the machine or even the whole production line. With the development of data networks, a huge part of those travels can be omitted, if appropriate teleoperation equipment is provided. This thesis describes the development of a telemaintenance system, which was established in an active production line for research purposes. The customer production site of Braun in Marktheidenfeld, a factory which belongs to Procter & Gamble, consists of a six-axis cartesian industrial robot by KUKA Industries, a two-component injection molding system and an assembly unit. The plant produces plastic parts for electric toothbrushes. In the research projects "MainTelRob" and "Bayern.digital", during which this plant was utilised, the Zentrum für Telematik e.V. (ZfT) and its project partners develop novel technical approaches and procedures for modern telemaintenance. The term "telemaintenance" hereby refers to the integration of computer science and communication technologies into the maintenance strategy. It is particularly interesting for high-grade capital-intensive goods like industrial robots. Typical telemaintenance tasks are for example the analysis of a robot failure or difficult repair operations. The service department of KUKA Industries is responsible for the worldwide distributed customers who own more than one robot. Currently such tasks are offered via phone support and service staff which travels abroad. They want to expand their service activities on telemaintenance and struggle with the high demands of teleoperation especially regarding security infrastructure. In addition, the facility in Marktheidenfeld has to keep up with the high international standards of Procter & Gamble and wants to minimize machine downtimes. Like 71.6 % of all German companies, P&G sees a huge potential for early information on their production system, but complains about the insufficient quality and the lack of currentness of data. The main research focus of this work lies on the human machine interface for all human tasks in a telemaintenance setup. This thesis provides own work in the use of a mobile device in context of maintenance, describes new tools on asynchronous remote analysis and puts all parts together in an integrated telemaintenance infrastructure. With the help of Augmented Reality, the user performance and satisfaction could be raised. A special regard is put upon the situation awareness of the remote expert realized by different camera viewpoints. In detail the work consists of: - Support of maintenance tasks with a mobile device - Development and evaluation of a context-aware inspection tool - Comparison of a new touch-based mobile robot programming device to the former teach pendant - Study on Augmented Reality support for repair tasks with a mobile device - Condition monitoring for a specific plant with industrial robot - Human computer interaction for remote analysis of a single plant cycle - A big data analysis tool for a multitude of cycles and similar plants - 3D process visualization for a specific plant cycle with additional virtual information - Network architecture in hardware, software and network infrastructure - Mobile device computer supported collaborative work for telemaintenance - Motor exchange telemaintenance example in running production environment - Augmented reality supported remote plant visualization for better situation awareness N2 - Die Fernsteuerung technisch hochentwickelter Systeme ist seit vielen Jahren ein breites Forschungsfeld, vor allem im Bereich von Weltraum- und Robotikanwendungen. Allerdings hat die Automatisierungsindustrie bislang zu wenig von den Ergebnissen dieses Forschungsgebiets profitiert. Auch Fertigungslinien mit Industrierobotern und weiterer Anlagenkomponenten müssen über die Ferne zugänglich sein, besonders bei Wartungsfällen oder wenn unvorhergesehene Probleme nicht von den lokalen Spezialisten gelöst werden können. Hersteller von Sondermaschinen wie Robotikfirmen verkaufen ihre Technologie weltweit. Kunden dieser Firmen besitzen beispielsweise Fabriken in Schwellenländern, wo es an qualifizierten Personal für Reparatur und Wartung mangelt. Wenn ein ernster Fehler auftaucht, muss daher ein Experte des Sondermaschinenherstellers zum Kunden fliegen. Das führt zu langen Stillstandzeiten der Maschine. Durch die Weiterentwicklung der Datennetze könnte ein großer Teil dieser Reisen unterbleiben, wenn eine passende Fernwartungsinfrastruktur vorliegen würde. Diese Arbeit beschreibt die Entwicklung eines Fernwartungssystems, welches in einer aktiven Produktionsumgebung für Forschungszwecke eingerichtet wurde. Die Fertigungsanlage des Kunden wurde von Procter & Gamble in Marktheidenfeld zur Verfügung gestellt und besteht aus einem sechsachsigen, kartesischen Industrieroboter von KUKA Industries, einer Zweikomponentenspritzgussanlage und einer Montageeinheit. Die Anlage produziert Plastikteile für elektrische Zahnbürsten. Diese Anlage wurde im Rahmen der Forschungsprojekte "MainTelRob" und "Bayern.digital" verwendet, in denen das Zentrum für Telematik e.V. (ZfT) und seine Projektpartner neue Ansätze und Prozeduren für moderne Fernwartungs-Technologien entwickeln. Fernwartung bedeutet für uns die umfassende Integration von Informatik und Kommunikationstechnologien in der Wartungsstrategie. Das ist vor allem für hochentwickelte, kapitalintensive Güter wie Industrierobotern interessant. Typische Fernwartungsaufgaben sind beispielsweise die Analyse von Roboterfehlermeldungen oder schwierige Reparaturmaßnahmen. Die Service-Abteilung von KUKA Industries ist für die weltweit verteilten Kunden zuständig, die teilweise auch mehr als einen Roboter besitzen. Aktuell werden derartige Aufgaben per Telefonauskunft oder mobilen Servicekräften, die zum Kunden reisen, erledigt. Will man diese komplizierten Aufgaben durch Fernwartung ersetzen um die Serviceaktivitäten auszuweiten muss man mit den hohen Anforderungen von Fernsteuerung zurechtkommen, besonders in Bezug auf Security Infrastruktur. Eine derartige umfassende Herangehensweise an Fernwartung bietet aber auch einen lokalen Mehrwert beim Kunden: Die Fabrik in Marktheidenfeld muss den hohen internationalen Standards von Procter & Gamble folgen und will daher die Stillstandzeiten weiter verringern. Wie 71,6 Prozent aller deutschen Unternehmen sieht auch P&G Marktheidenfeld ein großes Potential für frühe Informationen aus ihrem Produktionssystem, haben aber aktuell noch Probleme mit der Aktualität und Qualität dieser Daten. Der Hauptfokus der hier vorgestellten Forschung liegt auf der Mensch-Maschine-Schnittstelle für alle Aufgaben eines umfassenden Fernwartungskontextes. Diese Arbeit stellt die eigene Arbeiten bei der Verwendung mobiler Endgeräte im Kontext der Wartung und neue Softwarewerkzeuge für die asynchrone Fernanalyse vor und integriert diese Aspekte in eine Fernwartungsinfrastruktur. In diesem Kontext kann gezeigt werden, dass der Einsatz von Augmented Reality die Nutzerleistung und gleichzeitig die Zufriedenheit steigern kann. Dabei wird auf das sogenannte "situative Bewusstsein" des entfernten Experten besonders Wert gelegt. Im Detail besteht die Arbeit aus: - Unterstützung von Wartungsaufgaben mit mobilen Endgeräten - Entwicklung und Evaluation kontextsensitiver Inspektionssoftware - Vergleich von touch-basierten Roboterprogrammierung mit der Vorgängerversion des Programmierhandgeräts - Studien über die Unterstützung von Reparaturaufgaben durch Augmented Reality - Zustandsüberwachung für eine spezielle Anlage mit Industrieroboter - Mensch-Maschine Interaktion für die Teleanalyse eines Produktionszyklus - Grafische Big Data Analyse einer Vielzahl von Produktionszyklen - 3D Prozess Visualisierung und Anreicherung mit virtuellen Informationen - Hardware, Software und Netzwerkarchitektur für die Fernwartung - Computerunterstützte Zusammenarbeit mit Verwendung mobiler Endgeräte für die Fernwartung - Fernwartungsbeispiel: Durchführung eines Motortauschs in der laufenden Produktion - Augmented Reality unterstütze Visualisierung des Anlagenkontextes für die Steigerung des situativen Bewusstseins T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 13 KW - Fernwartung KW - Robotik KW - Mensch-Maschine-Schnittstelle KW - Erweiterte Realität KW - Situation Awareness KW - Industrie 4.0 KW - Industrial internet Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-150520 SN - 978-3-945459-18-8 ER - TY - THES A1 - Borrmann, Dorit T1 - Multi-modal 3D mapping - Combining 3D point clouds with thermal and color information T1 - Multi-modale 3D-Kartierung - Kombination von 3D-Punktwolken mit Thermo- und Farbinformation N2 - Imagine a technology that automatically creates a full 3D thermal model of an environment and detects temperature peaks in it. For better orientation in the model it is enhanced with color information. The current state of the art for analyzing temperature related issues is thermal imaging. It is relevant for energy efficiency but also for securing important infrastructure such as power supplies and temperature regulation systems. Monitoring and analysis of the data for a large building is tedious as stable conditions need to be guaranteed for several hours and detailed notes about the pose and the environment conditions for each image must be taken. For some applications repeated measurements are necessary to monitor changes over time. The analysis of the scene is only possible through expertise and experience. This thesis proposes a robotic system that creates a full 3D model of the environment with color and thermal information by combining thermal imaging with the technology of terrestrial laser scanning. The addition of a color camera facilitates the interpretation of the data and allows for other application areas. The data from all sensors collected at different positions is joined in one common reference frame using calibration and scan matching. The first part of the thesis deals with 3D point cloud processing with the emphasis on accessing point cloud data efficiently, detecting planar structures in the data and registering multiple point clouds into one common coordinate system. The second part covers the autonomous exploration and data acquisition with a mobile robot with the objective to minimize the unseen area in 3D space. Furthermore, the combination of different modalities, color images, thermal images and point cloud data through calibration is elaborated. The last part presents applications for the the collected data. Among these are methods to detect the structure of building interiors for reconstruction purposes and subsequent detection and classification of windows. A system to project the gathered thermal information back into the scene is presented as well as methods to improve the color information and to join separately acquired point clouds and photo series. A full multi-modal 3D model contains all the relevant geometric information about the recorded scene and enables an expert to fully analyze it off-site. The technology clears the path for automatically detecting points of interest thereby helping the expert to analyze the heat flow as well as localize and identify heat leaks. The concept is modular and neither limited to achieving energy efficiency nor restricted to the use in combination with a mobile platform. It also finds its application in fields such as archaeology and geology and can be extended by further sensors. N2 - Man stelle sich eine Technologie vor, die automatisch ein vollständiges 3D-Thermographiemodell einer Umgebung generiert und Temperaturspitzen darin erkennt. Zur besseren Orientierung innerhalb des Modells ist dieses mit Farbinformationen erweitert. In der Analyse temperaturrelevanter Fragestellungen sind Thermalbilder der Stand der Technik. Darunter fallen Energieeffizienz und die Sicherung wichtiger Infrastruktur, wie Energieversorgung und Systeme zur Temperaturregulierung. Die Überwachung und anschließende Analyse der Daten eines großen Gebäudes ist aufwändig, da über mehrere Stunden stabile Bedingungen garantiert und detaillierte Aufzeichnungen über die Aufnahmeposen und die Umgebungsverhältnisse für jedes Wärmebild erstellt werden müssen. Einige Anwendungen erfordern wiederholte Messungen, um Veränderungen über die Zeit zu beobachten. Eine Analyse der Szene ist nur mit Erfahrung und Expertise möglich. Diese Arbeit stellt ein Robotersystem vor, das durch Kombination von Thermographie mit terrestrischem Laserscanning ein vollständiges 3D Modell der Umgebung mit Farb- und Temperaturinformationen erstellt. Die ergänzende Farbkamera vereinfacht die Interpretation der Daten und eröffnet weitere Anwendungsfelder. Die an unterschiedlichen Positionen aufgenommenen Daten aller Sensoren werden durch Kalibrierung und Scanmatching in einem gemeinsamen Bezugssystem zusammengefügt. Der erste Teil der Arbeit behandelt 3D-Punktwolkenverarbeitung mit Schwerpunkt auf effizientem Punktzugriff, Erkennung planarer Strukturen und Registrierung mehrerer Punktwolken in einem gemeinsamen Koordinatensystem. Der zweite Teil beschreibt die autonome Erkundung und Datenakquise mit einem mobilen Roboter, mit dem Ziel, die bisher nicht erfassten Bereiche im 3D-Raum zu minimieren. Des Weiteren wird die Kombination verschiedener Modalitäten, Farbbilder, Thermalbilder und Punktwolken durch Kalibrierung ausgearbeitet. Den abschließenden Teil stellen Anwendungsszenarien für die gesammelten Daten dar, darunter Methoden zur Erkennung der Innenraumstruktur für die Rekonstruktion von Gebäuden und der anschließenden Erkennung und Klassifizierung von Fenstern. Ein System zur Rückprojektion der gesammelten Thermalinformation in die Umgebung wird ebenso vorgestellt wie Methoden zur Verbesserung der Farbinformationen und zum Zusammenfügen separat aufgenommener Punktwolken und Fotoreihen. Ein vollständiges multi-modales 3D Modell enthält alle relevanten geometrischen Informationen der aufgenommenen Szene und ermöglicht einem Experten, diese standortunabhängig zu analysieren. Diese Technologie ebnet den Weg für die automatische Erkennung relevanter Bereiche und für die Analyse des Wärmeflusses und vereinfacht somit die Lokalisierung und Identifikation von Wärmelecks für den Experten. Das vorgestellte modulare Konzept ist weder auf den Anwendungsfall Energieeffizienz beschränkt noch auf die Verwendung einer mobilen Plattform angewiesen. Es ist beispielsweise auch in Feldern wie der Archäologie und Geologie einsetzbar und kann durch zusätzliche Sensoren erweitert werden. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 14 KW - Punktwolke KW - Lidar KW - Thermografie KW - Robotik KW - 3D point cloud KW - Laser scanning KW - Robotics KW - 3D thermal mapping KW - Registration Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-157085 SN - 978-3-945459-20-1 SN - 1868-7474 SN - 1868-7466 ER - TY - JOUR A1 - Dietz, Ulrich A. A1 - Kudsi, O. Yusef A1 - Garcia-Ureña, Miguel A1 - Baur, Johannes A1 - Ramser, Michaela A1 - Maksimovic, Sladjana A1 - Keller, Nicola A1 - Dörfer, Jörg A1 - Eisner, Lukas A1 - Wiegering, Armin T1 - Robotic hernia repair III. English version BT - Robotic incisional hernia repair with transversus abdominis release (r‑TAR). Video report and results of a cohort study JF - Der Chirurg N2 - The principle of targeted separation or weakening of individual components of the abdominal wall to relieve tension in the median line during major abdominal reconstruction has been known for over 30 years as anterior component separation (aCS) and is an established procedure. In search of alternatives with lower complication rates, posterior component separation (pCS) was developed; transversus abdominis release (TAR) is a nerve-sparing modification of pCS. With the ergonomic resources of robotics (e.g., angled instruments), TAR can be performed in a minimally invasive manner (r-TAR): hernia gaps of up to 14 cm can be closed and a large extraperitoneal mesh implanted. In this video article, the treatment of large incisional hernias using the r‑TAR technique is presented. Exemplary results of a cohort study in 13 consecutive patients are presented. The procedure is challenging, but our own results—as well as reports from the literature—are encouraging. The r‑TAR is becoming the pinnacle procedure for abdominal wall reconstruction. N2 - Das Prinzip der gezielten Trennung bzw. Schwächung einzelner Komponenten der Bauchdecke zur Spannungsentlastung der Medianlinie bei großen abdominellen Rekonstruktionen ist seit über 30 Jahren als anteriore Komponentenseparation (aKS) bekannt und ein etabliertes Verfahren. Auf der Suche nach Alternativen mit geringerer Komplikationsrate wurde die posteriore Komponentenseparation (pKS) entwickelt; der „transversus abdominis release“ (TAR) ist eine nervenschonende Modifikation der pKS. Mit den ergonomischen Ressourcen der Robotik (z. B. abgewinkelte Instrumente) kann der TAR minimal-invasiv durchgeführt werden (r-TAR): Bruchlücken von bis zu 14 cm lassen sich verschließen und ein großes extraperitoneales Netz implantieren. In diesem Videobeitrag wird die Versorgung großer Inzisionalhernien in der r‑TAR-Technik präsentiert. Exemplarisch werden die Ergebnisse einer Kohortenstudie an 13 konsekutiven Patienten vorgestellt. Der Eingriff ist anspruchsvoll, die eigenen Ergebnisse sind – wie auch die Berichte aus der Literatur – ermutigend. Der r‑TAR entwickelt sich zur Königsdisziplin der Bauchdeckenrekonstruktion. T2 - Robotische Hernienchirurgie III : Robotische Inzisionalhernienversorgung mit transversus abdominis release (r-TAR). Videobeitrag und Ergebnisse einer Kohortenstudie KW - robotic surgical procedures KW - incisional hernia KW - ventral hernia KW - retromuscular mesh KW - posterior component separation KW - Robotik KW - Inzisionale Hernie KW - Ventrale Hernie KW - Retromuskuläres Netz KW - Posteriore Komponentenseparation Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-323896 VL - 92 IS - Suppl 1 ER - TY - THES A1 - Driewer, Frauke T1 - Teleoperation Interfaces in Human-Robot Teams T1 - Benutzerschnittstellen für Teleoperation in Mensch-Roboter Teams N2 - Diese Arbeit beschäftigt sich mit der Verbesserung von Mensch-Roboter Interaktion in Mensch-Roboter Teams für Teleoperation Szenarien, wie z.B. robotergestützte Feuerwehreinsätze. Hierbei wird ein Konzept und eine Architektur für ein System zur Unterstützung von Teleoperation von Mensch-Roboter Teams vorgestellt. Die Anforderungen an Informationsaustausch und -verarbeitung, insbesondere für die Anwendung Rettungseinsatz, werden ausgearbeitet. Weiterhin wird das Design der Benutzerschnittstellen für Mensch-Roboter Teams dargestellt und Prinzipien für Teleoperation-Systeme und Benutzerschnittstellen erarbeitet. Alle Studien und Ansätze werden in einem Prototypen-System implementiert und in verschiedenen Benutzertests abgesichert. Erweiterungsmöglichkeiten zum Einbinden von 3D Sensordaten und die Darstellung auf Stereovisualisierungssystemen werden gezeigt. N2 - This work deals with teams in teleoperation scenarios, where one human team partner (supervisor) guides and controls multiple remote entities (either robotic or human) and coordinates their tasks. Such a team needs an appropriate infrastructure for sharing information and commands. The robots need to have a level of autonomy, which matches the assigned task. The humans in the team have to be provided with autonomous support, e.g. for information integration. Design and capabilities of the human-robot interfaces will strongly influence the performance of the team as well as the subjective feeling of the human team partners. Here, it is important to elaborate the information demand as well as how information is presented. Such human-robot systems need to allow the supervisor to gain an understanding of what is going on in the remote environment (situation awareness) by providing the necessary information. This includes achieving fast assessment of the robot´s or remote human´s state. Processing, integration and organization of data as well as suitable autonomous functions support decision making and task allocation and help to decrease the workload in this multi-entity teleoperation task. Interaction between humans and robots is improved by a common world model and a responsive system and robots. The remote human profits from a simplified user interface providing exactly the information needed for the actual task at hand. The topic of this thesis is the investigation of such teleoperation interfaces in human-robot teams, especially for high-risk, time-critical, and dangerous tasks. The aim is to provide a suitable human-robot team structure as well as analyze the demands on the user interfaces. On one side, it will be looked on the theoretical background (model, interactions, and information demand). On the other side, real implementations for system, robots, and user interfaces are presented and evaluated as testbeds for the claimed requirements. Rescue operations, more precisely fire-fighting, was chosen as an exemplary application scenario for this work. The challenges in such scenarios are high (highly dynamic environments, high risk, time criticality etc.) and it can be expected that results can be transferred to other applications, which have less strict requirements. The present work contributes to the introduction of human-robot teams in task-oriented scenarios, such as working in high risk domains, e.g. fire-fighting. It covers the theoretical background of the required system, the analysis of related human factors concepts, as well as discussions on implementation. An emphasis is placed on user interfaces, their design, requirements and user testing, as well as on the used techniques (three-dimensional sensor data representation, mixed reality, and user interface design guidelines). Further, the potential integration of 3D sensor data as well as the visualization on stereo visualization systems is introduced. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 1 KW - Robotik KW - Mobiler Roboter KW - Autonomer Roboter KW - Mensch-Maschine-System KW - Mensch-Maschine-Schnittstelle KW - Mixed Reality KW - Mensch-Roboter-Interaktion KW - Situationsbewusstsein KW - Teleoperation KW - Benutzerschnittstelle KW - Rettungsroboter KW - Human-Robot-Interaction KW - Situation Awareness KW - Teleoperation KW - User Interface KW - Search-and-Rescue Y1 - 2008 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-36351 SN - 978-3-923959-57-0 N1 - Zugl. gedruckte Ausgabe: ISBN: 978-3-923959-54-9 (Paper) ER - TY - THES A1 - Herrmann, Christian T1 - Robotic Motion Compensation for Applications in Radiation Oncology T1 - Robotergestützte Bewegungskompensation für Anwendungen in der Radioonkologie N2 - Aufgrund vieler Verbesserungen der Behandlungsmethoden im Laufe der letzten 60 Jahre, erlaubt die Strahlentherapie heutzutage präzise Behandlungen von statischen Tumoren. Jedoch birgt die Bestrahlung von sich bewegenden Tumoren noch große Herausforderungen in sich, da bewegliche Tumore oft den Behandlungsstrahl verlassen. Dabei reduziert sich die Strahlendosis im Tumor während sich diese im umliegenden gesunden Gewebe erhöht. Diese Forschungsarbeit zielt darauf ab, die Grenzen der Strahlentherapie zu erweitern, um präzise Behandlungen von beweglichen Tumoren zu ermöglichen. Der Fokus der Arbeit liegt auf der Erstellung eines Echtzeitsystems zur aktiven Kompensation von Tumorbewegungen durch robotergestützte Methoden. Während Behandlungen befinden sich Patienten auf einer Patientenliege, mit der statische Lagerungsfehler vor Beginn einer Behandlung korrigiert werden. Die in dieser Arbeit verwendete Patientenliege "HexaPOD" ist ein paralleler Manipulator mit sechs Freiheitsgraden, der große Lasten innerhalb eines eingeschränkten Arbeitsbereichs präzise positionieren kann. Obwohl der HexaPOD ursprünglich nicht für dynamische Anwendungen konzipiert wurde, wird dieser für eine dauerhafte Bewegungskompensation eingesetzt, in dem Patienten so bewegt werden, dass Tumore präzise im Zentralstrahl während der Dauer einer gesamten Behandlung verbleiben. Um ein echtzeitfähiges Kompensationssystem auf Basis des HexaPODs zu realisieren, muss eine Reihe an Herausforderungen bewältigt werden. Echtzeitaspekte werden einerseits durch die Verwendung eines harten Echtzeitbetriebssystems abgedeckt, andererseits durch die Messung und Schätzung von Latenzzeiten aller physikalischen Größen im System, z.B. Messungen der Tumor- und Atemposition. Neben der konsistenten und durchgängigen Berücksichtigung von akkuraten Zeitinformation, werden alle software-induzierten Latenzen adaptiv ausgeglichen. Dies erfordert Vorhersagen der Tumorposition in die nahe Zukunft. Zahlreiche Prädiktoren zur Atem- und Tumorpositionsvorhersage werden vorgeschlagen und anhand verschiedenster Metriken evaluiert. Erweiterungen der Prädiktionsalgorithmen werden eingeführt, die sowohl Atem- als auch Tumorpositionsinformationen fusionieren, um Vorhersagen ohne explizites Korrelationsmodell zu ermöglichen. Die Vorhersagen bestimmen den zukünftigen Bewegungspfad des HexaPODs, um Tumorbewegungen zu kompensieren. Dazu werden verschiedene Regler entwickelt, die eine Trajektorienverfolgung mit dem HexaPOD ermöglichen. Auf der Basis von linearer und nicht-linearer dynamischer Modellierung des HexaPODs mit Methoden der Systemidentifikation, wird zunächst ein modellprädiktiver Regler entwickelt. Ein zweiter Regler wird auf Basis einer Annahme über das Arbeitsprinzip des internen Reglers im HexaPOD entworfen. Schließlich wird ein dritter Regler vorgeschlagen, der beide vorhergehenden Regler miteinander kombiniert. Für jeden dieser Regler werden vergleichende Ergebnisse aus Experimenten mit realer Hardware und menschlichen Versuchspersonen präsentiert und diskutiert. Darüber hinaus wird die geeignete Wahl von freien Parametern in den Reglern vorgestellt. Neben einer präzisen Verfolgung der Referenztrajektorie spielt der Patientenkomfort eine entscheidende Rolle für die Akzeptanz des Systems. Es wird gezeigt, dass die Regler glatte Trajektorien realisieren können, um zu garantieren, dass sich Patienten wohl fühlen während ihre Tumorbewegung mit Genauigkeiten im Submillimeterbereich ausgeglichen wird. Gesamtfehler werden im Kompensationssystem analysiert, in dem diese zu Trajektorienverfolgungsfehlern und Prädiktionsfehlern in Beziehung gesetzt werden. Durch Ausnutzung von Eigenschaften verschiedener Prädiktoren wird gezeigt, dass die Startzeit des Systems bis die Verfolgung der Referenztrajektorie erreicht ist, wenige Sekunden beträgt. Dies gilt insbesondere für den Fall eines initial ruhenden HexaPODs und ohne Vorwissen über Tumorbewegungen. Dies zeigt die Eignung des Systems für die sehr kurz fraktionierten Behandlungen von Lungentumoren. Das Tumorkompensationssystem wurde ausschließlich auf Basis von klinischer Standard-Hardware entwickelt, die in vielen Behandlungsräumen zu finden ist. Durch ein einfaches und flexibles Design können Behandlungsräume in kosteneffizienter Weise um Möglichkeiten der Bewegungskompensation ergänzt werden. Darüber hinaus werden aktuelle Behandlungsmethoden wie intensitätsmodulierte Strahlentherapie oder Volumetric Modulated Arc Therapy in keiner Weise eingeschränkt. Aufgrund der Unterstützung verschiedener Kompensationsmodi kann das System auf alle beweglichen Tumore angewendet werden, unabhängig davon ob die Bewegungen vorhersagbar (Lungentumore) oder nicht vorhersagbar (Prostatatumore) sind. Durch Integration von geeigneten Methoden zur Tumorpositionsbestimmung kann das System auf einfache Weise zur Kompensation von anderen Tumoren erweitert werden. N2 - Radiation therapy today, on account of improvements in treatment procedures over the last 60 years, allows precise treatment of static tumors inside the human body. However, irradiation of moving tumors is still a challenging task as moving tumors often leave the treatment beam and the radiation dose delivered to the tumor reduces simultaneously increasing that on healthy tissue. This research work aims to push the frontiers of radiation therapy in order to enable precise treatment of moving tumors with focus on research and development of a unique real-time system enabling active motion compensation through robotic means to compensate tumor motion. During treatment, patients lie on a treatment couch which is normally used for static position corrections of patient set-up errors prior to radiation treatment. The treatment couch used, called HexaPOD, is a parallel manipulator with six degrees of freedom which can precisely position heavy loads inside a small region. Despite the HexaPOD not initially built with dynamics in mind, it is used in this work for sustained motion compensation by moving patients such that tumors stay precisely located at the center of the treatment beam during the complete course of treatment. In order to realize real-time tumor motion compensation by means of the HexaPOD, several challanges need to be addressed. Real-time aspects are covered by the adoption of a hard real-time operation system in combination with measurement and estimation of latencies of all physical quantities in the compensation system such as tumor or breathing position measurements. Accurate timing information is respected consistently in the whole system and all software-induced latencies are adaptively compensated for. This requires knowledge of future tumor positions from predictors. Several predictors for breathing and tumor motion predictions are proposed and evaluated in terms of a variety of different performance metrics. Extensions to prediction algorithms are introduced fusing both breathing and tumor position information to allow for predictions without the need of an explicit correlation model. Predictions determine the future motion path of the HexaPOD in order to compensate for tumor motion. Several control schemes are developed to enable reference tracking for the HexaPOD. Based on linear and non-linear dynamic modelling of the HexaPOD with system identification methods, a first controller is derived in the form of a model predictive controller. A second controller is proposed based on an assumption of the working principle of the HexaPOD's internal controller. Finally, a third controller is derived as combination of the first and second one. For each of these controllers, comparative results with real hardware experiments and humans in the loop as well as choices of free parameters are presented and discussed. Apart from precise tracking, emphasis is placed on patient comfort which is of crucial importance for acceptance of the system. It is demonstrated that smooth trajectories can be realized by the controllers to guarantee that patients feel comfortable while their tumor motion is compensated at sub-millimeter accuracies. Overall errors of the system are analyzed by relating them to tracking and prediction errors. By exploiting the properties of different predictors, it is shown that the startup time until tracking is reached can be reduced to only a few seconds, even in the case of an initially at-rest HexaPOD and with no initial knowledge of tumor motion. This makes the system especially suitable for the relatively short-fractionated treatment sessions for lung tumors. The tumor motion compensation system has been developed solely based on standard clinical hardware, found in most treatment rooms. With a simple and flexible design, existing treatment can be updated in a cost-efficient way to introduce motion compensation capabilities. Simultaneously, the system does not impose any constraints on state-of-the-art treatment types such as intensity modulated radiotherapy or volumetric modulated arc therapy. Supporting different compensation modes, the system can be applied to any moving tumor whether its motion is predictable (lung tumors) or unpredictable (prostate tumors). By integration of adequate tumor position determination methods, the system can be easily extended to other tumors as well. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 7 KW - Robotik KW - Bewegungskompensation KW - Regelung KW - Strahlentherapie KW - Vorhersage KW - Tumorbewegung KW - Echzeit KW - Prediction KW - Tumor motion KW - Real-time Y1 - 2013 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-79045 SN - 978-3-923959-88-4 ER - TY - THES A1 - Hess, Martin T1 - Motion coordination and control in systems of nonholonomic autonomous vehicles T1 - Bewegungskoordination und Regelung in Gruppen nichtholonomer autonomer Fahrzeuge N2 - This work focuses on coordination methods and the control of motion in groups of nonholonomic wheeled mobile robots, in particular of the car-like type. These kind of vehicles are particularly restricted in their mobility. In the main part of this work the two problems of formation motion coordination and of rendezvous in distributed multi-vehicle systems are considered. We introduce several enhancements to an existing motion planning approach for formations of nonholonomic mobile robots. Compared to the original method, the extended approach is able to handle time-varying reference speeds as well as adjustments of the formation's shape during reference trajectory segments with continuously differentiable curvature. Additionally, undesired discontinuities in the speed and steering profiles of the vehicles are avoided. Further, the scenario of snow shoveling on an airfield by utilizing multiple formations of autonomous snowplows is discussed. We propose solutions to the subproblems of motion planning for the formations and tracking control for the individual vehicles. While all situations that might occur have been tested in a simulation environment, we also verified the developed tracking controller in real robot hardware experiments. The task of the rendezvous problem in groups of car-like robots is to drive all vehicles to a common position by means of decentralized control laws. Typically there exists no direct interaction link between all of the vehicles. In this work we present decentralized rendezvous control laws for vehicles with free and with bounded steering. The convergence properties of the approaches are analyzed by utilizing Lyapunov based techniques. Furthermore, they are evaluated within various simulation experiments, while the bounded steering case is also verified within laboratory hardware experiments. Finally we introduce a modification to the bounded steering system that increases the convergence speed at the expense of a higher traveled distance of the vehicles. N2 - Diese Arbeit befasst sich mit Methoden zur Bewegungskoordination und Regelung in Gruppen autonomer, nichtholomer Fahrzeuge, wobei vornehmlich autoähnliche mobile Roboter betrachtet werden. Diese Fahrzeuge sind besonders eingeschränkt in ihrer Bewegungsfreiheit. Im Hauptteil der Arbeit werden die Probleme der Formationsbewegung und des Rendezvous in Gruppen verteilter Fahrzeuge betrachtet. Für ein bestehendes Verfahren zur Bewegungsplanung für Formationen nichtholonomer, mobiler Fahrzeuge werden eine Reihe von Verbesserungen vorgestellt. Diese ermöglichen dem erweiterten Verfahren den Umgang mit Referenztrajektorien mit nicht-konstanter Geschwindigkeit und stetig differenzierbarer Krümmung. Außerdem werden im Gegensatz zum ursprünglichen Ansatz unerwünschte Sprungstellen in den Geschwindigkeits- und Krümmungsprofilen der Fahrzeuge vermieden. Desweiteren wird in dieser Arbeit das Schneeräumen auf Flughafenrollfeldern mittels Formationen autonomer Schneepflugfahrzeuge diskutiert. Dabei werden Lösungen für die Teilprobleme Bewegungsplanung der Formationen und Spurführungsregelung der einzelnen Fahrzeuge vorgestellt. Zusätzlich zu den durchgeführten Simulationen werden außerdem die Ergebnisse von Hardwareexperimenten mit der entwickelten Spurführungsregelung präsentiert. Das Rendezvous-Problem in Gruppen autoähnlicher Roboter besteht darin, die Fahrzeuge durch dezentrale Regelgesetze zu einer gemeinsamen Position in der Ebene zu bewegen. Dabei besteht typischerweise keine direkte Interaktionsverbindung zwischen allen Fahrzeugen der Gruppe. In dieser Arbeit werden verteilte Rendezvous-Regelgesetze für Fahrzeuge mit unbeschränktem und mit beschränktem Lenkwinkel eingeführt und deren Konvergenzeigenschaften mit Methoden zur Stabilitätsanalyse nicht-linearer Systeme untersucht. Die vorgestellten Regelsysteme werden weiterhin anhand von Simulationen und Hardwareexperimenten verifiziert. Schließlich wird noch eine Erweiterung des Systems für Fahrzeuge mit beschränktem Lenkwinkel vorgestellt, welches die Konvergenzgeschwindigkeit auf Kosten der zurückgelegten Distanz der Fahrzeuge erhöht. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 2 KW - Robotik KW - Autonomer Roboter KW - Mobiler Roboter KW - Bewegungskoordination KW - Dezentrale Regelung KW - Nichtlineare Regelung KW - Rendezvous KW - Kooperierende mobile Roboter KW - Formationsbewegung KW - Nichtholonome Fahrzeuge KW - Mehrfahrzeugsysteme KW - Unstetige Regelung KW - Autonomous multi-vehicle systems KW - multi-vehicle formations KW - multi-vehicle rendezvous KW - car-like robots KW - nonholonomic vehicles Y1 - 2009 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-46442 SN - 978-3-923959-55-6 ER - TY - THES A1 - Houshiar, Hamidreza T1 - Documentation and mapping with 3D point cloud processing T1 - Dokumentation und Kartierung mittels 3D-Punktwolkenverarbeitung N2 - 3D point clouds are a de facto standard for 3D documentation and modelling. The advances in laser scanning technology broadens the usability and access to 3D measurement systems. 3D point clouds are used in many disciplines such as robotics, 3D modelling, archeology and surveying. Scanners are able to acquire up to a million of points per second to represent the environment with a dense point cloud. This represents the captured environment with a very high degree of detail. The combination of laser scanning technology with photography adds color information to the point clouds. Thus the environment is represented more realistically. Full 3D models of environments, without any occlusion, require multiple scans. Merging point clouds is a challenging process. This thesis presents methods for point cloud registration based on the panorama images generated from the scans. Image representation of point clouds introduces 2D image processing methods to 3D point clouds. Several projection methods for the generation of panorama maps of point clouds are presented in this thesis. Additionally, methods for point cloud reduction and compression based on the panorama maps are proposed. Due to the large amounts of data generated from the 3D measurement systems these methods are necessary to improve the point cloud processing, transmission and archiving. This thesis introduces point cloud processing methods as a novel framework for the digitisation of archeological excavations. The framework replaces the conventional documentation methods for excavation sites. It employs point clouds for the generation of the digital documentation of an excavation with the help of an archeologist on-site. The 3D point cloud is used not only for data representation but also for analysis and knowledge generation. Finally, this thesis presents an autonomous indoor mobile mapping system. The mapping system focuses on the sensor placement planning method. Capturing a complete environment requires several scans. The sensor placement planning method solves for the minimum required scans to digitise large environments. Combining this method with a navigation system on a mobile robot platform enables it to acquire data fully autonomously. This thesis introduces a novel hole detection method for point clouds to detect obscured parts of a captured environment. The sensor placement planning method selects the next scan position with the most coverage of the obscured environment. This reduces the required number of scans. The navigation system on the robot platform consist of path planning, path following and obstacle avoidance. This guarantees the safe navigation of the mobile robot platform between the scan positions. The sensor placement planning method is designed as a stand alone process that could be used with a mobile robot platform for autonomous mapping of an environment or as an assistant tool for the surveyor on scanning projects. N2 - 3D-Punktwolken sind der de facto Standard bei der Dokumentation und Modellierung in 3D. Die Fortschritte in der Laserscanningtechnologie erweitern die Verwendbarkeit und die Verfügbarkeit von 3D-Messsystemen. 3D-Punktwolken werden in vielen Disziplinen verwendet, wie z.B. in der Robotik, 3D-Modellierung, Archäologie und Vermessung. Scanner sind in der Lage bis zu einer Million Punkte pro Sekunde zu erfassen, um die Umgebung mit einer dichten Punktwolke abzubilden und mit einem hohen Detaillierungsgrad darzustellen. Die Kombination der Laserscanningtechnologie mit Methoden der Photogrammetrie fügt den Punktwolken Farbinformationen hinzu. Somit wird die Umgebung realistischer dargestellt. Vollständige 3D-Modelle der Umgebung ohne Verschattungen benötigen mehrere Scans. Punktwolken zusammenzufügen ist eine anspruchsvolle Aufgabe. Diese Arbeit stellt Methoden zur Punktwolkenregistrierung basierend auf aus den Scans erzeugten Panoramabildern vor. Die Darstellung einer Punktwolke als Bild bringt Methoden der 2D-Bildverarbeitung an 3D-Punktwolken heran. Der Autor stellt mehrere Projektionsmethoden zur Erstellung von Panoramabildern aus 3D-Punktwolken vor. Außerdem werden Methoden zur Punktwolkenreduzierung und -kompression basierend auf diesen Panoramabildern vorgeschlagen. Aufgrund der großen Datenmenge, die von 3D-Messsystemen erzeugt wird, sind diese Methoden notwendig, um die Punktwolkenverarbeitung, -übertragung und -archivierung zu verbessern. Diese Arbeit präsentiert Methoden der Punktwolkenverarbeitung als neuartige Ablaufstruktur für die Digitalisierung von archäologischen Ausgrabungen. Durch diesen Ablauf werden konventionellen Methoden auf Ausgrabungsstätten ersetzt. Er verwendet Punktwolken für die Erzeugung der digitalen Dokumentation einer Ausgrabung mithilfe eines Archäologen vor Ort. Die 3D-Punktwolke kommt nicht nur für die Anzeige der Daten, sondern auch für die Analyse und Wissensgenerierung zum Einsatz. Schließlich stellt diese Arbeit ein autonomes Indoor-Mobile-Mapping-System mit Fokus auf der Positionsplanung des Messgeräts vor. Die Positionsplanung bestimmt die minimal benötigte Anzahl an Scans, um großflächige Umgebungen zu digitalisieren. Kombiniert mit einem Navigationssystem auf einer mobilen Roboterplattform ermöglicht diese Methode die vollautonome Datenerfassung. Diese Arbeit stellt eine neuartige Erkennungsmethode für Lücken in Punktwolken vor, um verdeckte Bereiche der erfassten Umgebung zu bestimmen. Die Positionsplanung bestimmt als nächste Scanposition diejenige mit der größten Abdeckung der verdeckten Umgebung. Das Navigationssystem des Roboters besteht aus der Pfadplanung, der Pfadverfolgung und einer Hindernisvermeidung um eine sichere Fortbewegung der mobilen Roboterplattform zwischen den Scanpositionen zu garantieren. Die Positionsplanungsmethode wurde als eigenständiges Verfahren entworfen, das auf einer mobilen Roboterplattform zur autonomen Kartierung einer Umgebung zum Einsatz kommen oder einem Vermesser bei einem Scanprojekt als Unterstützung dienen kann. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 12 KW - 3D Punktwolke KW - Robotik KW - Registrierung KW - 3D Pointcloud KW - Feature Based Registration KW - Compression KW - Computer Vision KW - Robotics KW - Panorama Images Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-144493 SN - 978-3-945459-14-0 ER - TY - THES A1 - Pöhner, Nicolai T1 - Educational robotics competitions as out-of-school learning setting for STEM education: An empirical study on students’ learning of problem solving skills through participation in the World Robot Olympiad T1 - Roboterwettbewerbe als außerschulisches Lernangebot für den MINT-Unterricht: Eine empirische Untersuchung zur Förderung der Problemlösefähigkeiten von Schülerinnen und Schülern durch Teilnahme an der World Robot Olympiad N2 - Educational robotics is an innovative approach to teaching and learning a variety of different concepts and skills as well as motivating students in the field of Science, Technology, Engineering, and Mathematics (STEM) education. This especially applies to educational robotics competitions such as, for example, the FIRST LEGO League, the RoboCup Junior, or the World Robot Olympiad as out-of-school and goal-oriented approach to educational robotics. These competitions have gained greatly in popularity in recent years and thousands of students participate in these competitions worldwide each year. Moreover, the corresponding technology became more accessible for teachers and students to use it in their classrooms and has arguably a high potential to impact the nature of science education at all levels. One skill, which is said to be benefitting from educational robotics, is problem solving. This thesis understands problem solving skills as engineering design skills (in contrast to scientific inquiry). Problem solving skills count as important skills as demanded by industry leaders and policy makers in the context of 21st century skills, which are relevant for students to be well-prepared for their future working life in today’s world, shaped by an ongoing process of automation, globalization, and digitalization. The overall aim of this thesis is to try to answer the question if educational robotics competitions such as the World Robot Olympiad (WRO) have a positive impact on students’ learning in terms of their problem solving skills (as part of 21st century skills). In detail, this thesis focuses on a) if students can improve their problem solving skills through participation in educational robotics competitions, b) how this skill development is accomplished, and c) the teachers’ support of their students during their learning process in the competition. The corresponding empirical studies were conducted throughout the seasons of 2018 and 2019 of the WRO in Germany. The results show overall positive effects of the participation in the WRO on students’ learning of problem solving skills. They display an increase of students’ problem solving skills, which is not moderated by other variables such as the competition’s category or age group, the students’ gender or experience, or the success of the teams at the competition. Moreover, the results indicate that students develop their problem solving skills by using a systematic engineering design process and sophisticated problem solving strategies. Lastly, the teacher’s role in the educational robotics competitions as manager and guide (in terms of the constructionist learning theory) of the students’ learning process (especially regarding the affective level) is underlined by the results of this thesis. All in all, this thesis contributes to the research gap concerning the lack of systematic evaluation of educational robotics to promote students’ learning by providing more (methodologically) sophisticated research on this topic. Thereby, this thesis follows the call for more rigorous (quantitative) research by the educational robotics community, which is necessary to validate the impact of educational robotics. N2 - Die Robotik stellt einen handlungsorientierten („hands-on“) Zugang zur Bildung in Mathematik, Informatik, Naturwissenschaften und Technik (MINT) dar. Dabei fördert sie das Lernen von Schülerinnen und Schülern nicht nur auf kognitiver Ebene, sondern trägt auch zu einer erhöhten Motivation und erhöhtem Interesse bei (affektive Ebene). In den letzten Jahren erfreuen sich gerade Roboterwettbewerbe als außerschulisches Lernangebot steigender Beliebtheit und verzeichnen weltweit jährlich wachsende Teilnehmerzahlen. Beispiele dafür sind die FIRST LEGO League, der RoboCup Junior und die World Robot Olympiad. Zudem steigt auch die Verfügbarkeit der nötigen Robotersysteme für Schülerinnen und Schüler sowie Lehrkräfte, um sie in der Schule einzusetzen und damit verschiedenste Lerninhalte in allen Jahrgangsstufen zu vermitteln. Ein Lerninhalt, der durch die Robotik besonders gefördert werden können soll, ist das Problemlösen. Problemlösen wird in dieser Arbeit als ingenieurwissenschaftliche Denk- und Arbeitsweise verstanden (im Gegensatz zu naturwissenschaftlichen Denk- und Arbeitsweisen). Das Problemlösen gilt dabei als eine wichtige Fähigkeit im Kontext von sog. 21st century skills. Diese beschreiben wichtige Fähigkeiten für die Arbeitswelt von morgen. Sie resultieren aus einer fortschreitenden Automatisierung, Globalisierung und Digitalisierung unserer Welt und werden regelmäßig von Vertretern von Industrie und Politik gefordert. Eine Forschungslücke stellt aber weiterhin die unzureichende systematische wissenschaftliche Forschung und Evaluation hinsichtlich des positiven Einflusses der Robotik auf das Lernen dar. Die fehlende Systematik geht dabei vor allem die Verwendung wenig aussagekräftiger Methodik (z.B. deskriptive Erfahrungsberichte von einzelnen Lehrkräften) zurück. Das übergreifende Ziel dieser Arbeit ist es, zu untersuchen, ob eine Teilnahme an der World Robot Olympiad (WRO) (als Beispiel für einen beliebten Roboterwettbewerb) einen positiven Einfluss auf die Problemlösefähigkeiten (als Teil der 21st century skills) der Schülerinnen und Schüler hat. Dabei wird im Detail untersucht, a) ob die Problemlösefähigkeiten der Schülerinnen und Schüler durch eine Teilnahme an Roboterwettbewerben verbessert werden können, b) wie diese Verbesserung zustande kommt und c) wie die Team-Coaches die Schülerinnen und Schüler während ihres Lernprozesses unterstützen. Die dazu durchgeführten empirischen Studien fanden in den beiden Jahren 2018 und 2019 im Rahmen der WRO in Deutschland statt. Die Ergebnisse dieser Arbeit zeigen einen insgesamt positiven Einfluss einer Teilnahme an der WRO auf die Problemlösefähigkeiten der Schülerinnen und Schüler. Dies zeigt sich in einer Verbesserung ihrer Problemlösefähigkeiten durch die Teilnahme, die nicht durch andere Variablen wie der Kategorie und Altersklasse der WRO, dem Geschlecht und der Erfahrung der Schülerinnen und Schüler sowie deren Erfolg beim Roboterwettbewerb moderiert wurde. Die Verbesserung der Problemlösefähigkeiten erfolgt durch die Verwendung von systematischen ingenieurwissenschaftlichen Denk- und Arbeitsweisen sowie fortgeschrittenen Problemlösestrategien. Die Rolle des Team-Coaches als Manager und Lernbegleiter (im Sinne einer konstruktionistischen Didaktik) im Roboterwettbewerb (besonders bezüglich der affektiven Ebene) wird durch die Ergebnisse der Arbeit ebenfalls unterstrichen. Zusammenfassend lässt sich also sagen, dass diese Arbeit einen Beitrag hinsichtlich der Forschungslücke leistet und damit dem Aufruf der Community nach weiterer (quantitativer) wissenschaftlicher Forschung nachkommt, der nötig ist, um den positiven Einfluss der Robotik auf das Lernen der Schülerinnen und Schüler zu bestätigen. KW - Fachdidaktik KW - Außerschulische Bildung KW - Computer Science education KW - Educational robotics KW - Educational robotics competitions KW - problem solving skills KW - Didaktik der Informatik KW - Robotik KW - Roboterwettbewerbe KW - Problemlösefähigkeiten KW - Informatik Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-243179 ER - TY - THES A1 - Sauer, Markus T1 - Mixed-Reality for Enhanced Robot Teleoperation T1 - Mixed-Reality zur verbesserten Fernbedienung von Robotern N2 - In den letzten Jahren ist die Forschung in der Robotik soweit fortgeschritten, dass die Mensch-Maschine Schnittstelle zunehmend die kritischste Komponente für eine hohe Gesamtperformanz von Systemen zur Navigation und Koordination von Robotern wird. In dieser Dissertation wird untersucht wie Mixed-Reality Technologien für Nutzerschnittstellen genutzt werden können, um diese Gesamtperformanz zu erhöhen. Hierzu werden Konzepte und Technologien entwickelt, die durch Evaluierung mit Nutzertest ein optimiertes und anwenderbezogenes Design von Mixed-Reality Nutzerschnittstellen ermöglichen. Er werden somit sowohl die technische Anforderungen als auch die menschlichen Faktoren für ein konsistentes Systemdesign berücksichtigt. Nach einer detaillierten Problemanalyse und der Erstellung eines Systemmodels, das den Menschen als Schlüsselkomponente mit einbezieht, wird zunächst die Anwendung der neuartigen 3D-Time-of-Flight Kamera zur Navigation von Robotern, aber auch für den Einsatz in Mixed-Reality Schnittstellen analysiert und optimiert. Weiterhin wird gezeigt, wie sich der Netzwerkverkehr des Videostroms als wichtigstes Informationselement der meisten Nutzerschnittstellen für die Navigationsaufgabe auf der Netzwerk Applikationsebene in typischen Multi-Roboter Netzwerken mit dynamischen Topologien und Lastsituation optimieren lässt. Hierdurch ist es möglich in sonst in sonst typischen Ausfallszenarien den Videostrom zu erhalten und die Bildrate zu stabilisieren. Diese fortgeschrittenen Technologien werden dann auch dem entwickelten Konzept der generischen 3D Mixed Reality Schnittselle eingesetzt. Dieses Konzept ermöglicht eine integrierte 3D Darstellung der verfügbaren Information, so dass räumliche Beziehungen von Informationen aufrechterhalten werden und somit die Anzahl der mentalen Transformationen beim menschlichen Bediener reduziert wird. Gleichzeitig werden durch diesen Ansatz auch immersive Stereo Anzeigetechnologien unterstützt, welche zusätzlich das räumliche Verständnis der entfernten Situation fördern. Die in der Dissertation vorgestellten und evaluierten Ansätze nutzen auch die Tatsache, dass sich eine lokale Autonomie von Robotern heute sehr robust realisieren lässt. Dies wird zum Beispiel zur Realisierung eines Assistenzsystems mit variabler Autonomie eingesetzt. Hierbei erhält der Fernbediener über eine Kraftrückkopplung kombiniert mit einer integrierten Augmented Reality Schnittstelle, einen Eindruck über die Situation am entfernten Arbeitsbereich, aber auch über die aktuelle Navigationsintention des Roboters. Die durchgeführten Nutzertests belegen die signifikante Steigerung der Navigationsperformanz durch den entwickelten Ansatz. Die robuste lokale Autonomie ermöglicht auch den in der Dissertation eingeführten Ansatz der prädiktiven Mixed-Reality Schnittstelle. Die durch diesen Ansatz entkoppelte Regelschleife über den Menschen ermöglicht es die Sichtbarkeit von unvermeidbaren Systemverzögerungen signifikant zu reduzieren. Zusätzlich können durch diesen Ansatz beide für die Navigation hilfreichen Blickwinkel in einer 3D-Nutzerschnittstelle kombiniert werden – der exozentrische Blickwinkel und der egozentrische Blickwinkel als Augmented Reality Sicht. N2 - With the progress in robotics research the human machine interfaces reach more and more the status of being the major limiting factor for the overall system performance of a system for remote navigation and coordination of robots. In this monograph it is elaborated how mixed reality technologies can be applied for the user interfaces in order to increase the overall system performance. Concepts, technologies, and frameworks are developed and evaluated in user studies which enable for novel user-centered approaches to the design of mixed-reality user interfaces for remote robot operation. Both the technological requirements and the human factors are considered to achieve a consistent system design. Novel technologies like 3D time-of-flight cameras are investigated for the application in the navigation tasks and for the application in the developed concept of a generic mixed reality user interface. In addition it is shown how the network traffic of a video stream can be shaped on application layer in order to reach a stable frame rate in dynamic networks. The elaborated generic mixed reality framework enables an integrated 3D graphical user interface. The realized spatial integration and visualization of available information reduces the demand for mental transformations for the human operator and supports the use of immersive stereo devices. The developed concepts make also use of the fact that local robust autonomy components can be realized and thus can be incorporated as assistance systems for the human operators. A sliding autonomy concept is introduced combining force and visual augmented reality feedback. The force feedback component allows rendering the robot's current navigation intention to the human operator, such that a real sliding autonomy with seamless transitions is achieved. The user-studies prove the significant increase in navigation performance by application of this concept. The generic mixed reality user interface together with robust local autonomy enables a further extension of the teleoperation system to a short-term predictive mixed reality user interface. With the presented concept of operation, it is possible to significantly reduce the visibility of system delays for the human operator. In addition, both advantageous characteristics of a 3D graphical user interface for robot teleoperation- an exocentric view and an augmented reality view – can be combined. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 5 KW - Mobiler Roboter KW - Autonomer Roboter KW - Mensch-Maschine-Schnittstelle KW - Mixed Reality KW - Mensch-Roboter-Interaktion KW - Teleoperation KW - Benutzerschnittstelle KW - Robotik KW - Mensch-Maschine-System KW - Human-Robot-Interaction KW - Teleoperation KW - User Interface Y1 - 2010 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-55083 SN - 978-3-923959-67-9 ER - TY - THES A1 - Xu, Zhihao T1 - Cooperative Formation Controller Design for Time-Delay and Optimality Problems T1 - Reglerentwurf der kooperativen Formation für Zeitverzögerungs- und Optimalitäts Probleme N2 - This dissertation presents controller design methodologies for a formation of cooperative mobile robots to perform trajectory tracking and convoy protection tasks. Two major problems related to multi-agent formation control are addressed, namely the time-delay and optimality problems. For the task of trajectory tracking, a leader-follower based system structure is adopted for the controller design, where the selection criteria for controller parameters are derived through analyses of characteristic polynomials. The resulting parameters ensure the stability of the system and overcome the steady-state error as well as the oscillation behavior under time-delay effect. In the convoy protection scenario, a decentralized coordination strategy for balanced deployment of mobile robots is first proposed. Based on this coordination scheme, optimal controller parameters are generated in both centralized and decentralized fashion to achieve dynamic convoy protection in a unified framework, where distributed optimization technique is applied in the decentralized strategy. This unified framework takes into account the motion of the target to be protected, and the desired system performance, for instance, minimal energy to spend, equal inter-vehicle distance to keep, etc. Both trajectory tracking and convoy protection tasks are demonstrated through simulations and real-world hardware experiments based on the robotic equipment at Department of Computer Science VII, University of Würzburg. N2 - Diese Dissertation handelt sich um Controller Entwurfsmethoden für eine Bildung von kooperativen mobile Roboter auf Bahnverfolgung und Konvoischutz Aufgaben. Zwei große Probleme zu Multi-Agenten-Formation Steuerung werden angesprochen, nämlich die Zeitverzögerung und Optimalitätsprobleme. Für die Aufgabe der Bahnverfolgung wird eine Leader-Follower-basiertes System für den Reglerentwurf angenommen, in dem die Auswahlkriterien für die Reglerparameter durch Analysen von charakteristischen Polynome abgeleitet werden. Die herauskommenden Parameter sorgen für die Stabilität des Systems und vermeiden die Steady-State Fehler sowie das Schwingungsverhalten unter Zeitverzögerungseffekt. In der Konvoischutz Szenario wird eine dezentrale Koordinationsstrategie zur ausgewogenen Einsatz mobiler Roboter zum ersten Mal vorgeschlagen. Auf der Grundlage dieser Abstimmungsschema werden optimale Reglerparameter in zentrale und dezentrale Weise für den dynamischen Konvoischutz in einem einheitlichen Rahmen erzeugt, in dem verteilten Optimierungstechnik in der dezentralen Strategie angewendet ist. Diese einheitlichen Rahmen berücksichtigt die Bewegung des zuschützenden Ziels, und die gewünschte Systemleistung, zum Beispiel, einen minimalen ausgegebene Energie, und einen gleichen Zwischenfahrzeugabstand, usw. Die Aufgaben der Bahnverfolgung und des Konvoischutzes werden durch Simulationen und realen Hardware-Experimente auf der Basis der Roboterausrüstungen am Institut für Informatik VII, Universität Würzburg demonstriert. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 9 KW - Optimalwertregelung KW - Robotik KW - Autonomer Roboter KW - Geleitzug KW - Optimal control KW - Decentralized formation control KW - Trajectory tracking KW - Convoy Protection KW - Optimale Regelung KW - Konvoi Y1 - 2014 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-105555 SN - 978-3-923959-96-9 ER -