TY - THES A1 - Wick, Christoph T1 - Optical Medieval Music Recognition T1 - Optical Medieval Music Recognition N2 - In recent years, great progress has been made in the area of Artificial Intelligence (AI) due to the possibilities of Deep Learning which steadily yielded new state-of-the-art results especially in many image recognition tasks. Currently, in some areas, human performance is achieved or already exceeded. This great development already had an impact on the area of Optical Music Recognition (OMR) as several novel methods relying on Deep Learning succeeded in specific tasks. Musicologists are interested in large-scale musical analysis and in publishing digital transcriptions in a collection enabling to develop tools for searching and data retrieving. The application of OMR promises to simplify and thus speed-up the transcription process by either providing fully-automatic or semi-automatic approaches. This thesis focuses on the automatic transcription of Medieval music with a focus on square notation which poses a challenging task due to complex layouts, highly varying handwritten notations, and degradation. However, since handwritten music notations are quite complex to read, even for an experienced musicologist, it is to be expected that even with new techniques of OMR manual corrections are required to obtain the transcriptions. This thesis presents several new approaches and open source software solutions for layout analysis and Automatic Text Recognition (ATR) for early documents and for OMR of Medieval manuscripts providing state-of-the-art technology. Fully Convolutional Networks (FCN) are applied for the segmentation of historical manuscripts and early printed books, to detect staff lines, and to recognize neume notations. The ATR engine Calamari is presented which allows for ATR of early prints and also the recognition of lyrics. Configurable CNN/LSTM-network architectures which are trained with the segmentation-free CTC-loss are applied to the sequential recognition of text but also monophonic music. Finally, a syllable-to-neume assignment algorithm is presented which represents the final step to obtain a complete transcription of the music. The evaluations show that the performances of any algorithm is highly depending on the material at hand and the number of training instances. The presented staff line detection correctly identifies staff lines and staves with an $F_1$-score of above $99.5\%$. The symbol recognition yields a diplomatic Symbol Accuracy Rate (dSAR) of above $90\%$ by counting the number of correct predictions in the symbols sequence normalized by its length. The ATR of lyrics achieved a Character Error Rate (CAR) (equivalently the number of correct predictions normalized by the sentence length) of above $93\%$ trained on 771 lyric lines of Medieval manuscripts and of 99.89\% when training on around 3.5 million lines of contemporary printed fonts. The assignment of syllables and their corresponding neumes reached $F_1$-scores of up to $99.2\%$. A direct comparison to previously published performances is difficult due to different materials and metrics. However, estimations show that the reported values of this thesis exceed the state-of-the-art in the area of square notation. A further goal of this thesis is to enable musicologists without technical background to apply the developed algorithms in a complete workflow by providing a user-friendly and comfortable Graphical User Interface (GUI) encapsulating the technical details. For this purpose, this thesis presents the web-application OMMR4all. Its fully-functional workflow includes the proposed state-of-the-art machine-learning algorithms and optionally allows for a manual intervention at any stage to correct the output preventing error propagation. To simplify the manual (post-) correction, OMMR4all provides an overlay-editor that superimposes the annotations with a scan of the original manuscripts so that errors can easily be spotted. The workflow is designed to be iteratively improvable by training better models as soon as new Ground Truth (GT) is available. N2 - In den letzten Jahre wurden aufgrund der Möglichkeiten durch Deep Learning, was insbesondere in vielen Bildbearbeitungsaufgaben stetig neue Bestwerte erzielte, große Fortschritte im Bereich der künstlichen Intelligenz (KI) gemacht. Derzeit wird in vielen Gebieten menschliche Performanz erreicht oder mittlerweile sogar übertroffen. Diese großen Entwicklungen hatten einen Einfluss auf den Forschungsbereich der optischen Musikerkennung (OMR), da verschiedenste Methodiken, die auf Deep Learning basierten in spezifischen Aufgaben erfolgreich waren. Musikwissenschaftler sind in großangelegter Musikanalyse und in das Veröffentlichen von digitalen Transkriptionen als Sammlungen interessiert, was eine Entwicklung von Werkzeugen zur Suche und Datenakquise ermöglicht. Die Anwendung von OMR verspricht diesen Transkriptionsprozess zu vereinfachen und zu beschleunigen indem vollautomatische oder semiautomatische Ansätze bereitgestellt werden. Diese Arbeit legt den Schwerpunkt auf die automatische Transkription von mittelalterlicher Musik mit einem Fokus auf Quadratnotation, die eine komplexe Aufgabe aufgrund der komplexen Layouts, der stark variierenden Notationen und der Alterungsprozesse der Originalmanuskripte darstellt. Da jedoch die handgeschriebenen Musiknotationen selbst für erfahrene Musikwissenschaftler aufgrund der Komplexität schwer zu lesen sind, ist davon auszugehen, dass selbst mit den neuesten OMR-Techniken manuelle Korrekturen erforderlich sind, um die Transkription zu erhalten. Diese Arbeit präsentiert mehrere neue Ansätze und Open-Source-Software-Lösungen zur Layoutanalyse und zur automatischen Texterkennung (ATR) von frühen Dokumenten und für OMR von Mittelalterlichen Mauskripten, die auf dem Stand der aktuellen Technik sind. Fully Convolutional Networks (FCN) werden zur Segmentierung der historischen Manuskripte und frühen Buchdrucke, zur Detektion von Notenlinien und zur Erkennung von Neumennotationen eingesetzt. Die ATR-Engine Calamari, die eine ATR von frühen Buchdrucken und ebenso eine Erkennung von Liedtexten ermöglicht wird vorgestellt. Konfigurierbare CNN/LSTM-Netzwerkarchitekturen, die mit dem segmentierungsfreien CTC-loss trainiert werden, werden zur sequentiellen Texterkennung, aber auch einstimmiger Musik, eingesetzt. Abschließend wird ein Silben-zu-Neumen-Algorithmus vorgestellt, der dem letzten Schritt entspricht eine vollständige Transkription der Musik zu erhalten. Die Evaluationen zeigen, dass die Performanz eines jeden Algorithmus hochgradig abhängig vom vorliegenden Material und der Anzahl der Trainingsbeispiele ist. Die vorgestellte Notenliniendetektion erkennt Notenlinien und -zeilen mit einem $F_1$-Wert von über 99,5%. Die Symbolerkennung erreichte eine diplomatische Symbolerkennungsrate (dSAR), die die Anzahl der korrekten Vorhersagen in der Symbolsequenz zählt und mit der Länge normalisiert, von über 90%. Die ATR von Liedtext erzielte eine Zeichengenauigkeit (CAR) (äquivalent zur Anzahl der korrekten Vorhersagen normalisiert durch die Sequenzlänge) von über 93% bei einem Training auf 771 Liedtextzeilen von mittelalterlichen Manuskripten und von 99,89%, wenn auf 3,5 Millionen Zeilen von moderner gedruckter Schrift trainiert wird. Die Zuordnung von Silben und den zugehörigen Neumen erreicht $F_1$-werte von über 99,2%. Ein direkter Vergleich zu bereits veröffentlichten Performanzen ist hierbei jedoch schwer, da mit verschiedenen Material und Metriken evaluiert wurde. Jedoch zeigen Abschätzungen, dass die Werte dieser Arbeit den aktuellen Stand der Technik darstellen. Ein weiteres Ziel dieser Arbeit war es, Musikwissenschaftlern ohne technischen Hintergrund das Anwenden der entwickelten Algorithmen in einem vollständigen Workflow zu ermöglichen, indem eine benutzerfreundliche und komfortable graphische Benutzerschnittstelle (GUI) bereitgestellt wird, die die technischen Details kapselt. Zu diesem Zweck präsentiert diese Arbeit die Web-Applikation OMMR4all. Ihr voll funktionsfähiger Workflow inkludiert die vorgestellten Algorithmen gemäß dem aktuellen Stand der Technik und erlaubt optional manuell zu jedem Schritt einzugreifen, um die Ausgabe zur Vermeidung von Folgefehlern zu korrigieren. Zur Vereinfachung der manuellen (Nach-)Korrektur stellt OMMR4all einen Overlay-Editor zur Verfügung, der die Annotationen mit dem Scan des Originalmanuskripts überlagert, wodurch Fehler leicht erkannt werden können. Das Design des Workflows erlaubt iterative Verbesserungen, indem neue performantere Modelle trainiert werden können, sobald neue Ground Truth (GT) verfügbar ist. KW - Neumenschrift KW - Optische Zeichenerkennung (OCR) KW - Deep Learning KW - Optical Music Recognition KW - Neume Notation KW - Automatic Text Reconition KW - Optical Character Recognition KW - Deep Learning KW - Optische Musikerkennung (OMR) KW - Neumennotation KW - Automatische Texterkennung (ATR) Y1 - 2020 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-214348 ER - TY - THES A1 - Borrmann, Dorit T1 - Multi-modal 3D mapping - Combining 3D point clouds with thermal and color information T1 - Multi-modale 3D-Kartierung - Kombination von 3D-Punktwolken mit Thermo- und Farbinformation N2 - Imagine a technology that automatically creates a full 3D thermal model of an environment and detects temperature peaks in it. For better orientation in the model it is enhanced with color information. The current state of the art for analyzing temperature related issues is thermal imaging. It is relevant for energy efficiency but also for securing important infrastructure such as power supplies and temperature regulation systems. Monitoring and analysis of the data for a large building is tedious as stable conditions need to be guaranteed for several hours and detailed notes about the pose and the environment conditions for each image must be taken. For some applications repeated measurements are necessary to monitor changes over time. The analysis of the scene is only possible through expertise and experience. This thesis proposes a robotic system that creates a full 3D model of the environment with color and thermal information by combining thermal imaging with the technology of terrestrial laser scanning. The addition of a color camera facilitates the interpretation of the data and allows for other application areas. The data from all sensors collected at different positions is joined in one common reference frame using calibration and scan matching. The first part of the thesis deals with 3D point cloud processing with the emphasis on accessing point cloud data efficiently, detecting planar structures in the data and registering multiple point clouds into one common coordinate system. The second part covers the autonomous exploration and data acquisition with a mobile robot with the objective to minimize the unseen area in 3D space. Furthermore, the combination of different modalities, color images, thermal images and point cloud data through calibration is elaborated. The last part presents applications for the the collected data. Among these are methods to detect the structure of building interiors for reconstruction purposes and subsequent detection and classification of windows. A system to project the gathered thermal information back into the scene is presented as well as methods to improve the color information and to join separately acquired point clouds and photo series. A full multi-modal 3D model contains all the relevant geometric information about the recorded scene and enables an expert to fully analyze it off-site. The technology clears the path for automatically detecting points of interest thereby helping the expert to analyze the heat flow as well as localize and identify heat leaks. The concept is modular and neither limited to achieving energy efficiency nor restricted to the use in combination with a mobile platform. It also finds its application in fields such as archaeology and geology and can be extended by further sensors. N2 - Man stelle sich eine Technologie vor, die automatisch ein vollständiges 3D-Thermographiemodell einer Umgebung generiert und Temperaturspitzen darin erkennt. Zur besseren Orientierung innerhalb des Modells ist dieses mit Farbinformationen erweitert. In der Analyse temperaturrelevanter Fragestellungen sind Thermalbilder der Stand der Technik. Darunter fallen Energieeffizienz und die Sicherung wichtiger Infrastruktur, wie Energieversorgung und Systeme zur Temperaturregulierung. Die Überwachung und anschließende Analyse der Daten eines großen Gebäudes ist aufwändig, da über mehrere Stunden stabile Bedingungen garantiert und detaillierte Aufzeichnungen über die Aufnahmeposen und die Umgebungsverhältnisse für jedes Wärmebild erstellt werden müssen. Einige Anwendungen erfordern wiederholte Messungen, um Veränderungen über die Zeit zu beobachten. Eine Analyse der Szene ist nur mit Erfahrung und Expertise möglich. Diese Arbeit stellt ein Robotersystem vor, das durch Kombination von Thermographie mit terrestrischem Laserscanning ein vollständiges 3D Modell der Umgebung mit Farb- und Temperaturinformationen erstellt. Die ergänzende Farbkamera vereinfacht die Interpretation der Daten und eröffnet weitere Anwendungsfelder. Die an unterschiedlichen Positionen aufgenommenen Daten aller Sensoren werden durch Kalibrierung und Scanmatching in einem gemeinsamen Bezugssystem zusammengefügt. Der erste Teil der Arbeit behandelt 3D-Punktwolkenverarbeitung mit Schwerpunkt auf effizientem Punktzugriff, Erkennung planarer Strukturen und Registrierung mehrerer Punktwolken in einem gemeinsamen Koordinatensystem. Der zweite Teil beschreibt die autonome Erkundung und Datenakquise mit einem mobilen Roboter, mit dem Ziel, die bisher nicht erfassten Bereiche im 3D-Raum zu minimieren. Des Weiteren wird die Kombination verschiedener Modalitäten, Farbbilder, Thermalbilder und Punktwolken durch Kalibrierung ausgearbeitet. Den abschließenden Teil stellen Anwendungsszenarien für die gesammelten Daten dar, darunter Methoden zur Erkennung der Innenraumstruktur für die Rekonstruktion von Gebäuden und der anschließenden Erkennung und Klassifizierung von Fenstern. Ein System zur Rückprojektion der gesammelten Thermalinformation in die Umgebung wird ebenso vorgestellt wie Methoden zur Verbesserung der Farbinformationen und zum Zusammenfügen separat aufgenommener Punktwolken und Fotoreihen. Ein vollständiges multi-modales 3D Modell enthält alle relevanten geometrischen Informationen der aufgenommenen Szene und ermöglicht einem Experten, diese standortunabhängig zu analysieren. Diese Technologie ebnet den Weg für die automatische Erkennung relevanter Bereiche und für die Analyse des Wärmeflusses und vereinfacht somit die Lokalisierung und Identifikation von Wärmelecks für den Experten. Das vorgestellte modulare Konzept ist weder auf den Anwendungsfall Energieeffizienz beschränkt noch auf die Verwendung einer mobilen Plattform angewiesen. Es ist beispielsweise auch in Feldern wie der Archäologie und Geologie einsetzbar und kann durch zusätzliche Sensoren erweitert werden. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 14 KW - Punktwolke KW - Lidar KW - Thermografie KW - Robotik KW - 3D point cloud KW - Laser scanning KW - Robotics KW - 3D thermal mapping KW - Registration Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-157085 SN - 978-3-945459-20-1 SN - 1868-7474 SN - 1868-7466 ER - TY - THES A1 - Houshiar, Hamidreza T1 - Documentation and mapping with 3D point cloud processing T1 - Dokumentation und Kartierung mittels 3D-Punktwolkenverarbeitung N2 - 3D point clouds are a de facto standard for 3D documentation and modelling. The advances in laser scanning technology broadens the usability and access to 3D measurement systems. 3D point clouds are used in many disciplines such as robotics, 3D modelling, archeology and surveying. Scanners are able to acquire up to a million of points per second to represent the environment with a dense point cloud. This represents the captured environment with a very high degree of detail. The combination of laser scanning technology with photography adds color information to the point clouds. Thus the environment is represented more realistically. Full 3D models of environments, without any occlusion, require multiple scans. Merging point clouds is a challenging process. This thesis presents methods for point cloud registration based on the panorama images generated from the scans. Image representation of point clouds introduces 2D image processing methods to 3D point clouds. Several projection methods for the generation of panorama maps of point clouds are presented in this thesis. Additionally, methods for point cloud reduction and compression based on the panorama maps are proposed. Due to the large amounts of data generated from the 3D measurement systems these methods are necessary to improve the point cloud processing, transmission and archiving. This thesis introduces point cloud processing methods as a novel framework for the digitisation of archeological excavations. The framework replaces the conventional documentation methods for excavation sites. It employs point clouds for the generation of the digital documentation of an excavation with the help of an archeologist on-site. The 3D point cloud is used not only for data representation but also for analysis and knowledge generation. Finally, this thesis presents an autonomous indoor mobile mapping system. The mapping system focuses on the sensor placement planning method. Capturing a complete environment requires several scans. The sensor placement planning method solves for the minimum required scans to digitise large environments. Combining this method with a navigation system on a mobile robot platform enables it to acquire data fully autonomously. This thesis introduces a novel hole detection method for point clouds to detect obscured parts of a captured environment. The sensor placement planning method selects the next scan position with the most coverage of the obscured environment. This reduces the required number of scans. The navigation system on the robot platform consist of path planning, path following and obstacle avoidance. This guarantees the safe navigation of the mobile robot platform between the scan positions. The sensor placement planning method is designed as a stand alone process that could be used with a mobile robot platform for autonomous mapping of an environment or as an assistant tool for the surveyor on scanning projects. N2 - 3D-Punktwolken sind der de facto Standard bei der Dokumentation und Modellierung in 3D. Die Fortschritte in der Laserscanningtechnologie erweitern die Verwendbarkeit und die Verfügbarkeit von 3D-Messsystemen. 3D-Punktwolken werden in vielen Disziplinen verwendet, wie z.B. in der Robotik, 3D-Modellierung, Archäologie und Vermessung. Scanner sind in der Lage bis zu einer Million Punkte pro Sekunde zu erfassen, um die Umgebung mit einer dichten Punktwolke abzubilden und mit einem hohen Detaillierungsgrad darzustellen. Die Kombination der Laserscanningtechnologie mit Methoden der Photogrammetrie fügt den Punktwolken Farbinformationen hinzu. Somit wird die Umgebung realistischer dargestellt. Vollständige 3D-Modelle der Umgebung ohne Verschattungen benötigen mehrere Scans. Punktwolken zusammenzufügen ist eine anspruchsvolle Aufgabe. Diese Arbeit stellt Methoden zur Punktwolkenregistrierung basierend auf aus den Scans erzeugten Panoramabildern vor. Die Darstellung einer Punktwolke als Bild bringt Methoden der 2D-Bildverarbeitung an 3D-Punktwolken heran. Der Autor stellt mehrere Projektionsmethoden zur Erstellung von Panoramabildern aus 3D-Punktwolken vor. Außerdem werden Methoden zur Punktwolkenreduzierung und -kompression basierend auf diesen Panoramabildern vorgeschlagen. Aufgrund der großen Datenmenge, die von 3D-Messsystemen erzeugt wird, sind diese Methoden notwendig, um die Punktwolkenverarbeitung, -übertragung und -archivierung zu verbessern. Diese Arbeit präsentiert Methoden der Punktwolkenverarbeitung als neuartige Ablaufstruktur für die Digitalisierung von archäologischen Ausgrabungen. Durch diesen Ablauf werden konventionellen Methoden auf Ausgrabungsstätten ersetzt. Er verwendet Punktwolken für die Erzeugung der digitalen Dokumentation einer Ausgrabung mithilfe eines Archäologen vor Ort. Die 3D-Punktwolke kommt nicht nur für die Anzeige der Daten, sondern auch für die Analyse und Wissensgenerierung zum Einsatz. Schließlich stellt diese Arbeit ein autonomes Indoor-Mobile-Mapping-System mit Fokus auf der Positionsplanung des Messgeräts vor. Die Positionsplanung bestimmt die minimal benötigte Anzahl an Scans, um großflächige Umgebungen zu digitalisieren. Kombiniert mit einem Navigationssystem auf einer mobilen Roboterplattform ermöglicht diese Methode die vollautonome Datenerfassung. Diese Arbeit stellt eine neuartige Erkennungsmethode für Lücken in Punktwolken vor, um verdeckte Bereiche der erfassten Umgebung zu bestimmen. Die Positionsplanung bestimmt als nächste Scanposition diejenige mit der größten Abdeckung der verdeckten Umgebung. Das Navigationssystem des Roboters besteht aus der Pfadplanung, der Pfadverfolgung und einer Hindernisvermeidung um eine sichere Fortbewegung der mobilen Roboterplattform zwischen den Scanpositionen zu garantieren. Die Positionsplanungsmethode wurde als eigenständiges Verfahren entworfen, das auf einer mobilen Roboterplattform zur autonomen Kartierung einer Umgebung zum Einsatz kommen oder einem Vermesser bei einem Scanprojekt als Unterstützung dienen kann. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 12 KW - 3D Punktwolke KW - Robotik KW - Registrierung KW - 3D Pointcloud KW - Feature Based Registration KW - Compression KW - Computer Vision KW - Robotics KW - Panorama Images Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-144493 SN - 978-3-945459-14-0 ER - TY - THES A1 - Schauer Marin Rodrigues, Johannes T1 - Detecting Changes and Finding Collisions in 3D Point Clouds : Data Structures and Algorithms for Post-Processing Large Datasets T1 - Erkennen von Änderungen und Finden von Kollisionen in 3D Punktwolken N2 - Affordable prices for 3D laser range finders and mature software solutions for registering multiple point clouds in a common coordinate system paved the way for new areas of application for 3D point clouds. Nowadays we see 3D laser scanners being used not only by digital surveying experts but also by law enforcement officials, construction workers or archaeologists. Whether the purpose is digitizing factory production lines, preserving historic sites as digital heritage or recording environments for gaming or virtual reality applications -- it is hard to imagine a scenario in which the final point cloud must also contain the points of "moving" objects like factory workers, pedestrians, cars or flocks of birds. For most post-processing tasks, moving objects are undesirable not least because moving objects will appear in scans multiple times or are distorted due to their motion relative to the scanner rotation. The main contributions of this work are two postprocessing steps for already registered 3D point clouds. The first method is a new change detection approach based on a voxel grid which allows partitioning the input points into static and dynamic points using explicit change detection and subsequently remove the latter for a "cleaned" point cloud. The second method uses this cleaned point cloud as input for detecting collisions between points of the environment point cloud and a point cloud of a model that is moved through the scene. Our approach on explicit change detection is compared to the state of the art using multiple datasets including the popular KITTI dataset. We show how our solution achieves similar or better F1-scores than an existing solution while at the same time being faster. To detect collisions we do not produce a mesh but approximate the raw point cloud data by spheres or cylindrical volumes. We show how our data structures allow efficient nearest neighbor queries that make our CPU-only approach comparable to a massively-parallel algorithm running on a GPU. The utilized algorithms and data structures are discussed in detail. All our software is freely available for download under the terms of the GNU General Public license. Most of the datasets used in this thesis are freely available as well. We provide shell scripts that allow one to directly reproduce the quantitative results shown in this thesis for easy verification of our findings. N2 - Kostengünstige Laserscanner und ausgereifte Softwarelösungen um mehrere Punktwolken in einem gemeinsamen Koordinatensystem zu registrieren, ermöglichen neue Einsatzzwecke für 3D Punktwolken. Heutzutage werden 3D Laserscanner nicht nur von Expert*innen auf dem Gebiet der Vermessung genutzt sondern auch von Polizist*innen, Bauarbeiter*innen oder Archäolog*innen. Unabhängig davon ob der Einsatzzweck die Digitalisierung von Fabrikanlagen, der Erhalt von historischen Stätten als digitaler Nachlass oder die Erfassung einer Umgebung für Virtual Reality Anwendungen ist - es ist schwer ein Szenario zu finden in welchem die finale Punktwolke auch Punkte von sich bewegenden Objekten enthalten soll, wie zum Beispiel Fabrikarbeiter*innen, Passant*innen, Autos oder einen Schwarm Vögel. In den meisten Bearbeitungsschritten sind bewegte Objekte unerwünscht und das nicht nur weil sie in mehrmals im gleichen Scan vorkommen oder auf Grund ihrer Bewegung relativ zur Scanner Rotation verzerrt gemessen werden. Der Hauptbeitrag dieser Arbeit sind zwei Nachverarbeitungsschritte für registrierte 3D Punktwolken. Die erste Methode ist ein neuer Ansatz zur Änderungserkennung basierend auf einem Voxelgitter, welche es erlaubt die Eingabepunktwolke in statische und dynamische Punkte zu segmentieren. Die zweite Methode nutzt die gesäuberte Punktwolke als Eingabe um Kollisionen zwischen Punkten der Umgebung mit der Punktwolke eines Modells welches durch die Szene bewegt wird zu erkennen. Unser Vorgehen für explizite Änderungserkennung wird mit dem aktuellen Stand der Technik unter Verwendung verschiedener Datensätze verglichen, inklusive dem populären KITTI Datensatz. Wir zeigen, dass unsere Lösung ähnliche oder bessere F1-Werte als existierende Lösungen erreicht und gleichzeitig schneller ist. Um Kollisionen zu finden erstellen wir kein Polygonnetz sondern approximieren die Punkte mit Kugeln oder zylindrischen Volumen. Wir zeigen wie unsere Datenstrukturen effiziente Nächste-Nachbarn-Suche erlaubt, die unsere CPU Lösung mit einer massiv-parallelen Lösung für die GPU vergleichbar macht. Die benutzten Algorithmen und Datenstrukturen werden im Detail diskutiert. Die komplette Software ist frei verfügbar unter den Bedingungen der GNU General Public license. Die meisten unserer Datensätze die in dieser Arbeit verwendet wurden stehen ebenfalls zum freien Download zur Verfügung. Wir publizieren ebenfalls all unsere Shell-Skripte mit denen die quantitativen Ergebnisse die in dieser Arbeit gezeigt werden reproduziert und verifiziert werden können. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 20 KW - Punktwolke KW - Änderungserkennung KW - 3d point clouds KW - collision detection KW - change detection KW - k-d tree KW - Dreidimensionale Bildverarbeitung Y1 - 2020 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-214285 SN - 978-3-945459-32-4 ER - TY - THES A1 - Leutert, Florian T1 - Flexible Augmented Reality Systeme für robotergestützte Produktionsumgebungen T1 - Flexible Augmented Reality systems for robot-based production environments N2 - Produktionssysteme mit Industrierobotern werden zunehmend komplex; waren deren Arbeitsbereiche früher noch statisch und abgeschirmt, und die programmierten Abläufe gleichbleibend, so sind die Anforderungen an moderne Robotik-Produktionsanlagen gestiegen: Diese sollen sich jetzt mithilfe von intelligenter Sensorik auch in unstrukturierten Umgebungen einsetzen lassen, sich bei sinkenden Losgrößen aufgrund individualisierter Produkte und häufig ändernden Produktionsaufgaben leicht rekonfigurieren lassen, und sogar eine direkte Zusammenarbeit zwischen Mensch und Roboter ermöglichen. Gerade auch bei dieser Mensch-Roboter-Kollaboration wird es damit notwendig, dass der Mensch die Daten und Aktionen des Roboters leicht verstehen kann. Aufgrund der gestiegenen Anforderungen müssen somit auch die Bedienerschnittstellen dieser Systeme verbessert werden. Als Grundlage für diese neuen Benutzerschnittstellen bietet sich Augmented Reality (AR) als eine Technologie an, mit der sich komplexe räumliche Daten für den Bediener leicht verständlich darstellen lassen. Komplexe Informationen werden dabei in der Arbeitsumgebung der Nutzer visualisiert und als virtuelle Einblendungen sichtbar gemacht, und so auf einen Blick verständlich. Die diversen existierenden AR-Anzeigetechniken sind für verschiedene Anwendungsfelder unterschiedlich gut geeignet, und sollten daher flexibel kombinier- und einsetzbar sein. Auch sollen diese AR-Systeme schnell und einfach auf verschiedenartiger Hardware in den unterschiedlichen Arbeitsumgebungen in Betrieb genommen werden können. In dieser Arbeit wird ein Framework für Augmented Reality Systeme vorgestellt, mit dem sich die genannten Anforderungen umsetzen lassen, ohne dass dafür spezialisierte AR-Hardware notwendig wird. Das Flexible AR-Framework kombiniert und bündelt dafür verschiedene Softwarefunktionen für die grundlegenden AR-Anzeigeberechnungen, für die Kalibrierung der notwendigen Hardware, Algorithmen zur Umgebungserfassung mittels Structured Light sowie generische ARVisualisierungen und erlaubt es dadurch, verschiedene AR-Anzeigesysteme schnell und flexibel in Betrieb zu nehmen und parallel zu betreiben. Im ersten Teil der Arbeit werden Standard-Hardware für verschiedene AR-Visualisierungsformen sowie die notwendigen Algorithmen vorgestellt, um diese flexibel zu einem AR-System zu kombinieren. Dabei müssen die einzelnen verwendeten Geräte präzise kalibriert werden; hierfür werden verschiedene Möglichkeiten vorgestellt, und die mit ihnen dann erreichbaren typischen Anzeige- Genauigkeiten in einer Evaluation charakterisiert. Nach der Vorstellung der grundlegenden ARSysteme des Flexiblen AR-Frameworks wird dann eine Reihe von Anwendungen vorgestellt, bei denen das entwickelte System in konkreten Praxis-Realisierungen als AR-Benutzerschnittstelle zum Einsatz kam, unter anderem zur Überwachung von, Zusammenarbeit mit und einfachen Programmierung von Industrierobotern, aber auch zur Visualisierung von komplexen Sensordaten oder zur Fernwartung. Im Verlauf der Arbeit werden dadurch die Vorteile, die sich durch Verwendung der AR-Technologie in komplexen Produktionssystemen ergeben, herausgearbeitet und in Nutzerstudien belegt. N2 - During recent years, production environments involving industrial robots have moved away from static, shielded production lines towards a more open, flexible and adaptable setup, where human and robot are working in close proximity or even collaborating on the same workpiece. This change necessitates improving existing user interfaces for these robots, to allow for an easier understanding of the complex robot data as well as simplifying their handling and programming. Augmented Reality (AR) is a technology that allows for realizing that: it enables the user to simply grasp complex spatial data by seeing it - appropriately visualized - in his natural work environment. This thesis introduces the Flexible Augmented Reality framework, an AR framework that allows for quick and easy realization of multiple monitor- or projection-based AR displays in the work environment of industrial robots, greatly simplifying and improving their handling without the use of specialized AR hardware. The developed framework combines and bundles all the necessary software functions and algorithms, among others for realizing the fundamental AR visualizations, calibrating the necessary hardware, capturing the display environment utilizing Structured Light and easily creating generic AR visualizations, to allow for fast deployment and parallel operation of multiple AR interfaces in different production and application fields. Among describing the developed algorithms as well as properties of the employed hardware, a thorough evaluation of the achievable display accuracy with standard hardware is given in this thesis. Finally, the framework was tested and evaluated in a number of different practical application scenarios involving industrial robot programming, remote surveillance and control, as well as intuitive sensor data display or remote maintenance. The developed solutions are presented in detail together with performed evaluations and user studies, exemplifying the framework's improvement of traditional industrial robot interfaces. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 24 KW - Erweiterte Realität KW - Industrieroboter KW - Mensch-Maschine-Schnittstelle KW - Augmented Reality KW - Nutzerschnittstellen Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-249728 SN - 978-3-945459-39-3 ER - TY - THES A1 - Strohmeier, Michael T1 - FARN – A Novel UAV Flight Controller for Highly Accurate and Reliable Navigation T1 - FARN – Eine neue UAV-Flugsteuerung für hochpräzise und zuverlässige Navigation N2 - This thesis describes the functional principle of FARN, a novel flight controller for Unmanned Aerial Vehicles (UAVs) designed for mission scenarios that require highly accurate and reliable navigation. The required precision is achieved by combining low-cost inertial sensors and Ultra-Wide Band (UWB) radio ranging with raw and carrier phase observations from the Global Navigation Satellite System (GNSS). The flight controller is developed within the scope of this work regarding the mission requirements of two research projects, and successfully applied under real conditions. FARN includes a GNSS compass that allows a precise heading estimation even in environments where the conventional heading estimation based on a magnetic compass is not reliable. The GNSS compass combines the raw observations of two GNSS receivers with FARN’s real-time capable attitude determination. Thus, especially the deployment of UAVs in Arctic environments within the project for ROBEX is possible despite the weak horizontal component of the Earth’s magnetic field. Additionally, FARN allows centimeter-accurate relative positioning of multiple UAVs in real-time. This enables precise flight maneuvers within a swarm, but also the execution of cooperative tasks in which several UAVs have a common goal or are physically coupled. A drone defense system based on two cooperative drones that act in a coordinated manner and carry a commonly suspended net to capture a potentially dangerous drone in mid-air was developed in conjunction with the project MIDRAS. Within this thesis, both theoretical and practical aspects are covered regarding UAV development with an emphasis on the fields of signal processing, guidance and control, electrical engineering, robotics, computer science, and programming of embedded systems. Furthermore, this work aims to provide a condensed reference for further research in the field of UAVs. The work describes and models the utilized UAV platform, the propulsion system, the electronic design, and the utilized sensors. After establishing mathematical conventions for attitude representation, the actual core of the flight controller, namely the embedded ego-motion estimation and the principle control architecture are outlined. Subsequently, based on basic GNSS navigation algorithms, advanced carrier phase-based methods and their coupling to the ego-motion estimation framework are derived. Additionally, various implementation details and optimization steps of the system are described. The system is successfully deployed and tested within the two projects. After a critical examination and evaluation of the developed system, existing limitations and possible improvements are outlined. N2 - Diese Arbeit beschreibt das Funktionsprinzip von FARN, einer neuartigen Flugsteuerung für unbemannte Luftfahrzeuge (UAVs), die für Missionsszenarien entwickelt wurde, die eine hochgenaue und zuverlässige Navigation erfordern. Die erforderliche Präzision wird erreicht, indem kostengünstige Inertialsensoren und Ultra-Breitband (UWB) basierte Funkreichweitenmessungen mit Roh- und Trägerphasenbeobachtungen des globalen Navigationssatellitensystems (GNSS) kombiniert werden. Die Flugsteuerung wird im Rahmen dieser Arbeit unter Berücksichtigung der Missionsanforderungen zweier Forschungsprojekte entwickelt und unter realen Bedingungen erfolgreich eingesetzt. FARN verfügt über einen GNSS-Kompass, der eine präzise Schätzung des Steuerkurses auch in Umgebungen erlaubt, in denen eine konventionelle Schätzung mit Hilfe eines Magnetkompasses nicht zuverlässig ist. Der GNSS-Kompass kombiniert die Messungen von zwei GNSS-Empfängern mit der echtzeitfähigen Lagebestimmung von FARN. Damit ist insbesondere der Einsatz von UAVs in arktischen Umgebungen im Rahmen des Projektes ROBEX trotz der schwachen horizontalen Komponente des Erdmagnetfeldes möglich. Zusätzlich erlaubt FARN eine zentimetergenaue relative Positionierung mehrerer UAVs in Echtzeit. Dies ermöglicht präzise Flugmanöver innerhalb eines Schwarms, aber auch die Ausführung kooperativer Aufgaben, bei denen mehrere UAVs ein gemeinsames Ziel haben oder physikalisch gekoppelt sind. In Verbindung mit dem Projekt MIDRAS wurde ein Drohnenabwehrsystem entwickelt, das auf zwei kooperativen Drohnen basiert, die koordiniert agieren und ein gemeinsam aufgehängtes Netz tragen, um eine potenziell gefährliche Drohne in der Luft einzufangen. Im Rahmen dieser Arbeit werden sowohl theoretische als auch praktische Aspekte der UAV-Entwicklung behandelt, wobei der Schwerpunkt auf den Bereichen der Signalverarbeitung, der Navigation und der Steuerung, der Elektrotechnik, der Robotik sowie der Informatik und der Programmierung eingebetteter Systeme liegt. Darüber hinaus soll diese Arbeit eine zusammengefasste Referenz für die weitere Drohnenforschung darstellen. Die Arbeit erläutert und modelliert die verwendete UAV-Plattform, das Antriebssystem, das elektronische Design und die eingesetzten Sensoren. Nach der Ausarbeitung mathematischer Konventionen zur Lagedarstellung, wird der eigentliche Kern des Flugreglers erläutert, nämlich die eingebettete Schätzung der Eigenbewegung und die prinzipielle Regelungsarchitektur. Anschließend werden, basierend auf grundlegenden Navigationsalgorithmen, fortgeschrittene trägerphasenbasierte Methoden und deren Zusammenhang mit der Schätzung der Eigenbewegung abgeleitet. Zusätzlich werden verschiedene Implementierungsdetails und Optimierungsschritte des Systems beschrieben. Das System wird innerhalb der beiden Projekte erfolgreich verwendet und getestet. Nach einer kritischen Untersuchung und Bewertung des entwickelten Systems werden bestehende Einschränkungen und mögliche Verbesserungen aufgezeigt. T3 - Research in Aerospace Information Technology - 1 KW - Drohne KW - Flugnavigation KW - Kalman-Filter KW - Phasenmehrdeutigkeit KW - Flugregelung KW - Unmanned Aerial Vehicle (UAV) KW - Sensorfusion KW - Error-State Extendend Kalman Filter KW - Baseline Constrained LAMBDA KW - Ultra-Wideband (UWB) radio ranging KW - Loose Coupling Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-223136 ER - TY - THES A1 - Pfitzner, Christian T1 - Visual Human Body Weight Estimation with Focus on Clinical Applications T1 - Optische Körpergewichtsschätzung für medizinische Anwendungen N2 - It is the aim of this thesis to present a visual body weight estimation, which is suitable for medical applications. A typical scenario where the estimation of the body weight is essential, is the emergency treatment of stroke patients: In case of an ischemic stroke, the patient has to receive a body weight adapted drug, to solve a blood clot in a vessel. The accuracy of the estimated weight influences the outcome of the therapy directly. However, the treatment has to start as early as possible after the arrival at a trauma room, to provide sufficient treatment. Weighing a patient takes time, and the patient has to be moved. Furthermore, patients are often not able to communicate a value for their body weight due to their stroke symptoms. Therefore, it is state of the art that physicians guess the body weight. A patient receiving a too low dose has an increased risk that the blood clot does not dissolve and brain tissue is permanently damaged. Today, about one-third gets an insufficient dosage. In contrast to that, an overdose can cause bleedings and further complications. Physicians are aware of this issue, but a reliable alternative is missing. The thesis presents state-of-the-art principles and devices for the measurement and estimation of body weight in the context of medical applications. While scales are common and available at a hospital, the process of weighing takes too long and can hardly be integrated into the process of stroke treatment. Sensor systems and algorithms are presented in the section for related work and provide an overview of different approaches. The here presented system -- called Libra3D -- consists of a computer installed in a real trauma room, as well as visual sensors integrated into the ceiling. For the estimation of the body weight, the patient is on a stretcher which is placed in the field of view of the sensors. The three sensors -- two RGB-D and a thermal camera -- are calibrated intrinsically and extrinsically. Also, algorithms for sensor fusion are presented to align the data from all sensors which is the base for a reliable segmentation of the patient. A combination of state-of-the-art image and point cloud algorithms is used to localize the patient on the stretcher. The challenges in the scenario with the patient on the bed is the dynamic environment, including other people or medical devices in the field of view. After the successful segmentation, a set of hand-crafted features is extracted from the patient's point cloud. These features rely on geometric and statistical values and provide a robust input to a subsequent machine learning approach. The final estimation is done with a previously trained artificial neural network. The experiment section offers different configurations of the previously extracted feature vector. Additionally, the here presented approach is compared to state-of-the-art methods; the patient's own assessment, the physician's guess, and an anthropometric estimation. Besides the patient's own estimation, Libra3D outperforms all state-of-the-art estimation methods: 95 percent of all patients are estimated with a relative error of less than 10 percent to ground truth body weight. It takes only a minimal amount of time for the measurement, and the approach can easily be integrated into the treatment of stroke patients, while physicians are not hindered. Furthermore, the section for experiments demonstrates two additional applications: The extracted features can also be used to estimate the body weight of people standing, or even walking in front of a 3D camera. Also, it is possible to determine or classify the BMI of a subject on a stretcher. A potential application for this approach is the reduction of the radiation dose of patients being exposed to X-rays during a CT examination. During the time of this thesis, several data sets were recorded. These data sets contain the ground truth body weight, as well as the data from the sensors. They are available for the collaboration in the field of body weight estimation for medical applications. N2 - Diese Arbeit zeigt eine optische Körpergewichtsschätzung, welche für medizinische Anwendungen geeignet ist. Ein gängiges Szenario, in dem eine Gewichtsschätzung benötigt wird, ist die Notfallbehandlung von Schlaganfallpatienten: Falls ein ischämischer Schlaganfall vorliegt, erhält der Patient ein auf das Körpergewicht abgestimmtes Medikament, um einen Thrombus in einem Gefäß aufzulösen. Die Genauigkeit der Gewichtsschätzung hat direkten Einfluss auf den Erfolg der Behandlung. Hinzu kommt, dass die Behandlung so schnell wie möglich nach der Ankunft im Krankenhaus erfolgen muss, um eine erfolgreiche Behandlung zu garantieren. Das Wiegen eines Patienten ist zeitaufwändig und der Patient müsste hierfür bewegt werden. Des Weiteren können viele Patienten aufgrund des Schlaganfalls nicht ihr eigenes Gewicht mitteilen. Daher ist es heutzutage üblich, dass Ärzte das Gewicht schätzen. Erhält ein Patient eine zu geringe Dosis, steigt das Risiko, dass sich der Thrombus nicht auflöst und das Gehirngewebe dauerhaft geschädigt bleibt. Eine Überdosis kann dagegen zu Blutungen und weiteren Komplikationen führen. Ein Drittel der Patienten erhält heutzutage eine unzureichende Dosis. Ärzte sind sich dessen bewusst, aber derzeit gibt es kein alternatives Vorgehen. Diese Arbeit präsentiert Elemente und Geräte zur Messung und Schätzung des Körpergewichts, die im medizinischen Umfeld verwendet werden. Zwar sind Waagen im Krankenhaus üblich, aufgrund des engen Zeitfensters für die Behandlung können sie aber nur schlecht in den Behandlungsablauf von Schlaganfallpatienten integriert werden. Der Abschnitt zum Stand der Technik zeigt verschiedene Sensorsysteme und Algorithmen. Das hier gezeigte System -- genannt Libra3D -- besteht aus einem Computer im Behandlungsraum, sowie den in der Decke integrierten optischen Sensoren. Für die Gewichtsschätzung befindet sich der Patient auf einer Liege im Blickfeld der Sensoren. Die drei Sensoren -- zwei RGB-D- und einer Wärmebildkamera -- sind intrinsisch und extrinsisch kalibriert. Des Weiteren werden Algorithmen zur Sensorfusion vorgestellt, welche die Daten für eine erfolgreiche Segmentierung des Patienten zusammenführen. Eine Kombination aus verschiedenen gängigen Bildverarbeitungs- und Punktwolken-Algorithmen lokalisiert den Patienten auf der Liege. Die Herausforderung in diesem Szenario mit dem Patienten auf dem Bett sind ständige Veränderungen, darunter auch andere Personen oder medizinische Geräte im Sichtfeld. Nach der erfolgreichen Segmentierung werden Merkmale von der Punktwolke des Patienten extrahiert. Diese Merkmale beruhen auf geometrischen und statistischen Eigenschaften und bieten robuste Werte für das nachfolgende maschinelle Lernverfahren. Die Schätzung des Gewichts basiert letztlich auf einem zuvor trainierten künstlichen neuronalen Netz. Das Kapitel zu den Experimenten zeigt verschiedene Kombinationen von Werten aus dem Merkmalsvektor. Zusätzlich wird der Ansatz mit Methoden aus dem Stand der Technik verglichen: der Schätzung des Patienten, des Arztes, und einer anthropometrischen Schätzung. Bis auf die eigene Schätzung des Patienten übertrifft Libra3D hierbei alle anderen Methoden: 95 Prozent aller Schätzungen weisen einen relativen Fehler von weniger als 10 Prozent zum realen Körpergewicht auf. Dabei benötigt das System wenig Zeit für eine Messung und kann einfach in den Behandlungsablauf von Schlaganfallpatienten integriert werden, ohne Ärzte zu behindern. Des Weiteren zeigt der Abschnitt für Experimente zwei weitere Anwendungen: Die extrahierten Merkmale können dazu verwendet werden das Gewicht von stehenden und auch laufenden Personen zu schätzen, die sich vor einer 3D-Kamera befinden. Darüber hinaus ist es auch möglich den BMI von Patienten auf einer Liege zu bestimmen. Diese kann die Strahlenexposition bei CT-Untersuchungen beispielsweise verringern. Während dieser Dissertation sind einige Datensätze entstanden. Sie enthalten das reale Gewicht, sowie die dazugehörigen Sensordaten. Die Datensätze sind für die Zusammenarbeit im Bereich der Körpergewichtsschätzung für medizinische Anwendungen verfügbar. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 18 KW - Punktwolke KW - Maschinelles Lernen KW - Schlaganfall KW - Körpergewicht KW - Bildverarbeitung KW - 3D Point Cloud Processing KW - Image Processing KW - Stroke KW - Human Body Weight KW - Kinect KW - Machine Learning KW - Sensor Fusion KW - Segmentation KW - Perception Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-174842 SN - 978-3-945459-27-0 (online) ER - TY - THES A1 - Koch, Rainer T1 - Sensor Fusion for Precise Mapping of Transparent and Specular Reflective Objects T1 - Sensorfusion zur präzisen Kartierung von transparenten und reflektierender Objekten N2 - Almost once a week broadcasts about earthquakes, hurricanes, tsunamis, or forest fires are filling the news. While oneself feels it is hard to watch such news, it is even harder for rescue troops to enter such areas. They need some skills to get a quick overview of the devastated area and find victims. Time is ticking, since the chance for survival shrinks the longer it takes till help is available. To coordinate the teams efficiently, all information needs to be collected at the command center. Therefore, teams investigate the destroyed houses and hollow spaces for victims. Doing so, they never can be sure that the building will not fully collapse while they are inside. Here, rescue robots are welcome helpers, as they are replaceable and make work more secure. Unfortunately, rescue robots are not usable off-the-shelf, yet. There is no doubt, that such a robot has to fulfil essential requirements to successfully accomplish a rescue mission. Apart from the mechanical requirements it has to be able to build a 3D map of the environment. This is essential to navigate through rough terrain and fulfil manipulation tasks (e.g. open doors). To build a map and gather environmental information, robots are equipped with multiple sensors. Since laser scanners produce precise measurements and support a wide scanning range, they are common visual sensors utilized for mapping. Unfortunately, they produce erroneous measurements when scanning transparent (e.g. glass, transparent plastic) or specular reflective objects (e.g. mirror, shiny metal). It is understood that such objects can be everywhere and a pre-manipulation to prevent their influences is impossible. Using additional sensors also bear risks. The problem is that these objects are occasionally visible, based on the incident angle of the laser beam, the surface, and the type of object. Hence, for transparent objects, measurements might result from the object surface or objects behind it. For specular reflective objects, measurements might result from the object surface or a mirrored object. These mirrored objects are illustrated behind the surface which is wrong. To obtain a precise map, the surfaces need to be recognised and mapped reliably. Otherwise, the robot navigates into it and crashes. Further, points behind the surface should be identified and treated based on the object type. Points behind a transparent surface should remain as they represent real objects. In contrast, Points behind a specular reflective surface should be erased. To do so, the object type needs to be classified. Unfortunately, none of the current approaches is capable to fulfil these requirements. Therefore, the following thesis addresses this problem to detect transparent and specular reflective objects and to identify their influences. To give the reader a start up, the first chapters describe: the theoretical background concerning propagation of light; sensor systems applied for range measurements; mapping approaches used in this work; and the state-of-the-art concerning detection and identification of transparent and specular reflective objects. Afterwards, the Reflection-Identification-Approach, which is the core of subject thesis is presented. It describes 2D and a 3D implementation to detect and classify such objects. Both are available as ROS-nodes. In the next chapter, various experiments demonstrate the applicability and reliability of these nodes. It proves that transparent and specular reflective objects can be detected and classified. Therefore, a Pre- and Post-Filter module is required in 2D. In 3D, classification is possible solely with the Pre-Filter. This is due to the higher amount of measurements. An example shows that an updatable mapping module allows the robot navigation to rely on refined maps. Otherwise, two individual maps are build which require a fusion afterwards. Finally, the last chapter summarizes the results and proposes suggestions for future work. N2 - Fast schon wöchentlich füllen Meldungen über Erdbeben, Wirbelstürme, Tsunamis oder Wald-brände die Nachrichten. Es ist hart anzusehen, aber noch viel härter trifft es die Rettungskräfte, welche dort zum Einsatz gerufen werden. Diese müssen gut trainiert sein, um sich schnell einen Überblick verschaffen zu können und um den zerstörten Bereich nach Opfern zu durchsuchen. Zeit ist hier ein seltenes Gut, denn die Überlebenschancen sinken, je länger es dauert bis Hilfe eintrifft. Für eine effektive Teamkoordination werden alle Informationen in der Einsatzzentrale gesammelt. In Trupps wird nach Opfern gesucht. Hierfür werden die zerstörten Gebäude durchsucht und alle Hohlräume inspiziert. Dabei können die Helfer oft nicht darauf vertrauen, dass die Gebäude stabil sind und nicht noch vollständig kollabieren. Hier sind Rettungsroboter eine willkommene Hilfe. Sie sind ersetzbar und können für gefährliche Aufgaben verwendet werden. Dies macht die Arbeit der Rettungstrupps sicherer. Allerdings gibt es solche Roboter noch nicht von der Stange. Sie müssten gewisse Anforderungen erfüllen, dass sie in einem solchen Szenarien einsetztbar sind. Neben Ansprüchen an die Mechanik, müsste eine 3D-Karte des Einsatzgebietes erstellen werden. Diese ist Grundlage für eine erfolgreiche Navigation (durch unebenes Terrain), sowie zur Beeinflussung der Umgebung (z.B. Tür öffnen). Die Umgebungserfassung wird über Sen-soren am Roboter durchgeführt. Heutzutage werden bevorzugt Laserscanner dafür verwendet, da sie präzise Messdaten liefern und über einen großen Messbereich verfügen. Unglücklicherweise werden Messdaten durch transparente (z.B. Glas, transparenter Kunststoff) und reflektierende Objekte (z.B. Spiegel, glänzendes Metall) verfälscht. Eine Vorbehandlung der Umgebung (z.B. abdecken der Flächen), um diese Einflüsse zu verhindern, ist verständlicherweise nicht möglich. Zusätzliche Sensoren zu verwenden birgt ebenfalls Nachteile. Das Problem dieser Objekte liegt darin, dass sie nur teilweise sichtbar sind. Dies ist abhängig vom Einfallwinkel des Laserstrahls auf die Oberfläche und vom Typ des Objektes. Dementsprechend könnnen die Messwerte bei transparenten Flächen von der Oberfläche oder vom Objekten dahinter resultieren. Im Gegensatz dazu können die Messwerte bei reflektierenden Oberflächen von der Oberfläche selbst oder von einem gespiegelten Objekt resultieren. Gespiegelte Objekte werden dabei hinter der reflektierenden Objerfläche dargestellt, was falsch ist. Um eine präzise Kartierung zu erlangen, müssen die Oberflächen zuverlässig eingetragen werden. Andernfalls würde der Roboter in diese navigieren und kollidieren. Weiterhin sollten Punkte hinter der Oberfläche abhängig von der Oberfläche behandelt werden. Bei einer trans- parenten Oberfläche müssen die Punkte in die Karte eingetragen werden, weil sie ein reelles Objekt darstellen. Im Gegensatz dazu, müssen bei einer reflektierenden Oberfläche die Messdaten dahinter gelöscht werden. Dafür ist eine Unterscheidung der Objekte zwingend. Diese Anforderungen erfüllen die momentan verfügbaren Algorithmen jedoch nicht. Aus diesem Grund befasst sich folgende Doktorarbeit mit der Problematik der Erkennung und Identifizierung transparenter und spiegelnder Objekte, sowie deren Einflüsse. Um dem Leser einen Einstieg zu geben, beschreiben die ersten Kapitel: den theoretischen Hindergrund bezüglich des Verhaltens von Licht; Sensorsysteme für die Distanzmessung; Kartierungsalgorithmen, welche in dieser Arbeit verwendet wurden; und den Stand der Technik bezüglich der Erkennung von transparenten und spiegelndend Objekten. Danach wird der Reflection-Identification-Algorithmus, welcher Basis dieser Arbeit ist, präsentiert. Hier wird eine 2D und eine 3D Implementierung beschrieben. Beide sind als ROS-Knoten verfügbar. Das anschließende Kapitel diskutiert Experimente, welche die Anwendbarkeit und Zuverlässigkeit des Algorithmus verifizieren. Für den 2D-Fall ist ein Vor- und ein Nachfilter-Modul notwendig. Nur mittels der Nachfilterung ist eine Klassifizierung der Objekte möglich. Im Gegensatz kann im 3D-Fall die Klassifizierung bereits mit der Vorfilterung erlangt werden. Dies beruht auf der höheren Anzahl an Messdaten. Weiterhin zeigt dieses Kapitel beispielhaft eine Adaptierung des TSD-SLAM Algorithmus, so dass der Roboter auf einer aktualisierten Karte navigieren kann. Dies erspart die Erstellung von zwei unabhängigen Karten und eine anschließende Fusionierung. Im letzten Kapitel werden die Ergebnisse der Arbeit zusammengefasst und ein Ausblick mit Anregungen zur Weiterarbeit gegeben. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 16 KW - laserscanner KW - mapping KW - robotic KW - laser scanner KW - sensor fusion KW - transparent KW - specular reflective Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-163462 SN - 978-3-945459-25-6 ER - TY - THES A1 - Wagner, Jan Cetric T1 - Maximalnetzplan zur reaktiven Steuerung von Produktionsabläufen T1 - Maximal Network Plan for Reactive Steering of Production Processes N2 - In produzierenden Unternehmen werden verschiedene Vorgehensweisen zur Planung, Überwachung und Steuerung von Produktionsabläufen eingesetzt. Einer dieser Methoden wird als Vorgangsknotennetzplantechnik bezeichnet. Die einzelnen Produktionsschritte werden als Knoten definiert und durch Pfeile miteinander verbunden. Die Pfeile stellen die Beziehungen der jeweiligen Vorgänge zueinander und damit den Produktionsablauf dar. Diese Technik erlaubt den Anwendern einen umfassenden Überblick über die einzelnen Prozessrelationen. Zusätzlich können mit ihr Vorgangszeiten und Produktfertigstellungszeiten ermittelt werden, wodurch eine ausführliche Planung der Produktion ermöglicht wird. Ein Nachteil dieser Technik begründet sich in der alleinigen Darstellung einer ausführbaren Prozessabfolge. Im Falle eines Störungseintritts mit der Folge eines nicht durchführbaren Vorgangs muss von dem originären Prozess abgewichen werden. Aufgrund dessen wird eine Neuplanung erforderlich. Es werden Alternativen für den gestörten Vorgang benötigt, um eine Fortführung des Prozesses ungeachtet der Störung zu erreichen. Innerhalb dieser Arbeit wird daher eine Erweiterung der Vorgangsknotennetzplantechnik beschrieben, die es erlaubt, ergänzend zu dem geplanten Soll-Prozess Alternativvorgänge für einzelne Vorgänge darzulegen. Diese Methode wird als Maximalnetzplan bezeichnet. Die Alternativen werden im Falle eines Störungseintritts automatisch evaluiert und dem Anwender in priorisierter Reihenfolge präsentiert. Durch die Verwendung des Maximalnetzplans kann eine aufwendige Neuplanung vermieden werden. Als Anwendungsbeispiel dient ein Montageprozess, mithilfe dessen die Verwendbarkeit der Methode dargelegt wird. Weiterführend zeigt eine zeitliche Analyse zufallsbedingter Maximalnetzpläne eine Begründung zur Durchführung von Alternativen und damit den Nutzen des Maximalnetzplans auf. Zusätzlich sei angemerkt, dass innerhalb dieser Arbeit verwendete Begrifflichkeiten wie Anwender, Werker oder Mitarbeiter in maskuliner Schreibweise niedergeschrieben werden. Dieses ist ausschließlich der Einfachheit geschuldet und nicht dem Zweck der Diskriminierung anderer Geschlechter dienlich. Die verwendete Schreibweise soll alle Geschlechter ansprechen, ob männlich, weiblich oder divers. N2 - In manufacturing companies, various procedures are used to plan, monitor and control production processes. One of these methods is called the activity-on-node network planning technique. The individual production steps are defined as nodes and connected to each other by arrows. The arrows represent the relationships of the respective operations to each other and thus the production flow. This technique allows users a comprehensive overview of the individual process relations. In addition, it can be used to determine operation times and product completion times, which enables detailed production planning. A disadvantage of this method is the exclusive representation of a single process sequence. In the event of a disruption resulting in a non-executable operation, the original process must be deviated from. Because of this, replanning becomes necessary. Alternatives for the interrupted process are needed in order to achieve a continuation of the process regardless of the disruption. This work therefore describes an extension of the activity-on-node network planning technique that allows alternative operations for individual activities to be presented in addition to the planned target process. This method is called a Maximal Network Plan. These alternatives are automatically evaluated in the event of a disruption and presented to the user in a prioritised order. By using this technique, timeconsuming rescheduling can be avoided. An assembly process is used as an application example to demonstrate the applicability of the method. Furthermore, a time analysis of random Maximal Network Plans shows a justification for the execution of alternatives and thus the benefit of this technique. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 27 KW - Produktionsplanung KW - Netzplantechnik KW - Maximalnetzplan Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-305452 SN - 978-3-945459-43-0 ER - TY - THES A1 - Sauer, Christian T1 - Development, Simulation and Evaluation of Mobile Wireless Networks in Industrial Applications T1 - Entwicklung, Simulation und Bewertung von Mobilen Kabellosen Netzwerken in Industriellen Anwendungen N2 - Manyindustrialautomationsolutionsusewirelesscommunicationandrelyontheavail- ability and quality of the wireless channel. At the same time the wireless medium is highly congested and guaranteeing the availability of wireless channels is becoming increasingly difficult. In this work we show, that ad-hoc networking solutions can be used to provide new communication channels and improve the performance of mobile automation systems. These ad-hoc networking solutions describe different communi- cation strategies, but avoid relying on network infrastructure by utilizing the Peer-to- Peer (P2P) channel between communicating entities. This work is a step towards the effective implementation of low-range communication technologies(e.g. VisibleLightCommunication(VLC), radarcommunication, mmWave communication) to the industrial application. Implementing infrastructure networks with these technologies is unrealistic, since the low communication range would neces- sitate a high number of Access Points (APs) to yield full coverage. However, ad-hoc networks do not require any network infrastructure. In this work different ad-hoc net- working solutions for the industrial use case are presented and tools and models for their examination are proposed. The main use case investigated in this work are Automated Guided Vehicles (AGVs) for industrial applications. These mobile devices drive throughout the factory trans- porting crates, goods or tools or assisting workers. In most implementations they must exchange data with a Central Control Unit (CCU) and between one another. Predicting if a certain communication technology is suitable for an application is very challenging since the applications and the resulting requirements are very heterogeneous. The proposed models and simulation tools enable the simulation of the complex inter- action of mobile robotic clients and a wireless communication network. The goal is to predict the characteristics of a networked AGV fleet. Theproposedtoolswereusedtoimplement, testandexaminedifferentad-hocnetwork- ing solutions for industrial applications using AGVs. These communication solutions handle time-critical and delay-tolerant communication. Additionally a control method for the AGVs is proposed, which optimizes the communication and in turn increases the transport performance of the AGV fleet. Therefore, this work provides not only tools for the further research of industrial ad-hoc system, but also first implementations of ad-hoc systems which address many of the most pressing issues in industrial applica- tions. N2 - Viele industrielle Automatisierungslösungen verwenden drahtlose Kommunikations- systeme und sind daher auf die Verfügbarkeit und Qualität des drahtlosen Kanals an- gewiesen. Gleichzeitig ist das drahtlose Medium stark belastet und die Gewährleis- tung der Verfügbarkeit der drahtlosen Kanäle wird zunehmends herrausfordernder. In dieser Arbeit wird gezeigt, dass Ad-hoc-Netzwerklösungen genutzt werden können, um neue Kommunikationskanäle bereitzustellen und die Leistung von mobilen Au- tomatisierungssystemen zu verbessern. Diese Ad-hoc-Netzwerklösungen können un- terschiedliche Kommunikationsstrategien bezeichnen. In all diesen Strategien wird der Peer-to-Peer (P2P)-Kanal zwischen zwei kommunizierenden Systemen verwendet statt Netzwerk-Infrastruktur. Diese Arbeit ist ein Schritt hin zur effektiven Implementierung von Kommunikations- technologien mit geringer Reichweite (z.B. Visible Light Communication (VLC), Radar- kommunikation, mmWave-Kommunikation) in der industriellen Anwendung. Die Im- plementierung von Infrastrukturnetzen mit diesen Technologien ist unrealistisch, da die geringe Kommunikationsreichweite eine hohe Anzahl von Access Points (APs) er- fordern würde um eine flächendeckende Bereitstellung von Kommunikationskanälen zu gewährleisten. Ad-hoc-Netzwerke hingegen benötigen keine Netzwerkinfrastruk- tur. In dieser Arbeit werden verschiedene Ad-hoc-Netzwerklösungen für den industri- ellenAnwendungsfallvorgestelltundWerkzeugeundModellefürderenUntersuchung vorgeschlagen. Der Hauptanwendungsfall, der in dieser Arbeit untersucht wird, sind Fahrerlose Trans- portSysteme (FTS) (fortführend als Automated Guided Vehicles (AGVs)) für industri- elle Anwendungen. Diese FTS fahren durch die Produktionsanlage um Kisten, Waren oder Werkzeuge zu transportieren oder um Mitarbeitern zu assistieren. In den meisten Implementierungen müssen sie Daten mit einer Central Control Unit (CCU) und unter- einander austauschen. Die Vorhersage, ob eine bestimmte Kommunikationstechnologie für eine Anwendung geeignet ist, ist sehr anspruchsvoll, da sowohl Anwendungen als auch Anforderungen sehr heterogen sind. Die präsentierten Modelle und Simulationswerkzeuge ermöglichen die Simulation der komplexen Interaktion von mobilen Robotern und drahtlosen Kommunikationsnetz- werken. Das Ziel ist die Vorhersage der Eigenschaften einer vernetzten FTS-Flotte. Mit den vorgestellten Werkzeugen wurden verschiedene Ad-hoc-Netzwerklösungen für industrielle Anwendungen mit FTS implementiert, getestet und untersucht. Die- se Kommunikationssysteme übertragen zeitkritische und verzögerungstolerante Nach- richten. Zusätzlich wird eine Steuerungsmethode für die FTS vorgeschlagen, die die KommunikationoptimiertunddamiteinhergehenddieTransportleistungderFTS-Flotte erhöht. Dieses Werk führt also nicht nur neue Werkzeuge ein um die Entwicklung in- dustrieller Ad-hoc Systeme zu ermöglichen, sondern schlägt auch einige Systeme für die kritischsten Kommunikationsprobleme industrieller Anwendungen vor. KW - Industrie KW - Routing KW - Funknetz KW - Autonomer Roboter KW - Drahtloses vermaschtes Netzwerk KW - Industrie-Roboter KW - Kabellose Netzwerke KW - Simulation Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-299238 ER - TY - THES A1 - Bleier, Michael T1 - Underwater Laser Scanning - Refractive Calibration, Self-calibration and Mapping for 3D Reconstruction T1 - Laserscanning unter Wasser - Refraktive Kalibrierung, Selbstkalibrierung und Kartierung zur 3D Rekonstruktion N2 - There is great interest in affordable, precise and reliable metrology underwater: Archaeologists want to document artifacts in situ with high detail. In marine research, biologists require the tools to monitor coral growth and geologists need recordings to model sediment transport. Furthermore, for offshore construction projects, maintenance and inspection millimeter-accurate measurements of defects and offshore structures are essential. While the process of digitizing individual objects and complete sites on land is well understood and standard methods, such as Structure from Motion or terrestrial laser scanning, are regularly applied, precise underwater surveying with high resolution is still a complex and difficult task. Applying optical scanning techniques in water is challenging due to reduced visibility caused by turbidity and light absorption. However, optical underwater scanners provide significant advantages in terms of achievable resolution and accuracy compared to acoustic systems. This thesis proposes an underwater laser scanning system and the algorithms for creating dense and accurate 3D scans in water. It is based on laser triangulation and the main optical components are an underwater camera and a cross-line laser projector. The prototype is configured with a motorized yaw axis for capturing scans from a tripod. Alternatively, it is mounted to a moving platform for mobile mapping. The main focus lies on the refractive calibration of the underwater camera and laser projector, the image processing and 3D reconstruction. For highest accuracy, the refraction at the individual media interfaces must be taken into account. This is addressed by an optimization-based calibration framework using a physical-geometric camera model derived from an analytical formulation of a ray-tracing projection model. In addition to scanning underwater structures, this work presents the 3D acquisition of semi-submerged structures and the correction of refraction effects. As in-situ calibration in water is complex and time-consuming, the challenge of transferring an in-air scanner calibration to water without re-calibration is investigated, as well as self-calibration techniques for structured light. The system was successfully deployed in various configurations for both static scanning and mobile mapping. An evaluation of the calibration and 3D reconstruction using reference objects and a comparison of free-form surfaces in clear water demonstrate the high accuracy potential in the range of one millimeter to less than one centimeter, depending on the measurement distance. Mobile underwater mapping and motion compensation based on visual-inertial odometry is demonstrated using a new optical underwater scanner based on fringe projection. Continuous registration of individual scans allows the acquisition of 3D models from an underwater vehicle. RGB images captured in parallel are used to create 3D point clouds of underwater scenes in full color. 3D maps are useful to the operator during the remote control of underwater vehicles and provide the building blocks to enable offshore inspection and surveying tasks. The advancing automation of the measurement technology will allow non-experts to use it, significantly reduce acquisition time and increase accuracy, making underwater metrology more cost-effective. N2 - Das Interesse an präziser, zuverlässiger und zugleich kostengünstiger Unterwassermesstechnik ist groß. Beispielsweise wollen Archäologen Artefakte in situ mit hoher Detailtreue dokumentieren und in der Meeresforschung benötigen Biologen Messwerkzeuge zur Beobachtung des Korallenwachstums. Auch Geologen sind auf Messdaten angewiesen, um Sedimenttransporte zu modellieren. Darüber hinaus ist für die Errichtung von Offshore-Bauwerken, sowie deren Wartung und Inspektion eine millimetergenaue Vermessung von vorhandenen Strukturen und Defekten unerlässlich. Während die Digitalisierung einzelner Objekte und ganzer Areale an Land gut erforscht ist und verschiedene Standardmethoden, wie zum Beispiel Structure from Motion oder terrestrisches Laserscanning, regelmäßig eingesetzt werden, ist die präzise und hochauflösende Unterwasservermessung nach wie vor eine komplexe und schwierige Aufgabe. Die Anwendung optischer Messtechnik im Wasser ist aufgrund der eingeschränkten Sichttiefe durch Trübung und Lichtabsorption eine Herausforderung. Optische Unterwasserscanner bieten jedoch Vorteile hinsichtlich der erreichbaren Auflösung und Genauigkeit gegenüber akustischen Systemen. In dieser Arbeit werden ein Unterwasser-Laserscanning-System und die Algorithmen zur Erzeugung von 3D-Scans mit hoher Punktdichte im Wasser vorgestellt. Es basiert auf Lasertriangulation und die optischen Hauptkomponenten sind eine Unterwasserkamera und ein Kreuzlinienlaserprojektor. Das System ist mit einer motorisierten Drehachse ausgestattet, um Scans von einem Stativ aus aufzunehmen. Alternativ kann es von einer beweglichen Plattform aus für mobile Kartierung eingesetzt werden. Das Hauptaugenmerk liegt auf der refraktiven Kalibrierung der Unterwasserkamera und des Laserprojektors, der Bildverarbeitung und der 3D-Rekonstruktion. Um höchste Genauigkeit zu erreichen, muss die Brechung an den einzelnen Medienübergängen berücksichtigt werden. Dies wird durch ein physikalisch-geometrisches Kameramodell, das auf einer analytischen Beschreibung der Strahlenverfolgung basiert, und ein optimierungsbasiertes Kalibrierverfahren erreicht. Neben dem Scannen von Unterwasserstrukturen wird in dieser Arbeit auch die 3D-Erfassung von teilweise im Wasser befindlichen Strukturen und die Korrektur der dabei auftretenden Brechungseffekte vorgestellt. Da die Kalibrierung im Wasser komplex und zeitintensiv ist, wird die Übertragung einer Kalibrierung des Scanners in Luft auf die Bedingungen im Wasser ohne Neukalibrierung, sowie die Selbstkalibrierung für Lichtschnittverfahren untersucht. Das System wurde in verschiedenen Konfigurationen sowohl für statisches Scannen als auch für die mobile Kartierung erfolgreich eingesetzt. Die Validierung der Kalibrierung und der 3D-Rekonstruktion anhand von Referenzobjekten und der Vergleich von Freiformflächen in klarem Wasser zeigen das hohe Genauigkeitspotenzial im Bereich von einem Millimeter bis weniger als einem Zentimeter in Abhängigkeit von der Messdistanz. Die mobile Unterwasserkartierung und Bewegungskompensation anhand visuell-inertialer Odometrie wird mit einem neuen optischen Unterwasserscanner auf Basis der Streifenprojektion demonstriert. Dabei ermöglicht die kontinuierliche Registrierung von Einzelscans die Erfassung von 3D-Modellen von einem Unterwasserfahrzeug aus. Mit Hilfe von parallel aufgenommenen RGB-Bildern werden dabei farbige 3D-Punktwolken der Unterwasserszenen erstellt. Diese 3D-Karten dienen beispielsweise dem Bediener bei der Fernsteuerung von Unterwasserfahrzeugen und bilden die Grundlage für Offshore-Inspektions- und Vermessungsaufgaben. Die fortschreitende Automatisierung der Messtechnik wird somit auch eine Verwendung durch Nichtfachleute ermöglichen und gleichzeitig die Erfassungszeit erheblich verkürzen und die Genauigkeit verbessern, was die Vermessung im Wasser kostengünstiger und effizienter macht. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 28 KW - Selbstkalibrierung KW - Punktwolke KW - Bildverarbeitung KW - 3D Reconstruction KW - Self-calibration KW - Underwater Scanning KW - Underwater Mapping KW - Dreidimensionale Rekonstruktion KW - 3D-Rekonstruktion Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-322693 SN - 978-3-945459-45-4 ER - TY - THES A1 - Dhillon, Maninder Singh T1 - Potential of Remote Sensing in Modeling Long-Term Crop Yields T1 - Potenzial der Fernerkundung für die Modellierung Langfristiger Ernteerträge N2 - Accurate crop monitoring in response to climate change at a regional or field scale plays a significant role in developing agricultural policies, improving food security, forecasting, and analysing global trade trends. Climate change is expected to significantly impact agriculture, with shifts in temperature, precipitation patterns, and extreme weather events negatively affecting crop yields, soil fertility, water availability, biodiversity, and crop growing conditions. Remote sensing (RS) can provide valuable information combined with crop growth models (CGMs) for yield assessment by monitoring crop development, detecting crop changes, and assessing the impact of climate change on crop yields. This dissertation aims to investigate the potential of RS data on modelling long-term crop yields of winter wheat (WW) and oil seed rape (OSR) for the Free State of Bavaria (70,550 km2 ), Germany. The first chapter of the dissertation describes the reasons favouring the importance of accurate crop yield predictions for achieving sustainability in agriculture. Chapter second explores the accuracy assessment of the synthetic RS data by fusing NDVIs of two high spatial resolution data (high pair) (Landsat (30 m, 16-days; L) and Sentinel-2 (10 m, 5–6 days; S), with four low spatial resolution data (low pair) (MOD13Q1 (250 m, 16-days), MCD43A4 (500 m, one day), MOD09GQ (250 m, one-day), and MOD09Q1 (250 m, 8-days)) using the spatial and temporal adaptive reflectance fusion model (STARFM), which fills regions' cloud or shadow gaps without losing spatial information. The chapter finds that both L-MOD13Q1 (R2 = 0.62, RMSE = 0.11) and S-MOD13Q1 (R2 = 0.68, RMSE = 0.13) are more suitable for agricultural monitoring than the other synthetic products fused. Chapter third explores the ability of the synthetic spatiotemporal datasets (obtained in chapter 2) to accurately map and monitor crop yields of WW and OSR at a regional scale. The chapter investigates and discusses the optimal spatial (10 m, 30 m, or 250 m), temporal (8 or 16-day) and CGMs (World Food Studies (WOFOST), and the semi-empiric light use efficiency approach (LUE)) for accurate crop yield estimations of both crop types. Chapter third observes that the observations of high temporal resolution (8-day) products of both S-MOD13Q1 and L-MOD13Q1 play a significant role in accurately measuring the yield of WW and OSR. The chapter investigates that the simple light use efficiency (LUE) model (R2 = 0.77 and relative RMSE (RRMSE) = 8.17%) that required fewer input parameters to simulate crop yield is highly accurate, reliable, and more precise than the complex WOFOST model (R2 = 0.66 and RRMSE = 11.35%) with higher input parameters. Chapter four researches the relationship of spatiotemporal fusion modelling using STRAFM on crop yield prediction for WW and OSR using the LUE model for Bavaria from 2001 to 2019. The chapter states the high positive correlation coefficient (R) = 0.81 and R = 0.77 between the yearly R2 of synthetic accuracy and modelled yield accuracy for WW and OSR from 2001 to 2019, respectively. The chapter analyses the impact of climate variables on crop yield predictions by observing an increase in R2 (0.79 (WW)/0.86 (OSR)) and a decrease in RMSE (4.51/2.57 dt/ha) when the climate effect is included in the model. The fifth chapter suggests that the coupling of the LUE model to the random forest (RF) model can further reduce the relative root mean square error (RRMSE) from -8% (WW) and -1.6% (OSR) and increase the R2 by 14.3% (for both WW and OSR), compared to results just relying on LUE. The same chapter concludes that satellite-based crop biomass, solar radiation, and temperature are the most influential variables in the yield prediction of both crop types. Chapter six attempts to discuss both pros and cons of RS technology while analysing the impact of land use diversity on crop-modelled biomass of WW and OSR. The chapter finds that the modelled biomass of both crops is positively impacted by land use diversity to the radius of 450 (Shannon Diversity Index ~0.75) and 1050 m (~0.75), respectively. The chapter also discusses the future implications by stating that including some dependent factors (such as the management practices used, soil health, pest management, and pollinators) could improve the relationship of RS-modelled crop yields with biodiversity. Lastly, chapter seven discusses testing the scope of new sensors such as unmanned aerial vehicles, hyperspectral sensors, or Sentinel-1 SAR in RS for achieving accurate crop yield predictions for precision farming. In addition, the chapter highlights the significance of artificial intelligence (AI) or deep learning (DL) in obtaining higher crop yield accuracies. N2 - Die genaue Überwachung von Nutzpflanzen als Reaktion auf den Klimawandel auf regionaler oder feldbezogener Ebene spielt eine wichtige Rolle bei der Entwicklung von Agrarpolitiken, der Verbesserung der Ernährungssicherheit, der Erstellung von Prognosen und der Analyse von Trends im Welthandel. Es wird erwartet, dass sich der Klimawandel erheblich auf die Landwirtschaft auswirken wird, da sich Verschiebungen bei den Temperaturen, Niederschlagsmustern und extremen Wetterereignissen negativ auf die Ernteerträge, die Bodenfruchtbarkeit, die Wasserverfügbarkeit, die Artenvielfalt und die Anbaubedingungen auswirken werden. Die Fernerkundung (RS) kann in Kombination mit Wachstumsmodellen (CGM) wertvolle Informationen für die Ertragsbewertung liefern, indem sie die Entwicklung von Pflanzen überwacht, Veränderungen bei den Pflanzen erkennt und die Auswirkungen des Klimawandels auf die Ernteerträge bewertet. Ziel dieser Dissertation ist es, das Potenzial von RS-Daten für die Modellierung langfristiger Ernteerträge von Winterweizen (WW) und Ölraps (OSR) für den Freistaat Bayern (70.550 km2 ), Deutschland, zu untersuchen. Das erste Kapitel der Dissertation beschreibt die Gründe, die für die Bedeutung genauer Ernteertragsvorhersagen für die Nachhaltigkeit in der Landwirtschaft sprechen. Das zweite Kapitel befasst sich mit der Bewertung der Genauigkeit der synthetischen RS Daten durch die Fusion der NDVIs von zwei Daten mit hoher räumlicher Auflösung (hohes Paar) (Landsat (30 m, 16 Tage; L) und Sentinel-2 (10 m, 5-6 Tage; S) mit vier Daten mit geringer räumlicher Auflösung (niedriges Paar) (MOD13Q1 (250 m, 16 Tage), MCD43A4 (500 m, ein Tag), MOD09GQ (250 m, ein Tag) und MOD09Q1 (250 m, 8 Tage)) unter Verwendung des räumlich und zeitlich adaptiven Reflexionsfusionsmodells (STARFM), das Wolken- oder Schattenlücken in Regionen füllt, ohne räumliche Informationen zu verlieren. In diesem Kapitel wird festgestellt, dass sowohl L-MOD13Q1 (R2 = 0,62, RMSE = 0,11) als auch S-MOD13Q1 (R2 = 0,68, RMSE = 0,13) für die Überwachung der Landwirtschaft besser geeignet sind als die anderen fusionierten synthetischen Produkte. Im dritten Kapitel wird untersucht, inwieweit die (in Kapitel 2 gewonnenen) synthetischen raum-zeitlichen Datensätze geeignet sind, die Ernteerträge von WW und OSR auf regionaler Ebene genau zu kartieren und zu überwachen. Das Kapitel untersucht und diskutiert die optimalen räumlichen (10 m, 30 m oder 250 m),zeitlichen (8 oder 16 Tage) und CGMs (World Food Studies (WOFOST) und den semi-empirischen Ansatz der Lichtnutzungseffizienz (LUE)) für genaue Ertragsschätzungen beider Kulturarten. Im dritten Kapitel wird festgestellt, dass die Beobachtung von Produkten mit hoher zeitlicher Auflösung (8 Tage) sowohl des S-MOD13Q1 als auch des L-MOD13Q1 eine wichtige Rolle bei der genauen Messung des Ertrags von WW und OSR spielt. In diesem Kapitel wird untersucht, dass das einfache Modell der Lichtnutzungseffizienz (LUE) (R2 = 0,77 und relativer RMSE (RRMSE) = 8,17 %), das weniger Eingabeparameter zur Simulation des Ernteertrags benötigt, sehr genau, zuverlässig und präziser ist als das komplexe WOFOST-Modell (R2 = 0,66 und RRMSE = 11,35 %) mit höheren Eingabeparametern. In Kapitel vier wird der Zusammenhang zwischen der raum-zeitlichen Fusionsmodellierung mit STRAFM und der Ertragsvorhersage für WW und OSR mit dem LUE-Modell für Bayern von 2001 bis 2019 untersucht. Das Kapitel stellt den hohen positiven Korrelationskoeffizienten (R) = 0,81 und R = 0,77 zwischen dem jährlichen R2 der synthetischen Genauigkeit und der modellierten Ertragsgenauigkeit für WW bzw. OSR von 2001 bis 2019 fest. In diesem Kapitel werden die Auswirkungen der Klimavariablen auf die Ertragsvorhersagen analysiert, wobei ein Anstieg des R2 (0,79 (WW)/0,86 (OSR)) und eine Verringerung des RMSE (4,51/2,57 dt/ha) festgestellt werden, wenn der Klimaeffekt in das Modell einbezogen wird. Das fünfte Kapitel deutet darauf hin, dass die Kopplung des LUE-Modells mit dem Random-Forest-Modell (RF) den relativen mittleren quadratischen Fehler (RRMSE) von -8 % (WW) und -1,6 % (OSR) weiter reduzieren und das R2 um 14,3 % (sowohl für WW als auch für OSR) erhöhen kann, verglichen mit Ergebnissen, die nur auf LUE beruhen. Das gleiche Kapitel kommt zu dem Schluss, dass die satellitengestützte Pflanzenbiomasse, die Sonneneinstrahlung und die Temperatur die einflussreichsten Variablen bei der Ertragsvorhersage für beide Kulturarten sind. In Kapitel sechs wird versucht, sowohl die Vor- als auch die Nachteile der RS-Technologie zu erörtern, indem die Auswirkungen der unterschiedlichen Landnutzung auf die modellierte Biomasse von WW und OSR analysiert werden. In diesem Kapitel wird festgestellt, dass die modellierte Biomasse beider Kulturen durch die Landnutzungsvielfalt bis zu einem Radius von 450 (Shannon Diversity Index ~0,75) bzw. 1050 m (~0,75) positiv beeinflusst wird. In diesem Kapitel werden auch künftige Auswirkungen erörtert, indem festgestellt wird, dass die Einbeziehung einiger abhängiger Faktoren (wie die angewandten Bewirtschaftungsmethoden, die Bodengesundheit, die Schädlingsbekämpfung und die Bestäuber) die Beziehung zwischen den mit RS modellierten Ernteerträgen und der biologischen Vielfalt verbessern könnte. Im siebten Kapitel schließlich wird die Erprobung neuer Sensoren wie unbemannte Luftfahrzeuge, hyperspektrale Sensoren oder Sentinel-1 SAR in der RS erörtert, um genaue Ertragsvorhersagen für die Präzisionslandwirtschaft zu erreichen. Darüber hinaus wird in diesem Kapitel die Bedeutung der künstlichen Intelligenz (KI) oder des Deep Learning (DL) für die Erzielung einer höheren Genauigkeit der Ernteerträge hervorgehoben. KW - Satellite Remote Sensing KW - Crop YIelds KW - Ernteertrag KW - Datenfusion KW - Landwirtschaft / Nachhaltigkeit KW - Winterweizen KW - Data Fusion KW - Sustainable Agriculture KW - Crop Growth Models KW - Winter wheat Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-322581 N1 - eine "revised edition" der Arbeit finden Sie hier: https://doi.org/10.25972/OPUS-33052 ER - TY - THES A1 - Dhillon, Maninder Singh T1 - Potential of Remote Sensing in Modeling Long-Term Crop Yields T1 - Potenzial der Fernerkundung für die Modellierung Langfristiger Ernteerträge N2 - Accurate crop monitoring in response to climate change at a regional or field scale plays a significant role in developing agricultural policies, improving food security, forecasting, and analysing global trade trends. Climate change is expected to significantly impact agriculture, with shifts in temperature, precipitation patterns, and extreme weather events negatively affecting crop yields, soil fertility, water availability, biodiversity, and crop growing conditions. Remote sensing (RS) can provide valuable information combined with crop growth models (CGMs) for yield assessment by monitoring crop development, detecting crop changes, and assessing the impact of climate change on crop yields. This dissertation aims to investigate the potential of RS data on modelling long-term crop yields of winter wheat (WW) and oil seed rape (OSR) for the Free State of Bavaria (70,550 km2), Germany. The first chapter of the dissertation describes the reasons favouring the importance of accurate crop yield predictions for achieving sustainability in agriculture. Chapter second explores the accuracy assessment of the synthetic RS data by fusing NDVIs of two high spatial resolution data (high pair) (Landsat (30 m, 16-days; L) and Sentinel-2 (10 m, 5–6 days; S), with four low spatial resolution data (low pair) (MOD13Q1 (250 m, 16-days), MCD43A4 (500 m, one day), MOD09GQ (250 m, one-day), and MOD09Q1 (250 m, 8-days)) using the spatial and temporal adaptive reflectance fusion model (STARFM), which fills regions' cloud or shadow gaps without losing spatial information. The chapter finds that both L-MOD13Q1 (R2 = 0.62, RMSE = 0.11) and S-MOD13Q1 (R2 = 0.68, RMSE = 0.13) are more suitable for agricultural monitoring than the other synthetic products fused. Chapter third explores the ability of the synthetic spatiotemporal datasets (obtained in chapter 2) to accurately map and monitor crop yields of WW and OSR at a regional scale. The chapter investigates and discusses the optimal spatial (10 m, 30 m, or 250 m), temporal (8 or 16-day) and CGMs (World Food Studies (WOFOST), and the semi-empiric light use efficiency approach (LUE)) for accurate crop yield estimations of both crop types. Chapter third observes that the observations of high temporal resolution (8-day) products of both S-MOD13Q1 and L-MOD13Q1 play a significant role in accurately measuring the yield of WW and OSR. The chapter investigates that the simple light use efficiency (LUE) model (R2 = 0.77 and relative RMSE (RRMSE) = 8.17%) that required fewer input parameters to simulate crop yield is highly accurate, reliable, and more precise than the complex WOFOST model (R2 = 0.66 and RRMSE = 11.35%) with higher input parameters. Chapter four researches the relationship of spatiotemporal fusion modelling using STRAFM on crop yield prediction for WW and OSR using the LUE model for Bavaria from 2001 to 2019. The chapter states the high positive correlation coefficient (R) = 0.81 and R = 0.77 between the yearly R2 of synthetic accuracy and modelled yield accuracy for WW and OSR from 2001 to 2019, respectively. The chapter analyses the impact of climate variables on crop yield predictions by observing an increase in R2 (0.79 (WW)/0.86 (OSR)) and a decrease in RMSE (4.51/2.57 dt/ha) when the climate effect is included in the model. The fifth chapter suggests that the coupling of the LUE model to the random forest (RF) model can further reduce the relative root mean square error (RRMSE) from -8% (WW) and -1.6% (OSR) and increase the R2 by 14.3% (for both WW and OSR), compared to results just relying on LUE. The same chapter concludes that satellite-based crop biomass, solar radiation, and temperature are the most influential variables in the yield prediction of both crop types. Chapter six attempts to discuss both pros and cons of RS technology while analysing the impact of land use diversity on crop-modelled biomass of WW and OSR. The chapter finds that the modelled biomass of both crops is positively impacted by land use diversity to the radius of 450 (Shannon Diversity Index ~0.75) and 1050 m (~0.75), respectively. The chapter also discusses the future implications by stating that including some dependent factors (such as the management practices used, soil health, pest management, and pollinators) could improve the relationship of RS-modelled crop yields with biodiversity. Lastly, chapter seven discusses testing the scope of new sensors such as unmanned aerial vehicles, hyperspectral sensors, or Sentinel-1 SAR in RS for achieving accurate crop yield predictions for precision farming. In addition, the chapter highlights the significance of artificial intelligence (AI) or deep learning (DL) in obtaining higher crop yield accuracies. N2 - Die genaue Überwachung von Nutzpflanzen als Reaktion auf den Klimawandel auf regionaler oder feldbezogener Ebene spielt eine wichtige Rolle bei der Entwicklung von Agrarpolitiken, der Verbesserung der Ernährungssicherheit, der Erstellung von Prognosen und der Analyse von Trends im Welthandel. Es wird erwartet, dass sich der Klimawandel erheblich auf die Landwirtschaft auswirken wird, da sich Verschiebungen bei den Temperaturen, Niederschlagsmustern und extremen Wetterereignissen negativ auf die Ernteerträge, die Bodenfruchtbarkeit, die Wasserverfügbarkeit, die Artenvielfalt und die Anbaubedingungen auswirken werden. Die Fernerkundung (RS) kann in Kombination mit Wachstumsmodellen (CGM) wertvolle Informationen für die Ertragsbewertung liefern, indem sie die Entwicklung von Pflanzen überwacht, Veränderungen bei den Pflanzen erkennt und die Auswirkungen des Klimawandels auf die Ernteerträge bewertet. Ziel dieser Dissertation ist es, das Potenzial von RS-Daten für die Modellierung langfristiger Ernteerträge von Winterweizen (WW) und Ölraps (OSR) für den Freistaat Bayern (70.550 km2 ), Deutschland, zu untersuchen. Das erste Kapitel der Dissertation beschreibt die Gründe, die für die Bedeutung genauer Ernteertragsvorhersagen für die Nachhaltigkeit in der Landwirtschaft sprechen. Das zweite Kapitel befasst sich mit der Bewertung der Genauigkeit der synthetischen RS Daten durch die Fusion der NDVIs von zwei Daten mit hoher räumlicher Auflösung (hohes Paar) (Landsat (30 m, 16 Tage; L) und Sentinel-2 (10 m, 5-6 Tage; S) mit vier Daten mit geringer räumlicher Auflösung (niedriges Paar) (MOD13Q1 (250 m, 16 Tage), MCD43A4 (500 m, ein Tag), MOD09GQ (250 m, ein Tag) und MOD09Q1 (250 m, 8 Tage)) unter Verwendung des räumlich und zeitlich adaptiven Reflexionsfusionsmodells (STARFM), das Wolken- oder Schattenlücken in Regionen füllt, ohne räumliche Informationen zu verlieren. In diesem Kapitel wird festgestellt, dass sowohl L-MOD13Q1 (R2 = 0,62, RMSE = 0,11) als auch S-MOD13Q1 (R2 = 0,68, RMSE = 0,13) für die Überwachung der Landwirtschaft besser geeignet sind als die anderen fusionierten synthetischen Produkte. Im dritten Kapitel wird untersucht, inwieweit die (in Kapitel 2 gewonnenen) synthetischen raum-zeitlichen Datensätze geeignet sind, die Ernteerträge von WW und OSR auf regionaler Ebene genau zu kartieren und zu überwachen. Das Kapitel untersucht und diskutiert die optimalen räumlichen (10 m, 30 m oder 250 m),zeitlichen (8 oder 16 Tage) und CGMs (World Food Studies (WOFOST) und den semi-empirischen Ansatz der Lichtnutzungseffizienz (LUE)) für genaue Ertragsschätzungen beider Kulturarten. Im dritten Kapitel wird festgestellt, dass die Beobachtung von Produkten mit hoher zeitlicher Auflösung (8 Tage) sowohl des S-MOD13Q1 als auch des L-MOD13Q1 eine wichtige Rolle bei der genauen Messung des Ertrags von WW und OSR spielt. In diesem Kapitel wird untersucht, dass das einfache Modell der Lichtnutzungseffizienz (LUE) (R2 = 0,77 und relativer RMSE (RRMSE) = 8,17 %), das weniger Eingabeparameter zur Simulation des Ernteertrags benötigt, sehr genau, zuverlässig und präziser ist als das komplexe WOFOST-Modell (R2 = 0,66 und RRMSE = 11,35 %) mit höheren Eingabeparametern. In Kapitel vier wird der Zusammenhang zwischen der raum-zeitlichen Fusionsmodellierung mit STRAFM und der Ertragsvorhersage für WW und OSR mit dem LUE-Modell für Bayern von 2001 bis 2019 untersucht. Das Kapitel stellt den hohen positiven Korrelationskoeffizienten (R) = 0,81 und R = 0,77 zwischen dem jährlichen R2 der synthetischen Genauigkeit und der modellierten Ertragsgenauigkeit für WW bzw. OSR von 2001 bis 2019 fest. In diesem Kapitel werden die Auswirkungen der Klimavariablen auf die Ertragsvorhersagen analysiert, wobei ein Anstieg des R2 (0,79 (WW)/0,86 (OSR)) und eine Verringerung des RMSE (4,51/2,57 dt/ha) festgestellt werden, wenn der Klimaeffekt in das Modell einbezogen wird. Das fünfte Kapitel deutet darauf hin, dass die Kopplung des LUE-Modells mit dem Random-Forest-Modell (RF) den relativen mittleren quadratischen Fehler (RRMSE) von -8 % (WW) und -1,6 % (OSR) weiter reduzieren und das R2 um 14,3 % (sowohl für WW als auch für OSR) erhöhen kann, verglichen mit Ergebnissen, die nur auf LUE beruhen. Das gleiche Kapitel kommt zu dem Schluss, dass die satellitengestützte Pflanzenbiomasse, die Sonneneinstrahlung und die Temperatur die einflussreichsten Variablen bei der Ertragsvorhersage für beide Kulturarten sind. In Kapitel sechs wird versucht, sowohl die Vor- als auch die Nachteile der RS-Technologie zu erörtern, indem die Auswirkungen der unterschiedlichen Landnutzung auf die modellierte Biomasse von WW und OSR analysiert werden. In diesem Kapitel wird festgestellt, dass die modellierte Biomasse beider Kulturen durch die Landnutzungsvielfalt bis zu einem Radius von 450 (Shannon Diversity Index ~0,75) bzw. 1050 m (~0,75) positiv beeinflusst wird. In diesem Kapitel werden auch künftige Auswirkungen erörtert, indem festgestellt wird, dass die Einbeziehung einiger abhängiger Faktoren (wie die angewandten Bewirtschaftungsmethoden, die Bodengesundheit, die Schädlingsbekämpfung und die Bestäuber) die Beziehung zwischen den mit RS modellierten Ernteerträgen und der biologischen Vielfalt verbessern könnte. Im siebten Kapitel schließlich wird die Erprobung neuer Sensoren wie unbemannte Luftfahrzeuge, hyperspektrale Sensoren oder Sentinel-1 SAR in der RS erörtert, um genaue Ertragsvorhersagen für die Präzisionslandwirtschaft zu erreichen. Darüber hinaus wird in diesem Kapitel die Bedeutung der künstlichen Intelligenz (KI) oder des Deep Learning (DL) für die Erzielung einer höheren Genauigkeit der Ernteerträge hervorgehoben. KW - Accurate crop monitoring KW - Ernteertrag KW - Datenfusion KW - Landwirtschaft / Nachhaltigkeit KW - Winterweizen KW - Climate change KW - Remote sensing (RS) KW - Crop growth models (CGMs) KW - Synthetic RS data KW - Spatiotemporal fusion KW - Crop yield estimations KW - Light use efficiency (LUE) model KW - Random forest (RF) model KW - Land use diversity Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-330529 N1 - die originale ursprüngliche Dissertation finden Sie hier: https://doi.org/10.25972/OPUS-32258 ER - TY - THES A1 - Werner, Lennart T1 - Terrain Mapping for Autonomous Navigation of Lunar Rovers T1 - Geländekartierung für die autonome Navigation von Mondrovern N2 - Autonomous mobile robots operating in unknown terrain have to guide their drive decisions through local perception. Local mapping and traversability analysis is essential for safe rover operation and low level locomotion. This thesis deals with the challenge of building a local, robot centric map from ultra short baseline stereo imagery for height and traversability estimation. Several grid-based, incremental mapping algorithms are compared and evaluated in a multi size, multi resolution framework. A new, covariance based mapping update is introduced, which is capable of detecting sub- cellsize obstacles and abstracts the terrain of one cell as a first order surface. The presented mapping setup is capable of producing reliable ter- rain and traversability estimates under the conditions expected for the Cooperative Autonomous Distributed Robotic Exploreration (CADRE) mission. Algorithmic- and software architecture design targets high reliability and efficiency for meeting the tight constraints implied by CADRE’s small on-board embedded CPU. Extensive evaluations are conducted to find possible edge-case scenar- ios in the operating envelope of the map and to confirm performance parameters. The research in this thesis targets the CADRE mission, but is applicable to any form of mobile robotics which require height- and traversability mapping. N2 - Autonome mobile Roboter, die in unkartiertem Terrain operieren, müs- sen ihre Fahrentscheidungen durch lokale Wahrnehmung steuern. Lo- kale Kartierung und Passierbarkeitsanalysen sind der Schlüssel für ei- nen sicheren Betrieb des Roboters und die Fortbewegung. Diese Arbeit beschäftigt sich mit der Herausforderung, eine lokale, roboterzentrierte Karte für Höhen- und Passierbarkeitsanalysen aus Stereobildern zu erstellen. Mehrere inkrementelle Kartierungsalgorithmen werden verglichen und in einem Framework mit verschiedenen Layern für Größen und Auflö- sungen implementiert und verglichen. Ein neues, kovarianzbasiertes Kartierungsupdate wird eingeführt, das in der Lage ist, Hindernisse unterhalb der Zellgröße zu erkennen. Dieser Algorithmus abstrahiert die Umgebung einer Zelle als Oberfläche erster Ordnung. Das vorgestellte Kartierungssystem ist in der Lage, zuverlässige Gelände- und Durchquerbarkeitsschätzungen unter den CADRE Bedingungen zu liefern. Das Design der Algorithmen- und Software-Architektur zielt auf hohe Zuverlässigkeit und Effizienz ab, um die engen Vorgaben der eingebet- teten CPUs an Bord zu wahren. Umfassende Evaluierungen werden durchgeführt, um mögliche Grenz- szenarien im Betriebsbereich der Karte zu finden und die Leistungs- parameter zu bestätigen. Die Forschung in dieser Arbeit zielt auf die CADRE-Mission ab, ist aber auf jede Form der mobilen Robotik an- wendbar, die Höhen- und Durchquerbarkeitsschätzungen erfordert. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 29 KW - Mondfahrzeug KW - mapping KW - navigation KW - hazard avoidance KW - lunar rover Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-358268 ER - TY - THES A1 - Krenzer, Adrian T1 - Machine learning to support physicians in endoscopic examinations with a focus on automatic polyp detection in images and videos T1 - Maschinelles Lernen zur Unterstützung von Ärzten bei endoskopischen Untersuchungen mit Schwerpunkt auf der automatisierten Polypenerkennung in Bildern und Videos N2 - Deep learning enables enormous progress in many computer vision-related tasks. Artificial Intel- ligence (AI) steadily yields new state-of-the-art results in the field of detection and classification. Thereby AI performance equals or exceeds human performance. Those achievements impacted many domains, including medical applications. One particular field of medical applications is gastroenterology. In gastroenterology, machine learning algorithms are used to assist examiners during interventions. One of the most critical concerns for gastroenterologists is the development of Colorectal Cancer (CRC), which is one of the leading causes of cancer-related deaths worldwide. Detecting polyps in screening colonoscopies is the essential procedure to prevent CRC. Thereby, the gastroenterologist uses an endoscope to screen the whole colon to find polyps during a colonoscopy. Polyps are mucosal growths that can vary in severity. This thesis supports gastroenterologists in their examinations with automated detection and clas- sification systems for polyps. The main contribution is a real-time polyp detection system. This system is ready to be installed in any gastroenterology practice worldwide using open-source soft- ware. The system achieves state-of-the-art detection results and is currently evaluated in a clinical trial in four different centers in Germany. The thesis presents two additional key contributions: One is a polyp detection system with ex- tended vision tested in an animal trial. Polyps often hide behind folds or in uninvestigated areas. Therefore, the polyp detection system with extended vision uses an endoscope assisted by two additional cameras to see behind those folds. If a polyp is detected, the endoscopist receives a vi- sual signal. While the detection system handles the additional two camera inputs, the endoscopist focuses on the main camera as usual. The second one are two polyp classification models, one for the classification based on shape (Paris) and the other on surface and texture (NBI International Colorectal Endoscopic (NICE) classification). Both classifications help the endoscopist with the treatment of and the decisions about the detected polyp. The key algorithms of the thesis achieve state-of-the-art performance. Outstandingly, the polyp detection system tested on a highly demanding video data set shows an F1 score of 90.25 % while working in real-time. The results exceed all real-time systems in the literature. Furthermore, the first preliminary results of the clinical trial of the polyp detection system suggest a high Adenoma Detection Rate (ADR). In the preliminary study, all polyps were detected by the polyp detection system, and the system achieved a high usability score of 96.3 (max 100). The Paris classification model achieved an F1 score of 89.35 % which is state-of-the-art. The NICE classification model achieved an F1 score of 81.13 %. Furthermore, a large data set for polyp detection and classification was created during this thesis. Therefore a fast and robust annotation system called Fast Colonoscopy Annotation Tool (FastCAT) was developed. The system simplifies the annotation process for gastroenterologists. Thereby the i gastroenterologists only annotate key parts of the endoscopic video. Afterward, those video parts are pre-labeled by a polyp detection AI to speed up the process. After the AI has pre-labeled the frames, non-experts correct and finish the annotation. This annotation process is fast and ensures high quality. FastCAT reduces the overall workload of the gastroenterologist on average by a factor of 20 compared to an open-source state-of-art annotation tool. N2 - Deep Learning ermöglicht enorme Fortschritte bei vielen Aufgaben im Bereich der Computer Vision. Künstliche Intelligenz (KI) liefert ständig neue Spitzenergebnisse im Bereich der Erkennung und Klassifizierung. Dabei erreicht oder übertrifft die Leistung von KI teilweise die menschliche Leistung. Diese Errungenschaften wirken sich auf viele Bereiche aus, darunter auch auf medizinische Anwendungen. Ein besonderer Bereich der medizinischen Anwendungen ist die Gastroenterologie. In der Gastroenterologie werden Algorithmen des maschinellen Lernens eingesetzt, um den Untersucher bei medizinischen Eingriffen zu unterstützen. Eines der größten Probleme für Gastroenterologen ist die Entwicklung von Darmkrebs, die weltweit eine der häufigsten krebsbedingten Todesursachen ist. Die Erkennung von Polypen bei Darmspiegelungen ist das wichtigste Verfahren zur Vorbeugung von Darmkrebs. Dabei untersucht der Gastroenterologe den Dickdarm im Rahmen einer Koloskopie, um z.B. Polypen zu finden. Polypen sind Schleimhautwucherungen, die unterschiedlich stark ausgeprägt sein können. Diese Arbeit unterstützt Gastroenterologen bei ihren Untersuchungen mit automatischen Erkennungssystemen und Klassifizierungssystemen für Polypen. Der Hauptbeitrag ist ein Echtzeitpolypenerkennungssystem. Dieses System kann in jeder gastroenterologischen Praxis weltweit mit Open- Source-Software installiert werden. Das System erzielt Erkennungsergebnisse auf dem neusten Stand der Technik und wird derzeit in einer klinischen Studie in vier verschiedenen Praxen in Deutschland evaluiert. In dieser Arbeit werden zwei weitere wichtige Beiträge vorgestellt: Zum einen ein Polypenerkennungssystem mit erweiterter Sicht, das in einem Tierversuch getestet wurde. Polypen verstecken sich oft hinter Falten oder in nicht untersuchten Bereichen. Daher verwendet das Polypenerkennungssystem mit erweiterter Sicht ein Endoskop, das von zwei zusätzlichen Kameras unterstützt wird, um hinter diese Falten zu sehen. Wenn ein Polyp entdeckt wird, erhält der Endoskopiker ein visuelles Signal. Während das Erkennungssystem die beiden zusätzlichen Kameraeingaben verarbeitet, konzentriert sich der Endoskopiker wie gewohnt auf die Hauptkamera. Das zweite sind zwei Polypenklassifizierungsmodelle, eines für die Klassifizierung anhand der Form (Paris) und das andere anhand der Oberfläche und Textur (NICE-Klassifizierung). Beide Klassifizierungen helfen dem Endoskopiker bei der Behandlung und Entscheidung über den erkannten Polypen. Die Schlüsselalgorithmen der Dissertation erreichen eine Leistung, die dem neuesten Stand der Technik entspricht. Herausragend ist, dass das auf einem anspruchsvollen Videodatensatz getestete Polypenerkennungssystem einen F1-Wert von 90,25 % aufweist, während es in Echtzeit arbeitet. Die Ergebnisse übertreffen alle Echtzeitsysteme für Polypenerkennung in der Literatur. Darüber hinaus deuten die ersten vorläufigen Ergebnisse einer klinischen Studie des Polypenerkennungssystems auf eine hohe Adenomdetektionsrate ADR hin. In dieser Studie wurden alle Polypen durch das Polypenerkennungssystem erkannt, und das System erreichte einen hohe Nutzerfreundlichkeit von 96,3 (maximal 100). Bei der automatischen Klassifikation von Polypen basierend auf der Paris Klassifikations erreichte das in dieser Arbeit entwickelte System einen F1-Wert von 89,35 %, was dem neuesten Stand der Technik entspricht. Das NICE-Klassifikationsmodell erreichte eine F1- Wert von 81,13 %. Darüber hinaus wurde im Rahmen dieser Arbeit ein großer Datensatz zur Polypenerkennung und -klassifizierung erstellt. Dafür wurde ein schnelles und robustes Annotationssystem namens FastCAT entwickelt. Das System vereinfacht den Annotationsprozess für Gastroenterologen. Die Gastroenterologen annotieren dabei nur die wichtigsten Teile des endoskopischen Videos. Anschließend werden diese Videoteile von einer Polypenerkennungs-KI vorverarbeitet, um den Prozess zu beschleunigen. Nachdem die KI die Bilder vorbeschriftet hat, korrigieren und vervollständigen Nicht-Experten die Annotationen. Dieser Annotationsprozess ist schnell und gewährleistet eine hohe Qualität. FastCAT reduziert die Gesamtarbeitsbelastung des Gastroenterologen im Durchschnitt um den Faktor 20 im Vergleich zu einem Open-Source-Annotationstool auf dem neuesten Stand der Technik. KW - Deep Learning KW - Maschinelles Lernen KW - Maschinelles Sehen KW - Machine Learning KW - Object Detection KW - Medical Image Analysis KW - Computer Vision KW - Gastroenterologische Endoskopie KW - Polypektomie Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-319119 ER -