TY - THES A1 - Wick, Christoph T1 - Optical Medieval Music Recognition T1 - Optical Medieval Music Recognition N2 - In recent years, great progress has been made in the area of Artificial Intelligence (AI) due to the possibilities of Deep Learning which steadily yielded new state-of-the-art results especially in many image recognition tasks. Currently, in some areas, human performance is achieved or already exceeded. This great development already had an impact on the area of Optical Music Recognition (OMR) as several novel methods relying on Deep Learning succeeded in specific tasks. Musicologists are interested in large-scale musical analysis and in publishing digital transcriptions in a collection enabling to develop tools for searching and data retrieving. The application of OMR promises to simplify and thus speed-up the transcription process by either providing fully-automatic or semi-automatic approaches. This thesis focuses on the automatic transcription of Medieval music with a focus on square notation which poses a challenging task due to complex layouts, highly varying handwritten notations, and degradation. However, since handwritten music notations are quite complex to read, even for an experienced musicologist, it is to be expected that even with new techniques of OMR manual corrections are required to obtain the transcriptions. This thesis presents several new approaches and open source software solutions for layout analysis and Automatic Text Recognition (ATR) for early documents and for OMR of Medieval manuscripts providing state-of-the-art technology. Fully Convolutional Networks (FCN) are applied for the segmentation of historical manuscripts and early printed books, to detect staff lines, and to recognize neume notations. The ATR engine Calamari is presented which allows for ATR of early prints and also the recognition of lyrics. Configurable CNN/LSTM-network architectures which are trained with the segmentation-free CTC-loss are applied to the sequential recognition of text but also monophonic music. Finally, a syllable-to-neume assignment algorithm is presented which represents the final step to obtain a complete transcription of the music. The evaluations show that the performances of any algorithm is highly depending on the material at hand and the number of training instances. The presented staff line detection correctly identifies staff lines and staves with an $F_1$-score of above $99.5\%$. The symbol recognition yields a diplomatic Symbol Accuracy Rate (dSAR) of above $90\%$ by counting the number of correct predictions in the symbols sequence normalized by its length. The ATR of lyrics achieved a Character Error Rate (CAR) (equivalently the number of correct predictions normalized by the sentence length) of above $93\%$ trained on 771 lyric lines of Medieval manuscripts and of 99.89\% when training on around 3.5 million lines of contemporary printed fonts. The assignment of syllables and their corresponding neumes reached $F_1$-scores of up to $99.2\%$. A direct comparison to previously published performances is difficult due to different materials and metrics. However, estimations show that the reported values of this thesis exceed the state-of-the-art in the area of square notation. A further goal of this thesis is to enable musicologists without technical background to apply the developed algorithms in a complete workflow by providing a user-friendly and comfortable Graphical User Interface (GUI) encapsulating the technical details. For this purpose, this thesis presents the web-application OMMR4all. Its fully-functional workflow includes the proposed state-of-the-art machine-learning algorithms and optionally allows for a manual intervention at any stage to correct the output preventing error propagation. To simplify the manual (post-) correction, OMMR4all provides an overlay-editor that superimposes the annotations with a scan of the original manuscripts so that errors can easily be spotted. The workflow is designed to be iteratively improvable by training better models as soon as new Ground Truth (GT) is available. N2 - In den letzten Jahre wurden aufgrund der Möglichkeiten durch Deep Learning, was insbesondere in vielen Bildbearbeitungsaufgaben stetig neue Bestwerte erzielte, große Fortschritte im Bereich der künstlichen Intelligenz (KI) gemacht. Derzeit wird in vielen Gebieten menschliche Performanz erreicht oder mittlerweile sogar übertroffen. Diese großen Entwicklungen hatten einen Einfluss auf den Forschungsbereich der optischen Musikerkennung (OMR), da verschiedenste Methodiken, die auf Deep Learning basierten in spezifischen Aufgaben erfolgreich waren. Musikwissenschaftler sind in großangelegter Musikanalyse und in das Veröffentlichen von digitalen Transkriptionen als Sammlungen interessiert, was eine Entwicklung von Werkzeugen zur Suche und Datenakquise ermöglicht. Die Anwendung von OMR verspricht diesen Transkriptionsprozess zu vereinfachen und zu beschleunigen indem vollautomatische oder semiautomatische Ansätze bereitgestellt werden. Diese Arbeit legt den Schwerpunkt auf die automatische Transkription von mittelalterlicher Musik mit einem Fokus auf Quadratnotation, die eine komplexe Aufgabe aufgrund der komplexen Layouts, der stark variierenden Notationen und der Alterungsprozesse der Originalmanuskripte darstellt. Da jedoch die handgeschriebenen Musiknotationen selbst für erfahrene Musikwissenschaftler aufgrund der Komplexität schwer zu lesen sind, ist davon auszugehen, dass selbst mit den neuesten OMR-Techniken manuelle Korrekturen erforderlich sind, um die Transkription zu erhalten. Diese Arbeit präsentiert mehrere neue Ansätze und Open-Source-Software-Lösungen zur Layoutanalyse und zur automatischen Texterkennung (ATR) von frühen Dokumenten und für OMR von Mittelalterlichen Mauskripten, die auf dem Stand der aktuellen Technik sind. Fully Convolutional Networks (FCN) werden zur Segmentierung der historischen Manuskripte und frühen Buchdrucke, zur Detektion von Notenlinien und zur Erkennung von Neumennotationen eingesetzt. Die ATR-Engine Calamari, die eine ATR von frühen Buchdrucken und ebenso eine Erkennung von Liedtexten ermöglicht wird vorgestellt. Konfigurierbare CNN/LSTM-Netzwerkarchitekturen, die mit dem segmentierungsfreien CTC-loss trainiert werden, werden zur sequentiellen Texterkennung, aber auch einstimmiger Musik, eingesetzt. Abschließend wird ein Silben-zu-Neumen-Algorithmus vorgestellt, der dem letzten Schritt entspricht eine vollständige Transkription der Musik zu erhalten. Die Evaluationen zeigen, dass die Performanz eines jeden Algorithmus hochgradig abhängig vom vorliegenden Material und der Anzahl der Trainingsbeispiele ist. Die vorgestellte Notenliniendetektion erkennt Notenlinien und -zeilen mit einem $F_1$-Wert von über 99,5%. Die Symbolerkennung erreichte eine diplomatische Symbolerkennungsrate (dSAR), die die Anzahl der korrekten Vorhersagen in der Symbolsequenz zählt und mit der Länge normalisiert, von über 90%. Die ATR von Liedtext erzielte eine Zeichengenauigkeit (CAR) (äquivalent zur Anzahl der korrekten Vorhersagen normalisiert durch die Sequenzlänge) von über 93% bei einem Training auf 771 Liedtextzeilen von mittelalterlichen Manuskripten und von 99,89%, wenn auf 3,5 Millionen Zeilen von moderner gedruckter Schrift trainiert wird. Die Zuordnung von Silben und den zugehörigen Neumen erreicht $F_1$-werte von über 99,2%. Ein direkter Vergleich zu bereits veröffentlichten Performanzen ist hierbei jedoch schwer, da mit verschiedenen Material und Metriken evaluiert wurde. Jedoch zeigen Abschätzungen, dass die Werte dieser Arbeit den aktuellen Stand der Technik darstellen. Ein weiteres Ziel dieser Arbeit war es, Musikwissenschaftlern ohne technischen Hintergrund das Anwenden der entwickelten Algorithmen in einem vollständigen Workflow zu ermöglichen, indem eine benutzerfreundliche und komfortable graphische Benutzerschnittstelle (GUI) bereitgestellt wird, die die technischen Details kapselt. Zu diesem Zweck präsentiert diese Arbeit die Web-Applikation OMMR4all. Ihr voll funktionsfähiger Workflow inkludiert die vorgestellten Algorithmen gemäß dem aktuellen Stand der Technik und erlaubt optional manuell zu jedem Schritt einzugreifen, um die Ausgabe zur Vermeidung von Folgefehlern zu korrigieren. Zur Vereinfachung der manuellen (Nach-)Korrektur stellt OMMR4all einen Overlay-Editor zur Verfügung, der die Annotationen mit dem Scan des Originalmanuskripts überlagert, wodurch Fehler leicht erkannt werden können. Das Design des Workflows erlaubt iterative Verbesserungen, indem neue performantere Modelle trainiert werden können, sobald neue Ground Truth (GT) verfügbar ist. KW - Neumenschrift KW - Optische Zeichenerkennung (OCR) KW - Deep Learning KW - Optical Music Recognition KW - Neume Notation KW - Automatic Text Reconition KW - Optical Character Recognition KW - Deep Learning KW - Optische Musikerkennung (OMR) KW - Neumennotation KW - Automatische Texterkennung (ATR) Y1 - 2020 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-214348 ER - TY - THES A1 - Borrmann, Dorit T1 - Multi-modal 3D mapping - Combining 3D point clouds with thermal and color information T1 - Multi-modale 3D-Kartierung - Kombination von 3D-Punktwolken mit Thermo- und Farbinformation N2 - Imagine a technology that automatically creates a full 3D thermal model of an environment and detects temperature peaks in it. For better orientation in the model it is enhanced with color information. The current state of the art for analyzing temperature related issues is thermal imaging. It is relevant for energy efficiency but also for securing important infrastructure such as power supplies and temperature regulation systems. Monitoring and analysis of the data for a large building is tedious as stable conditions need to be guaranteed for several hours and detailed notes about the pose and the environment conditions for each image must be taken. For some applications repeated measurements are necessary to monitor changes over time. The analysis of the scene is only possible through expertise and experience. This thesis proposes a robotic system that creates a full 3D model of the environment with color and thermal information by combining thermal imaging with the technology of terrestrial laser scanning. The addition of a color camera facilitates the interpretation of the data and allows for other application areas. The data from all sensors collected at different positions is joined in one common reference frame using calibration and scan matching. The first part of the thesis deals with 3D point cloud processing with the emphasis on accessing point cloud data efficiently, detecting planar structures in the data and registering multiple point clouds into one common coordinate system. The second part covers the autonomous exploration and data acquisition with a mobile robot with the objective to minimize the unseen area in 3D space. Furthermore, the combination of different modalities, color images, thermal images and point cloud data through calibration is elaborated. The last part presents applications for the the collected data. Among these are methods to detect the structure of building interiors for reconstruction purposes and subsequent detection and classification of windows. A system to project the gathered thermal information back into the scene is presented as well as methods to improve the color information and to join separately acquired point clouds and photo series. A full multi-modal 3D model contains all the relevant geometric information about the recorded scene and enables an expert to fully analyze it off-site. The technology clears the path for automatically detecting points of interest thereby helping the expert to analyze the heat flow as well as localize and identify heat leaks. The concept is modular and neither limited to achieving energy efficiency nor restricted to the use in combination with a mobile platform. It also finds its application in fields such as archaeology and geology and can be extended by further sensors. N2 - Man stelle sich eine Technologie vor, die automatisch ein vollständiges 3D-Thermographiemodell einer Umgebung generiert und Temperaturspitzen darin erkennt. Zur besseren Orientierung innerhalb des Modells ist dieses mit Farbinformationen erweitert. In der Analyse temperaturrelevanter Fragestellungen sind Thermalbilder der Stand der Technik. Darunter fallen Energieeffizienz und die Sicherung wichtiger Infrastruktur, wie Energieversorgung und Systeme zur Temperaturregulierung. Die Überwachung und anschließende Analyse der Daten eines großen Gebäudes ist aufwändig, da über mehrere Stunden stabile Bedingungen garantiert und detaillierte Aufzeichnungen über die Aufnahmeposen und die Umgebungsverhältnisse für jedes Wärmebild erstellt werden müssen. Einige Anwendungen erfordern wiederholte Messungen, um Veränderungen über die Zeit zu beobachten. Eine Analyse der Szene ist nur mit Erfahrung und Expertise möglich. Diese Arbeit stellt ein Robotersystem vor, das durch Kombination von Thermographie mit terrestrischem Laserscanning ein vollständiges 3D Modell der Umgebung mit Farb- und Temperaturinformationen erstellt. Die ergänzende Farbkamera vereinfacht die Interpretation der Daten und eröffnet weitere Anwendungsfelder. Die an unterschiedlichen Positionen aufgenommenen Daten aller Sensoren werden durch Kalibrierung und Scanmatching in einem gemeinsamen Bezugssystem zusammengefügt. Der erste Teil der Arbeit behandelt 3D-Punktwolkenverarbeitung mit Schwerpunkt auf effizientem Punktzugriff, Erkennung planarer Strukturen und Registrierung mehrerer Punktwolken in einem gemeinsamen Koordinatensystem. Der zweite Teil beschreibt die autonome Erkundung und Datenakquise mit einem mobilen Roboter, mit dem Ziel, die bisher nicht erfassten Bereiche im 3D-Raum zu minimieren. Des Weiteren wird die Kombination verschiedener Modalitäten, Farbbilder, Thermalbilder und Punktwolken durch Kalibrierung ausgearbeitet. Den abschließenden Teil stellen Anwendungsszenarien für die gesammelten Daten dar, darunter Methoden zur Erkennung der Innenraumstruktur für die Rekonstruktion von Gebäuden und der anschließenden Erkennung und Klassifizierung von Fenstern. Ein System zur Rückprojektion der gesammelten Thermalinformation in die Umgebung wird ebenso vorgestellt wie Methoden zur Verbesserung der Farbinformationen und zum Zusammenfügen separat aufgenommener Punktwolken und Fotoreihen. Ein vollständiges multi-modales 3D Modell enthält alle relevanten geometrischen Informationen der aufgenommenen Szene und ermöglicht einem Experten, diese standortunabhängig zu analysieren. Diese Technologie ebnet den Weg für die automatische Erkennung relevanter Bereiche und für die Analyse des Wärmeflusses und vereinfacht somit die Lokalisierung und Identifikation von Wärmelecks für den Experten. Das vorgestellte modulare Konzept ist weder auf den Anwendungsfall Energieeffizienz beschränkt noch auf die Verwendung einer mobilen Plattform angewiesen. Es ist beispielsweise auch in Feldern wie der Archäologie und Geologie einsetzbar und kann durch zusätzliche Sensoren erweitert werden. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 14 KW - Punktwolke KW - Lidar KW - Thermografie KW - Robotik KW - 3D point cloud KW - Laser scanning KW - Robotics KW - 3D thermal mapping KW - Registration Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-157085 SN - 978-3-945459-20-1 SN - 1868-7474 SN - 1868-7466 ER - TY - THES A1 - Houshiar, Hamidreza T1 - Documentation and mapping with 3D point cloud processing T1 - Dokumentation und Kartierung mittels 3D-Punktwolkenverarbeitung N2 - 3D point clouds are a de facto standard for 3D documentation and modelling. The advances in laser scanning technology broadens the usability and access to 3D measurement systems. 3D point clouds are used in many disciplines such as robotics, 3D modelling, archeology and surveying. Scanners are able to acquire up to a million of points per second to represent the environment with a dense point cloud. This represents the captured environment with a very high degree of detail. The combination of laser scanning technology with photography adds color information to the point clouds. Thus the environment is represented more realistically. Full 3D models of environments, without any occlusion, require multiple scans. Merging point clouds is a challenging process. This thesis presents methods for point cloud registration based on the panorama images generated from the scans. Image representation of point clouds introduces 2D image processing methods to 3D point clouds. Several projection methods for the generation of panorama maps of point clouds are presented in this thesis. Additionally, methods for point cloud reduction and compression based on the panorama maps are proposed. Due to the large amounts of data generated from the 3D measurement systems these methods are necessary to improve the point cloud processing, transmission and archiving. This thesis introduces point cloud processing methods as a novel framework for the digitisation of archeological excavations. The framework replaces the conventional documentation methods for excavation sites. It employs point clouds for the generation of the digital documentation of an excavation with the help of an archeologist on-site. The 3D point cloud is used not only for data representation but also for analysis and knowledge generation. Finally, this thesis presents an autonomous indoor mobile mapping system. The mapping system focuses on the sensor placement planning method. Capturing a complete environment requires several scans. The sensor placement planning method solves for the minimum required scans to digitise large environments. Combining this method with a navigation system on a mobile robot platform enables it to acquire data fully autonomously. This thesis introduces a novel hole detection method for point clouds to detect obscured parts of a captured environment. The sensor placement planning method selects the next scan position with the most coverage of the obscured environment. This reduces the required number of scans. The navigation system on the robot platform consist of path planning, path following and obstacle avoidance. This guarantees the safe navigation of the mobile robot platform between the scan positions. The sensor placement planning method is designed as a stand alone process that could be used with a mobile robot platform for autonomous mapping of an environment or as an assistant tool for the surveyor on scanning projects. N2 - 3D-Punktwolken sind der de facto Standard bei der Dokumentation und Modellierung in 3D. Die Fortschritte in der Laserscanningtechnologie erweitern die Verwendbarkeit und die Verfügbarkeit von 3D-Messsystemen. 3D-Punktwolken werden in vielen Disziplinen verwendet, wie z.B. in der Robotik, 3D-Modellierung, Archäologie und Vermessung. Scanner sind in der Lage bis zu einer Million Punkte pro Sekunde zu erfassen, um die Umgebung mit einer dichten Punktwolke abzubilden und mit einem hohen Detaillierungsgrad darzustellen. Die Kombination der Laserscanningtechnologie mit Methoden der Photogrammetrie fügt den Punktwolken Farbinformationen hinzu. Somit wird die Umgebung realistischer dargestellt. Vollständige 3D-Modelle der Umgebung ohne Verschattungen benötigen mehrere Scans. Punktwolken zusammenzufügen ist eine anspruchsvolle Aufgabe. Diese Arbeit stellt Methoden zur Punktwolkenregistrierung basierend auf aus den Scans erzeugten Panoramabildern vor. Die Darstellung einer Punktwolke als Bild bringt Methoden der 2D-Bildverarbeitung an 3D-Punktwolken heran. Der Autor stellt mehrere Projektionsmethoden zur Erstellung von Panoramabildern aus 3D-Punktwolken vor. Außerdem werden Methoden zur Punktwolkenreduzierung und -kompression basierend auf diesen Panoramabildern vorgeschlagen. Aufgrund der großen Datenmenge, die von 3D-Messsystemen erzeugt wird, sind diese Methoden notwendig, um die Punktwolkenverarbeitung, -übertragung und -archivierung zu verbessern. Diese Arbeit präsentiert Methoden der Punktwolkenverarbeitung als neuartige Ablaufstruktur für die Digitalisierung von archäologischen Ausgrabungen. Durch diesen Ablauf werden konventionellen Methoden auf Ausgrabungsstätten ersetzt. Er verwendet Punktwolken für die Erzeugung der digitalen Dokumentation einer Ausgrabung mithilfe eines Archäologen vor Ort. Die 3D-Punktwolke kommt nicht nur für die Anzeige der Daten, sondern auch für die Analyse und Wissensgenerierung zum Einsatz. Schließlich stellt diese Arbeit ein autonomes Indoor-Mobile-Mapping-System mit Fokus auf der Positionsplanung des Messgeräts vor. Die Positionsplanung bestimmt die minimal benötigte Anzahl an Scans, um großflächige Umgebungen zu digitalisieren. Kombiniert mit einem Navigationssystem auf einer mobilen Roboterplattform ermöglicht diese Methode die vollautonome Datenerfassung. Diese Arbeit stellt eine neuartige Erkennungsmethode für Lücken in Punktwolken vor, um verdeckte Bereiche der erfassten Umgebung zu bestimmen. Die Positionsplanung bestimmt als nächste Scanposition diejenige mit der größten Abdeckung der verdeckten Umgebung. Das Navigationssystem des Roboters besteht aus der Pfadplanung, der Pfadverfolgung und einer Hindernisvermeidung um eine sichere Fortbewegung der mobilen Roboterplattform zwischen den Scanpositionen zu garantieren. Die Positionsplanungsmethode wurde als eigenständiges Verfahren entworfen, das auf einer mobilen Roboterplattform zur autonomen Kartierung einer Umgebung zum Einsatz kommen oder einem Vermesser bei einem Scanprojekt als Unterstützung dienen kann. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 12 KW - 3D Punktwolke KW - Robotik KW - Registrierung KW - 3D Pointcloud KW - Feature Based Registration KW - Compression KW - Computer Vision KW - Robotics KW - Panorama Images Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-144493 SN - 978-3-945459-14-0 ER - TY - THES A1 - Schauer Marin Rodrigues, Johannes T1 - Detecting Changes and Finding Collisions in 3D Point Clouds : Data Structures and Algorithms for Post-Processing Large Datasets T1 - Erkennen von Änderungen und Finden von Kollisionen in 3D Punktwolken N2 - Affordable prices for 3D laser range finders and mature software solutions for registering multiple point clouds in a common coordinate system paved the way for new areas of application for 3D point clouds. Nowadays we see 3D laser scanners being used not only by digital surveying experts but also by law enforcement officials, construction workers or archaeologists. Whether the purpose is digitizing factory production lines, preserving historic sites as digital heritage or recording environments for gaming or virtual reality applications -- it is hard to imagine a scenario in which the final point cloud must also contain the points of "moving" objects like factory workers, pedestrians, cars or flocks of birds. For most post-processing tasks, moving objects are undesirable not least because moving objects will appear in scans multiple times or are distorted due to their motion relative to the scanner rotation. The main contributions of this work are two postprocessing steps for already registered 3D point clouds. The first method is a new change detection approach based on a voxel grid which allows partitioning the input points into static and dynamic points using explicit change detection and subsequently remove the latter for a "cleaned" point cloud. The second method uses this cleaned point cloud as input for detecting collisions between points of the environment point cloud and a point cloud of a model that is moved through the scene. Our approach on explicit change detection is compared to the state of the art using multiple datasets including the popular KITTI dataset. We show how our solution achieves similar or better F1-scores than an existing solution while at the same time being faster. To detect collisions we do not produce a mesh but approximate the raw point cloud data by spheres or cylindrical volumes. We show how our data structures allow efficient nearest neighbor queries that make our CPU-only approach comparable to a massively-parallel algorithm running on a GPU. The utilized algorithms and data structures are discussed in detail. All our software is freely available for download under the terms of the GNU General Public license. Most of the datasets used in this thesis are freely available as well. We provide shell scripts that allow one to directly reproduce the quantitative results shown in this thesis for easy verification of our findings. N2 - Kostengünstige Laserscanner und ausgereifte Softwarelösungen um mehrere Punktwolken in einem gemeinsamen Koordinatensystem zu registrieren, ermöglichen neue Einsatzzwecke für 3D Punktwolken. Heutzutage werden 3D Laserscanner nicht nur von Expert*innen auf dem Gebiet der Vermessung genutzt sondern auch von Polizist*innen, Bauarbeiter*innen oder Archäolog*innen. Unabhängig davon ob der Einsatzzweck die Digitalisierung von Fabrikanlagen, der Erhalt von historischen Stätten als digitaler Nachlass oder die Erfassung einer Umgebung für Virtual Reality Anwendungen ist - es ist schwer ein Szenario zu finden in welchem die finale Punktwolke auch Punkte von sich bewegenden Objekten enthalten soll, wie zum Beispiel Fabrikarbeiter*innen, Passant*innen, Autos oder einen Schwarm Vögel. In den meisten Bearbeitungsschritten sind bewegte Objekte unerwünscht und das nicht nur weil sie in mehrmals im gleichen Scan vorkommen oder auf Grund ihrer Bewegung relativ zur Scanner Rotation verzerrt gemessen werden. Der Hauptbeitrag dieser Arbeit sind zwei Nachverarbeitungsschritte für registrierte 3D Punktwolken. Die erste Methode ist ein neuer Ansatz zur Änderungserkennung basierend auf einem Voxelgitter, welche es erlaubt die Eingabepunktwolke in statische und dynamische Punkte zu segmentieren. Die zweite Methode nutzt die gesäuberte Punktwolke als Eingabe um Kollisionen zwischen Punkten der Umgebung mit der Punktwolke eines Modells welches durch die Szene bewegt wird zu erkennen. Unser Vorgehen für explizite Änderungserkennung wird mit dem aktuellen Stand der Technik unter Verwendung verschiedener Datensätze verglichen, inklusive dem populären KITTI Datensatz. Wir zeigen, dass unsere Lösung ähnliche oder bessere F1-Werte als existierende Lösungen erreicht und gleichzeitig schneller ist. Um Kollisionen zu finden erstellen wir kein Polygonnetz sondern approximieren die Punkte mit Kugeln oder zylindrischen Volumen. Wir zeigen wie unsere Datenstrukturen effiziente Nächste-Nachbarn-Suche erlaubt, die unsere CPU Lösung mit einer massiv-parallelen Lösung für die GPU vergleichbar macht. Die benutzten Algorithmen und Datenstrukturen werden im Detail diskutiert. Die komplette Software ist frei verfügbar unter den Bedingungen der GNU General Public license. Die meisten unserer Datensätze die in dieser Arbeit verwendet wurden stehen ebenfalls zum freien Download zur Verfügung. Wir publizieren ebenfalls all unsere Shell-Skripte mit denen die quantitativen Ergebnisse die in dieser Arbeit gezeigt werden reproduziert und verifiziert werden können. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 20 KW - Punktwolke KW - Änderungserkennung KW - 3d point clouds KW - collision detection KW - change detection KW - k-d tree KW - Dreidimensionale Bildverarbeitung Y1 - 2020 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-214285 SN - 978-3-945459-32-4 ER - TY - THES A1 - Leutert, Florian T1 - Flexible Augmented Reality Systeme für robotergestützte Produktionsumgebungen T1 - Flexible Augmented Reality systems for robot-based production environments N2 - Produktionssysteme mit Industrierobotern werden zunehmend komplex; waren deren Arbeitsbereiche früher noch statisch und abgeschirmt, und die programmierten Abläufe gleichbleibend, so sind die Anforderungen an moderne Robotik-Produktionsanlagen gestiegen: Diese sollen sich jetzt mithilfe von intelligenter Sensorik auch in unstrukturierten Umgebungen einsetzen lassen, sich bei sinkenden Losgrößen aufgrund individualisierter Produkte und häufig ändernden Produktionsaufgaben leicht rekonfigurieren lassen, und sogar eine direkte Zusammenarbeit zwischen Mensch und Roboter ermöglichen. Gerade auch bei dieser Mensch-Roboter-Kollaboration wird es damit notwendig, dass der Mensch die Daten und Aktionen des Roboters leicht verstehen kann. Aufgrund der gestiegenen Anforderungen müssen somit auch die Bedienerschnittstellen dieser Systeme verbessert werden. Als Grundlage für diese neuen Benutzerschnittstellen bietet sich Augmented Reality (AR) als eine Technologie an, mit der sich komplexe räumliche Daten für den Bediener leicht verständlich darstellen lassen. Komplexe Informationen werden dabei in der Arbeitsumgebung der Nutzer visualisiert und als virtuelle Einblendungen sichtbar gemacht, und so auf einen Blick verständlich. Die diversen existierenden AR-Anzeigetechniken sind für verschiedene Anwendungsfelder unterschiedlich gut geeignet, und sollten daher flexibel kombinier- und einsetzbar sein. Auch sollen diese AR-Systeme schnell und einfach auf verschiedenartiger Hardware in den unterschiedlichen Arbeitsumgebungen in Betrieb genommen werden können. In dieser Arbeit wird ein Framework für Augmented Reality Systeme vorgestellt, mit dem sich die genannten Anforderungen umsetzen lassen, ohne dass dafür spezialisierte AR-Hardware notwendig wird. Das Flexible AR-Framework kombiniert und bündelt dafür verschiedene Softwarefunktionen für die grundlegenden AR-Anzeigeberechnungen, für die Kalibrierung der notwendigen Hardware, Algorithmen zur Umgebungserfassung mittels Structured Light sowie generische ARVisualisierungen und erlaubt es dadurch, verschiedene AR-Anzeigesysteme schnell und flexibel in Betrieb zu nehmen und parallel zu betreiben. Im ersten Teil der Arbeit werden Standard-Hardware für verschiedene AR-Visualisierungsformen sowie die notwendigen Algorithmen vorgestellt, um diese flexibel zu einem AR-System zu kombinieren. Dabei müssen die einzelnen verwendeten Geräte präzise kalibriert werden; hierfür werden verschiedene Möglichkeiten vorgestellt, und die mit ihnen dann erreichbaren typischen Anzeige- Genauigkeiten in einer Evaluation charakterisiert. Nach der Vorstellung der grundlegenden ARSysteme des Flexiblen AR-Frameworks wird dann eine Reihe von Anwendungen vorgestellt, bei denen das entwickelte System in konkreten Praxis-Realisierungen als AR-Benutzerschnittstelle zum Einsatz kam, unter anderem zur Überwachung von, Zusammenarbeit mit und einfachen Programmierung von Industrierobotern, aber auch zur Visualisierung von komplexen Sensordaten oder zur Fernwartung. Im Verlauf der Arbeit werden dadurch die Vorteile, die sich durch Verwendung der AR-Technologie in komplexen Produktionssystemen ergeben, herausgearbeitet und in Nutzerstudien belegt. N2 - During recent years, production environments involving industrial robots have moved away from static, shielded production lines towards a more open, flexible and adaptable setup, where human and robot are working in close proximity or even collaborating on the same workpiece. This change necessitates improving existing user interfaces for these robots, to allow for an easier understanding of the complex robot data as well as simplifying their handling and programming. Augmented Reality (AR) is a technology that allows for realizing that: it enables the user to simply grasp complex spatial data by seeing it - appropriately visualized - in his natural work environment. This thesis introduces the Flexible Augmented Reality framework, an AR framework that allows for quick and easy realization of multiple monitor- or projection-based AR displays in the work environment of industrial robots, greatly simplifying and improving their handling without the use of specialized AR hardware. The developed framework combines and bundles all the necessary software functions and algorithms, among others for realizing the fundamental AR visualizations, calibrating the necessary hardware, capturing the display environment utilizing Structured Light and easily creating generic AR visualizations, to allow for fast deployment and parallel operation of multiple AR interfaces in different production and application fields. Among describing the developed algorithms as well as properties of the employed hardware, a thorough evaluation of the achievable display accuracy with standard hardware is given in this thesis. Finally, the framework was tested and evaluated in a number of different practical application scenarios involving industrial robot programming, remote surveillance and control, as well as intuitive sensor data display or remote maintenance. The developed solutions are presented in detail together with performed evaluations and user studies, exemplifying the framework's improvement of traditional industrial robot interfaces. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 24 KW - Erweiterte Realität KW - Industrieroboter KW - Mensch-Maschine-Schnittstelle KW - Augmented Reality KW - Nutzerschnittstellen Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-249728 SN - 978-3-945459-39-3 ER - TY - THES A1 - Strohmeier, Michael T1 - FARN – A Novel UAV Flight Controller for Highly Accurate and Reliable Navigation T1 - FARN – Eine neue UAV-Flugsteuerung für hochpräzise und zuverlässige Navigation N2 - This thesis describes the functional principle of FARN, a novel flight controller for Unmanned Aerial Vehicles (UAVs) designed for mission scenarios that require highly accurate and reliable navigation. The required precision is achieved by combining low-cost inertial sensors and Ultra-Wide Band (UWB) radio ranging with raw and carrier phase observations from the Global Navigation Satellite System (GNSS). The flight controller is developed within the scope of this work regarding the mission requirements of two research projects, and successfully applied under real conditions. FARN includes a GNSS compass that allows a precise heading estimation even in environments where the conventional heading estimation based on a magnetic compass is not reliable. The GNSS compass combines the raw observations of two GNSS receivers with FARN’s real-time capable attitude determination. Thus, especially the deployment of UAVs in Arctic environments within the project for ROBEX is possible despite the weak horizontal component of the Earth’s magnetic field. Additionally, FARN allows centimeter-accurate relative positioning of multiple UAVs in real-time. This enables precise flight maneuvers within a swarm, but also the execution of cooperative tasks in which several UAVs have a common goal or are physically coupled. A drone defense system based on two cooperative drones that act in a coordinated manner and carry a commonly suspended net to capture a potentially dangerous drone in mid-air was developed in conjunction with the project MIDRAS. Within this thesis, both theoretical and practical aspects are covered regarding UAV development with an emphasis on the fields of signal processing, guidance and control, electrical engineering, robotics, computer science, and programming of embedded systems. Furthermore, this work aims to provide a condensed reference for further research in the field of UAVs. The work describes and models the utilized UAV platform, the propulsion system, the electronic design, and the utilized sensors. After establishing mathematical conventions for attitude representation, the actual core of the flight controller, namely the embedded ego-motion estimation and the principle control architecture are outlined. Subsequently, based on basic GNSS navigation algorithms, advanced carrier phase-based methods and their coupling to the ego-motion estimation framework are derived. Additionally, various implementation details and optimization steps of the system are described. The system is successfully deployed and tested within the two projects. After a critical examination and evaluation of the developed system, existing limitations and possible improvements are outlined. N2 - Diese Arbeit beschreibt das Funktionsprinzip von FARN, einer neuartigen Flugsteuerung für unbemannte Luftfahrzeuge (UAVs), die für Missionsszenarien entwickelt wurde, die eine hochgenaue und zuverlässige Navigation erfordern. Die erforderliche Präzision wird erreicht, indem kostengünstige Inertialsensoren und Ultra-Breitband (UWB) basierte Funkreichweitenmessungen mit Roh- und Trägerphasenbeobachtungen des globalen Navigationssatellitensystems (GNSS) kombiniert werden. Die Flugsteuerung wird im Rahmen dieser Arbeit unter Berücksichtigung der Missionsanforderungen zweier Forschungsprojekte entwickelt und unter realen Bedingungen erfolgreich eingesetzt. FARN verfügt über einen GNSS-Kompass, der eine präzise Schätzung des Steuerkurses auch in Umgebungen erlaubt, in denen eine konventionelle Schätzung mit Hilfe eines Magnetkompasses nicht zuverlässig ist. Der GNSS-Kompass kombiniert die Messungen von zwei GNSS-Empfängern mit der echtzeitfähigen Lagebestimmung von FARN. Damit ist insbesondere der Einsatz von UAVs in arktischen Umgebungen im Rahmen des Projektes ROBEX trotz der schwachen horizontalen Komponente des Erdmagnetfeldes möglich. Zusätzlich erlaubt FARN eine zentimetergenaue relative Positionierung mehrerer UAVs in Echtzeit. Dies ermöglicht präzise Flugmanöver innerhalb eines Schwarms, aber auch die Ausführung kooperativer Aufgaben, bei denen mehrere UAVs ein gemeinsames Ziel haben oder physikalisch gekoppelt sind. In Verbindung mit dem Projekt MIDRAS wurde ein Drohnenabwehrsystem entwickelt, das auf zwei kooperativen Drohnen basiert, die koordiniert agieren und ein gemeinsam aufgehängtes Netz tragen, um eine potenziell gefährliche Drohne in der Luft einzufangen. Im Rahmen dieser Arbeit werden sowohl theoretische als auch praktische Aspekte der UAV-Entwicklung behandelt, wobei der Schwerpunkt auf den Bereichen der Signalverarbeitung, der Navigation und der Steuerung, der Elektrotechnik, der Robotik sowie der Informatik und der Programmierung eingebetteter Systeme liegt. Darüber hinaus soll diese Arbeit eine zusammengefasste Referenz für die weitere Drohnenforschung darstellen. Die Arbeit erläutert und modelliert die verwendete UAV-Plattform, das Antriebssystem, das elektronische Design und die eingesetzten Sensoren. Nach der Ausarbeitung mathematischer Konventionen zur Lagedarstellung, wird der eigentliche Kern des Flugreglers erläutert, nämlich die eingebettete Schätzung der Eigenbewegung und die prinzipielle Regelungsarchitektur. Anschließend werden, basierend auf grundlegenden Navigationsalgorithmen, fortgeschrittene trägerphasenbasierte Methoden und deren Zusammenhang mit der Schätzung der Eigenbewegung abgeleitet. Zusätzlich werden verschiedene Implementierungsdetails und Optimierungsschritte des Systems beschrieben. Das System wird innerhalb der beiden Projekte erfolgreich verwendet und getestet. Nach einer kritischen Untersuchung und Bewertung des entwickelten Systems werden bestehende Einschränkungen und mögliche Verbesserungen aufgezeigt. T3 - Research in Aerospace Information Technology - 1 KW - Drohne KW - Flugnavigation KW - Kalman-Filter KW - Phasenmehrdeutigkeit KW - Flugregelung KW - Unmanned Aerial Vehicle (UAV) KW - Sensorfusion KW - Error-State Extendend Kalman Filter KW - Baseline Constrained LAMBDA KW - Ultra-Wideband (UWB) radio ranging KW - Loose Coupling Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-223136 ER - TY - THES A1 - Werner, Lennart T1 - Terrain Mapping for Autonomous Navigation of Lunar Rovers T1 - Geländekartierung für die autonome Navigation von Mondrovern N2 - Autonomous mobile robots operating in unknown terrain have to guide their drive decisions through local perception. Local mapping and traversability analysis is essential for safe rover operation and low level locomotion. This thesis deals with the challenge of building a local, robot centric map from ultra short baseline stereo imagery for height and traversability estimation. Several grid-based, incremental mapping algorithms are compared and evaluated in a multi size, multi resolution framework. A new, covariance based mapping update is introduced, which is capable of detecting sub- cellsize obstacles and abstracts the terrain of one cell as a first order surface. The presented mapping setup is capable of producing reliable ter- rain and traversability estimates under the conditions expected for the Cooperative Autonomous Distributed Robotic Exploreration (CADRE) mission. Algorithmic- and software architecture design targets high reliability and efficiency for meeting the tight constraints implied by CADRE’s small on-board embedded CPU. Extensive evaluations are conducted to find possible edge-case scenar- ios in the operating envelope of the map and to confirm performance parameters. The research in this thesis targets the CADRE mission, but is applicable to any form of mobile robotics which require height- and traversability mapping. N2 - Autonome mobile Roboter, die in unkartiertem Terrain operieren, müs- sen ihre Fahrentscheidungen durch lokale Wahrnehmung steuern. Lo- kale Kartierung und Passierbarkeitsanalysen sind der Schlüssel für ei- nen sicheren Betrieb des Roboters und die Fortbewegung. Diese Arbeit beschäftigt sich mit der Herausforderung, eine lokale, roboterzentrierte Karte für Höhen- und Passierbarkeitsanalysen aus Stereobildern zu erstellen. Mehrere inkrementelle Kartierungsalgorithmen werden verglichen und in einem Framework mit verschiedenen Layern für Größen und Auflö- sungen implementiert und verglichen. Ein neues, kovarianzbasiertes Kartierungsupdate wird eingeführt, das in der Lage ist, Hindernisse unterhalb der Zellgröße zu erkennen. Dieser Algorithmus abstrahiert die Umgebung einer Zelle als Oberfläche erster Ordnung. Das vorgestellte Kartierungssystem ist in der Lage, zuverlässige Gelände- und Durchquerbarkeitsschätzungen unter den CADRE Bedingungen zu liefern. Das Design der Algorithmen- und Software-Architektur zielt auf hohe Zuverlässigkeit und Effizienz ab, um die engen Vorgaben der eingebet- teten CPUs an Bord zu wahren. Umfassende Evaluierungen werden durchgeführt, um mögliche Grenz- szenarien im Betriebsbereich der Karte zu finden und die Leistungs- parameter zu bestätigen. Die Forschung in dieser Arbeit zielt auf die CADRE-Mission ab, ist aber auf jede Form der mobilen Robotik an- wendbar, die Höhen- und Durchquerbarkeitsschätzungen erfordert. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 29 KW - Mondfahrzeug KW - mapping KW - navigation KW - hazard avoidance KW - lunar rover Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-358268 ER - TY - THES A1 - Bleier, Michael T1 - Underwater Laser Scanning - Refractive Calibration, Self-calibration and Mapping for 3D Reconstruction T1 - Laserscanning unter Wasser - Refraktive Kalibrierung, Selbstkalibrierung und Kartierung zur 3D Rekonstruktion N2 - There is great interest in affordable, precise and reliable metrology underwater: Archaeologists want to document artifacts in situ with high detail. In marine research, biologists require the tools to monitor coral growth and geologists need recordings to model sediment transport. Furthermore, for offshore construction projects, maintenance and inspection millimeter-accurate measurements of defects and offshore structures are essential. While the process of digitizing individual objects and complete sites on land is well understood and standard methods, such as Structure from Motion or terrestrial laser scanning, are regularly applied, precise underwater surveying with high resolution is still a complex and difficult task. Applying optical scanning techniques in water is challenging due to reduced visibility caused by turbidity and light absorption. However, optical underwater scanners provide significant advantages in terms of achievable resolution and accuracy compared to acoustic systems. This thesis proposes an underwater laser scanning system and the algorithms for creating dense and accurate 3D scans in water. It is based on laser triangulation and the main optical components are an underwater camera and a cross-line laser projector. The prototype is configured with a motorized yaw axis for capturing scans from a tripod. Alternatively, it is mounted to a moving platform for mobile mapping. The main focus lies on the refractive calibration of the underwater camera and laser projector, the image processing and 3D reconstruction. For highest accuracy, the refraction at the individual media interfaces must be taken into account. This is addressed by an optimization-based calibration framework using a physical-geometric camera model derived from an analytical formulation of a ray-tracing projection model. In addition to scanning underwater structures, this work presents the 3D acquisition of semi-submerged structures and the correction of refraction effects. As in-situ calibration in water is complex and time-consuming, the challenge of transferring an in-air scanner calibration to water without re-calibration is investigated, as well as self-calibration techniques for structured light. The system was successfully deployed in various configurations for both static scanning and mobile mapping. An evaluation of the calibration and 3D reconstruction using reference objects and a comparison of free-form surfaces in clear water demonstrate the high accuracy potential in the range of one millimeter to less than one centimeter, depending on the measurement distance. Mobile underwater mapping and motion compensation based on visual-inertial odometry is demonstrated using a new optical underwater scanner based on fringe projection. Continuous registration of individual scans allows the acquisition of 3D models from an underwater vehicle. RGB images captured in parallel are used to create 3D point clouds of underwater scenes in full color. 3D maps are useful to the operator during the remote control of underwater vehicles and provide the building blocks to enable offshore inspection and surveying tasks. The advancing automation of the measurement technology will allow non-experts to use it, significantly reduce acquisition time and increase accuracy, making underwater metrology more cost-effective. N2 - Das Interesse an präziser, zuverlässiger und zugleich kostengünstiger Unterwassermesstechnik ist groß. Beispielsweise wollen Archäologen Artefakte in situ mit hoher Detailtreue dokumentieren und in der Meeresforschung benötigen Biologen Messwerkzeuge zur Beobachtung des Korallenwachstums. Auch Geologen sind auf Messdaten angewiesen, um Sedimenttransporte zu modellieren. Darüber hinaus ist für die Errichtung von Offshore-Bauwerken, sowie deren Wartung und Inspektion eine millimetergenaue Vermessung von vorhandenen Strukturen und Defekten unerlässlich. Während die Digitalisierung einzelner Objekte und ganzer Areale an Land gut erforscht ist und verschiedene Standardmethoden, wie zum Beispiel Structure from Motion oder terrestrisches Laserscanning, regelmäßig eingesetzt werden, ist die präzise und hochauflösende Unterwasservermessung nach wie vor eine komplexe und schwierige Aufgabe. Die Anwendung optischer Messtechnik im Wasser ist aufgrund der eingeschränkten Sichttiefe durch Trübung und Lichtabsorption eine Herausforderung. Optische Unterwasserscanner bieten jedoch Vorteile hinsichtlich der erreichbaren Auflösung und Genauigkeit gegenüber akustischen Systemen. In dieser Arbeit werden ein Unterwasser-Laserscanning-System und die Algorithmen zur Erzeugung von 3D-Scans mit hoher Punktdichte im Wasser vorgestellt. Es basiert auf Lasertriangulation und die optischen Hauptkomponenten sind eine Unterwasserkamera und ein Kreuzlinienlaserprojektor. Das System ist mit einer motorisierten Drehachse ausgestattet, um Scans von einem Stativ aus aufzunehmen. Alternativ kann es von einer beweglichen Plattform aus für mobile Kartierung eingesetzt werden. Das Hauptaugenmerk liegt auf der refraktiven Kalibrierung der Unterwasserkamera und des Laserprojektors, der Bildverarbeitung und der 3D-Rekonstruktion. Um höchste Genauigkeit zu erreichen, muss die Brechung an den einzelnen Medienübergängen berücksichtigt werden. Dies wird durch ein physikalisch-geometrisches Kameramodell, das auf einer analytischen Beschreibung der Strahlenverfolgung basiert, und ein optimierungsbasiertes Kalibrierverfahren erreicht. Neben dem Scannen von Unterwasserstrukturen wird in dieser Arbeit auch die 3D-Erfassung von teilweise im Wasser befindlichen Strukturen und die Korrektur der dabei auftretenden Brechungseffekte vorgestellt. Da die Kalibrierung im Wasser komplex und zeitintensiv ist, wird die Übertragung einer Kalibrierung des Scanners in Luft auf die Bedingungen im Wasser ohne Neukalibrierung, sowie die Selbstkalibrierung für Lichtschnittverfahren untersucht. Das System wurde in verschiedenen Konfigurationen sowohl für statisches Scannen als auch für die mobile Kartierung erfolgreich eingesetzt. Die Validierung der Kalibrierung und der 3D-Rekonstruktion anhand von Referenzobjekten und der Vergleich von Freiformflächen in klarem Wasser zeigen das hohe Genauigkeitspotenzial im Bereich von einem Millimeter bis weniger als einem Zentimeter in Abhängigkeit von der Messdistanz. Die mobile Unterwasserkartierung und Bewegungskompensation anhand visuell-inertialer Odometrie wird mit einem neuen optischen Unterwasserscanner auf Basis der Streifenprojektion demonstriert. Dabei ermöglicht die kontinuierliche Registrierung von Einzelscans die Erfassung von 3D-Modellen von einem Unterwasserfahrzeug aus. Mit Hilfe von parallel aufgenommenen RGB-Bildern werden dabei farbige 3D-Punktwolken der Unterwasserszenen erstellt. Diese 3D-Karten dienen beispielsweise dem Bediener bei der Fernsteuerung von Unterwasserfahrzeugen und bilden die Grundlage für Offshore-Inspektions- und Vermessungsaufgaben. Die fortschreitende Automatisierung der Messtechnik wird somit auch eine Verwendung durch Nichtfachleute ermöglichen und gleichzeitig die Erfassungszeit erheblich verkürzen und die Genauigkeit verbessern, was die Vermessung im Wasser kostengünstiger und effizienter macht. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 28 KW - Selbstkalibrierung KW - Punktwolke KW - Bildverarbeitung KW - 3D Reconstruction KW - Self-calibration KW - Underwater Scanning KW - Underwater Mapping KW - Dreidimensionale Rekonstruktion KW - 3D-Rekonstruktion Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-322693 SN - 978-3-945459-45-4 ER - TY - THES A1 - Dhillon, Maninder Singh T1 - Potential of Remote Sensing in Modeling Long-Term Crop Yields T1 - Potenzial der Fernerkundung für die Modellierung Langfristiger Ernteerträge N2 - Accurate crop monitoring in response to climate change at a regional or field scale plays a significant role in developing agricultural policies, improving food security, forecasting, and analysing global trade trends. Climate change is expected to significantly impact agriculture, with shifts in temperature, precipitation patterns, and extreme weather events negatively affecting crop yields, soil fertility, water availability, biodiversity, and crop growing conditions. Remote sensing (RS) can provide valuable information combined with crop growth models (CGMs) for yield assessment by monitoring crop development, detecting crop changes, and assessing the impact of climate change on crop yields. This dissertation aims to investigate the potential of RS data on modelling long-term crop yields of winter wheat (WW) and oil seed rape (OSR) for the Free State of Bavaria (70,550 km2 ), Germany. The first chapter of the dissertation describes the reasons favouring the importance of accurate crop yield predictions for achieving sustainability in agriculture. Chapter second explores the accuracy assessment of the synthetic RS data by fusing NDVIs of two high spatial resolution data (high pair) (Landsat (30 m, 16-days; L) and Sentinel-2 (10 m, 5–6 days; S), with four low spatial resolution data (low pair) (MOD13Q1 (250 m, 16-days), MCD43A4 (500 m, one day), MOD09GQ (250 m, one-day), and MOD09Q1 (250 m, 8-days)) using the spatial and temporal adaptive reflectance fusion model (STARFM), which fills regions' cloud or shadow gaps without losing spatial information. The chapter finds that both L-MOD13Q1 (R2 = 0.62, RMSE = 0.11) and S-MOD13Q1 (R2 = 0.68, RMSE = 0.13) are more suitable for agricultural monitoring than the other synthetic products fused. Chapter third explores the ability of the synthetic spatiotemporal datasets (obtained in chapter 2) to accurately map and monitor crop yields of WW and OSR at a regional scale. The chapter investigates and discusses the optimal spatial (10 m, 30 m, or 250 m), temporal (8 or 16-day) and CGMs (World Food Studies (WOFOST), and the semi-empiric light use efficiency approach (LUE)) for accurate crop yield estimations of both crop types. Chapter third observes that the observations of high temporal resolution (8-day) products of both S-MOD13Q1 and L-MOD13Q1 play a significant role in accurately measuring the yield of WW and OSR. The chapter investigates that the simple light use efficiency (LUE) model (R2 = 0.77 and relative RMSE (RRMSE) = 8.17%) that required fewer input parameters to simulate crop yield is highly accurate, reliable, and more precise than the complex WOFOST model (R2 = 0.66 and RRMSE = 11.35%) with higher input parameters. Chapter four researches the relationship of spatiotemporal fusion modelling using STRAFM on crop yield prediction for WW and OSR using the LUE model for Bavaria from 2001 to 2019. The chapter states the high positive correlation coefficient (R) = 0.81 and R = 0.77 between the yearly R2 of synthetic accuracy and modelled yield accuracy for WW and OSR from 2001 to 2019, respectively. The chapter analyses the impact of climate variables on crop yield predictions by observing an increase in R2 (0.79 (WW)/0.86 (OSR)) and a decrease in RMSE (4.51/2.57 dt/ha) when the climate effect is included in the model. The fifth chapter suggests that the coupling of the LUE model to the random forest (RF) model can further reduce the relative root mean square error (RRMSE) from -8% (WW) and -1.6% (OSR) and increase the R2 by 14.3% (for both WW and OSR), compared to results just relying on LUE. The same chapter concludes that satellite-based crop biomass, solar radiation, and temperature are the most influential variables in the yield prediction of both crop types. Chapter six attempts to discuss both pros and cons of RS technology while analysing the impact of land use diversity on crop-modelled biomass of WW and OSR. The chapter finds that the modelled biomass of both crops is positively impacted by land use diversity to the radius of 450 (Shannon Diversity Index ~0.75) and 1050 m (~0.75), respectively. The chapter also discusses the future implications by stating that including some dependent factors (such as the management practices used, soil health, pest management, and pollinators) could improve the relationship of RS-modelled crop yields with biodiversity. Lastly, chapter seven discusses testing the scope of new sensors such as unmanned aerial vehicles, hyperspectral sensors, or Sentinel-1 SAR in RS for achieving accurate crop yield predictions for precision farming. In addition, the chapter highlights the significance of artificial intelligence (AI) or deep learning (DL) in obtaining higher crop yield accuracies. N2 - Die genaue Überwachung von Nutzpflanzen als Reaktion auf den Klimawandel auf regionaler oder feldbezogener Ebene spielt eine wichtige Rolle bei der Entwicklung von Agrarpolitiken, der Verbesserung der Ernährungssicherheit, der Erstellung von Prognosen und der Analyse von Trends im Welthandel. Es wird erwartet, dass sich der Klimawandel erheblich auf die Landwirtschaft auswirken wird, da sich Verschiebungen bei den Temperaturen, Niederschlagsmustern und extremen Wetterereignissen negativ auf die Ernteerträge, die Bodenfruchtbarkeit, die Wasserverfügbarkeit, die Artenvielfalt und die Anbaubedingungen auswirken werden. Die Fernerkundung (RS) kann in Kombination mit Wachstumsmodellen (CGM) wertvolle Informationen für die Ertragsbewertung liefern, indem sie die Entwicklung von Pflanzen überwacht, Veränderungen bei den Pflanzen erkennt und die Auswirkungen des Klimawandels auf die Ernteerträge bewertet. Ziel dieser Dissertation ist es, das Potenzial von RS-Daten für die Modellierung langfristiger Ernteerträge von Winterweizen (WW) und Ölraps (OSR) für den Freistaat Bayern (70.550 km2 ), Deutschland, zu untersuchen. Das erste Kapitel der Dissertation beschreibt die Gründe, die für die Bedeutung genauer Ernteertragsvorhersagen für die Nachhaltigkeit in der Landwirtschaft sprechen. Das zweite Kapitel befasst sich mit der Bewertung der Genauigkeit der synthetischen RS Daten durch die Fusion der NDVIs von zwei Daten mit hoher räumlicher Auflösung (hohes Paar) (Landsat (30 m, 16 Tage; L) und Sentinel-2 (10 m, 5-6 Tage; S) mit vier Daten mit geringer räumlicher Auflösung (niedriges Paar) (MOD13Q1 (250 m, 16 Tage), MCD43A4 (500 m, ein Tag), MOD09GQ (250 m, ein Tag) und MOD09Q1 (250 m, 8 Tage)) unter Verwendung des räumlich und zeitlich adaptiven Reflexionsfusionsmodells (STARFM), das Wolken- oder Schattenlücken in Regionen füllt, ohne räumliche Informationen zu verlieren. In diesem Kapitel wird festgestellt, dass sowohl L-MOD13Q1 (R2 = 0,62, RMSE = 0,11) als auch S-MOD13Q1 (R2 = 0,68, RMSE = 0,13) für die Überwachung der Landwirtschaft besser geeignet sind als die anderen fusionierten synthetischen Produkte. Im dritten Kapitel wird untersucht, inwieweit die (in Kapitel 2 gewonnenen) synthetischen raum-zeitlichen Datensätze geeignet sind, die Ernteerträge von WW und OSR auf regionaler Ebene genau zu kartieren und zu überwachen. Das Kapitel untersucht und diskutiert die optimalen räumlichen (10 m, 30 m oder 250 m),zeitlichen (8 oder 16 Tage) und CGMs (World Food Studies (WOFOST) und den semi-empirischen Ansatz der Lichtnutzungseffizienz (LUE)) für genaue Ertragsschätzungen beider Kulturarten. Im dritten Kapitel wird festgestellt, dass die Beobachtung von Produkten mit hoher zeitlicher Auflösung (8 Tage) sowohl des S-MOD13Q1 als auch des L-MOD13Q1 eine wichtige Rolle bei der genauen Messung des Ertrags von WW und OSR spielt. In diesem Kapitel wird untersucht, dass das einfache Modell der Lichtnutzungseffizienz (LUE) (R2 = 0,77 und relativer RMSE (RRMSE) = 8,17 %), das weniger Eingabeparameter zur Simulation des Ernteertrags benötigt, sehr genau, zuverlässig und präziser ist als das komplexe WOFOST-Modell (R2 = 0,66 und RRMSE = 11,35 %) mit höheren Eingabeparametern. In Kapitel vier wird der Zusammenhang zwischen der raum-zeitlichen Fusionsmodellierung mit STRAFM und der Ertragsvorhersage für WW und OSR mit dem LUE-Modell für Bayern von 2001 bis 2019 untersucht. Das Kapitel stellt den hohen positiven Korrelationskoeffizienten (R) = 0,81 und R = 0,77 zwischen dem jährlichen R2 der synthetischen Genauigkeit und der modellierten Ertragsgenauigkeit für WW bzw. OSR von 2001 bis 2019 fest. In diesem Kapitel werden die Auswirkungen der Klimavariablen auf die Ertragsvorhersagen analysiert, wobei ein Anstieg des R2 (0,79 (WW)/0,86 (OSR)) und eine Verringerung des RMSE (4,51/2,57 dt/ha) festgestellt werden, wenn der Klimaeffekt in das Modell einbezogen wird. Das fünfte Kapitel deutet darauf hin, dass die Kopplung des LUE-Modells mit dem Random-Forest-Modell (RF) den relativen mittleren quadratischen Fehler (RRMSE) von -8 % (WW) und -1,6 % (OSR) weiter reduzieren und das R2 um 14,3 % (sowohl für WW als auch für OSR) erhöhen kann, verglichen mit Ergebnissen, die nur auf LUE beruhen. Das gleiche Kapitel kommt zu dem Schluss, dass die satellitengestützte Pflanzenbiomasse, die Sonneneinstrahlung und die Temperatur die einflussreichsten Variablen bei der Ertragsvorhersage für beide Kulturarten sind. In Kapitel sechs wird versucht, sowohl die Vor- als auch die Nachteile der RS-Technologie zu erörtern, indem die Auswirkungen der unterschiedlichen Landnutzung auf die modellierte Biomasse von WW und OSR analysiert werden. In diesem Kapitel wird festgestellt, dass die modellierte Biomasse beider Kulturen durch die Landnutzungsvielfalt bis zu einem Radius von 450 (Shannon Diversity Index ~0,75) bzw. 1050 m (~0,75) positiv beeinflusst wird. In diesem Kapitel werden auch künftige Auswirkungen erörtert, indem festgestellt wird, dass die Einbeziehung einiger abhängiger Faktoren (wie die angewandten Bewirtschaftungsmethoden, die Bodengesundheit, die Schädlingsbekämpfung und die Bestäuber) die Beziehung zwischen den mit RS modellierten Ernteerträgen und der biologischen Vielfalt verbessern könnte. Im siebten Kapitel schließlich wird die Erprobung neuer Sensoren wie unbemannte Luftfahrzeuge, hyperspektrale Sensoren oder Sentinel-1 SAR in der RS erörtert, um genaue Ertragsvorhersagen für die Präzisionslandwirtschaft zu erreichen. Darüber hinaus wird in diesem Kapitel die Bedeutung der künstlichen Intelligenz (KI) oder des Deep Learning (DL) für die Erzielung einer höheren Genauigkeit der Ernteerträge hervorgehoben. KW - Satellite Remote Sensing KW - Crop YIelds KW - Ernteertrag KW - Datenfusion KW - Landwirtschaft / Nachhaltigkeit KW - Winterweizen KW - Data Fusion KW - Sustainable Agriculture KW - Crop Growth Models KW - Winter wheat Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-322581 N1 - eine "revised edition" der Arbeit finden Sie hier: https://doi.org/10.25972/OPUS-33052 ER - TY - THES A1 - Dhillon, Maninder Singh T1 - Potential of Remote Sensing in Modeling Long-Term Crop Yields T1 - Potenzial der Fernerkundung für die Modellierung Langfristiger Ernteerträge N2 - Accurate crop monitoring in response to climate change at a regional or field scale plays a significant role in developing agricultural policies, improving food security, forecasting, and analysing global trade trends. Climate change is expected to significantly impact agriculture, with shifts in temperature, precipitation patterns, and extreme weather events negatively affecting crop yields, soil fertility, water availability, biodiversity, and crop growing conditions. Remote sensing (RS) can provide valuable information combined with crop growth models (CGMs) for yield assessment by monitoring crop development, detecting crop changes, and assessing the impact of climate change on crop yields. This dissertation aims to investigate the potential of RS data on modelling long-term crop yields of winter wheat (WW) and oil seed rape (OSR) for the Free State of Bavaria (70,550 km2), Germany. The first chapter of the dissertation describes the reasons favouring the importance of accurate crop yield predictions for achieving sustainability in agriculture. Chapter second explores the accuracy assessment of the synthetic RS data by fusing NDVIs of two high spatial resolution data (high pair) (Landsat (30 m, 16-days; L) and Sentinel-2 (10 m, 5–6 days; S), with four low spatial resolution data (low pair) (MOD13Q1 (250 m, 16-days), MCD43A4 (500 m, one day), MOD09GQ (250 m, one-day), and MOD09Q1 (250 m, 8-days)) using the spatial and temporal adaptive reflectance fusion model (STARFM), which fills regions' cloud or shadow gaps without losing spatial information. The chapter finds that both L-MOD13Q1 (R2 = 0.62, RMSE = 0.11) and S-MOD13Q1 (R2 = 0.68, RMSE = 0.13) are more suitable for agricultural monitoring than the other synthetic products fused. Chapter third explores the ability of the synthetic spatiotemporal datasets (obtained in chapter 2) to accurately map and monitor crop yields of WW and OSR at a regional scale. The chapter investigates and discusses the optimal spatial (10 m, 30 m, or 250 m), temporal (8 or 16-day) and CGMs (World Food Studies (WOFOST), and the semi-empiric light use efficiency approach (LUE)) for accurate crop yield estimations of both crop types. Chapter third observes that the observations of high temporal resolution (8-day) products of both S-MOD13Q1 and L-MOD13Q1 play a significant role in accurately measuring the yield of WW and OSR. The chapter investigates that the simple light use efficiency (LUE) model (R2 = 0.77 and relative RMSE (RRMSE) = 8.17%) that required fewer input parameters to simulate crop yield is highly accurate, reliable, and more precise than the complex WOFOST model (R2 = 0.66 and RRMSE = 11.35%) with higher input parameters. Chapter four researches the relationship of spatiotemporal fusion modelling using STRAFM on crop yield prediction for WW and OSR using the LUE model for Bavaria from 2001 to 2019. The chapter states the high positive correlation coefficient (R) = 0.81 and R = 0.77 between the yearly R2 of synthetic accuracy and modelled yield accuracy for WW and OSR from 2001 to 2019, respectively. The chapter analyses the impact of climate variables on crop yield predictions by observing an increase in R2 (0.79 (WW)/0.86 (OSR)) and a decrease in RMSE (4.51/2.57 dt/ha) when the climate effect is included in the model. The fifth chapter suggests that the coupling of the LUE model to the random forest (RF) model can further reduce the relative root mean square error (RRMSE) from -8% (WW) and -1.6% (OSR) and increase the R2 by 14.3% (for both WW and OSR), compared to results just relying on LUE. The same chapter concludes that satellite-based crop biomass, solar radiation, and temperature are the most influential variables in the yield prediction of both crop types. Chapter six attempts to discuss both pros and cons of RS technology while analysing the impact of land use diversity on crop-modelled biomass of WW and OSR. The chapter finds that the modelled biomass of both crops is positively impacted by land use diversity to the radius of 450 (Shannon Diversity Index ~0.75) and 1050 m (~0.75), respectively. The chapter also discusses the future implications by stating that including some dependent factors (such as the management practices used, soil health, pest management, and pollinators) could improve the relationship of RS-modelled crop yields with biodiversity. Lastly, chapter seven discusses testing the scope of new sensors such as unmanned aerial vehicles, hyperspectral sensors, or Sentinel-1 SAR in RS for achieving accurate crop yield predictions for precision farming. In addition, the chapter highlights the significance of artificial intelligence (AI) or deep learning (DL) in obtaining higher crop yield accuracies. N2 - Die genaue Überwachung von Nutzpflanzen als Reaktion auf den Klimawandel auf regionaler oder feldbezogener Ebene spielt eine wichtige Rolle bei der Entwicklung von Agrarpolitiken, der Verbesserung der Ernährungssicherheit, der Erstellung von Prognosen und der Analyse von Trends im Welthandel. Es wird erwartet, dass sich der Klimawandel erheblich auf die Landwirtschaft auswirken wird, da sich Verschiebungen bei den Temperaturen, Niederschlagsmustern und extremen Wetterereignissen negativ auf die Ernteerträge, die Bodenfruchtbarkeit, die Wasserverfügbarkeit, die Artenvielfalt und die Anbaubedingungen auswirken werden. Die Fernerkundung (RS) kann in Kombination mit Wachstumsmodellen (CGM) wertvolle Informationen für die Ertragsbewertung liefern, indem sie die Entwicklung von Pflanzen überwacht, Veränderungen bei den Pflanzen erkennt und die Auswirkungen des Klimawandels auf die Ernteerträge bewertet. Ziel dieser Dissertation ist es, das Potenzial von RS-Daten für die Modellierung langfristiger Ernteerträge von Winterweizen (WW) und Ölraps (OSR) für den Freistaat Bayern (70.550 km2 ), Deutschland, zu untersuchen. Das erste Kapitel der Dissertation beschreibt die Gründe, die für die Bedeutung genauer Ernteertragsvorhersagen für die Nachhaltigkeit in der Landwirtschaft sprechen. Das zweite Kapitel befasst sich mit der Bewertung der Genauigkeit der synthetischen RS Daten durch die Fusion der NDVIs von zwei Daten mit hoher räumlicher Auflösung (hohes Paar) (Landsat (30 m, 16 Tage; L) und Sentinel-2 (10 m, 5-6 Tage; S) mit vier Daten mit geringer räumlicher Auflösung (niedriges Paar) (MOD13Q1 (250 m, 16 Tage), MCD43A4 (500 m, ein Tag), MOD09GQ (250 m, ein Tag) und MOD09Q1 (250 m, 8 Tage)) unter Verwendung des räumlich und zeitlich adaptiven Reflexionsfusionsmodells (STARFM), das Wolken- oder Schattenlücken in Regionen füllt, ohne räumliche Informationen zu verlieren. In diesem Kapitel wird festgestellt, dass sowohl L-MOD13Q1 (R2 = 0,62, RMSE = 0,11) als auch S-MOD13Q1 (R2 = 0,68, RMSE = 0,13) für die Überwachung der Landwirtschaft besser geeignet sind als die anderen fusionierten synthetischen Produkte. Im dritten Kapitel wird untersucht, inwieweit die (in Kapitel 2 gewonnenen) synthetischen raum-zeitlichen Datensätze geeignet sind, die Ernteerträge von WW und OSR auf regionaler Ebene genau zu kartieren und zu überwachen. Das Kapitel untersucht und diskutiert die optimalen räumlichen (10 m, 30 m oder 250 m),zeitlichen (8 oder 16 Tage) und CGMs (World Food Studies (WOFOST) und den semi-empirischen Ansatz der Lichtnutzungseffizienz (LUE)) für genaue Ertragsschätzungen beider Kulturarten. Im dritten Kapitel wird festgestellt, dass die Beobachtung von Produkten mit hoher zeitlicher Auflösung (8 Tage) sowohl des S-MOD13Q1 als auch des L-MOD13Q1 eine wichtige Rolle bei der genauen Messung des Ertrags von WW und OSR spielt. In diesem Kapitel wird untersucht, dass das einfache Modell der Lichtnutzungseffizienz (LUE) (R2 = 0,77 und relativer RMSE (RRMSE) = 8,17 %), das weniger Eingabeparameter zur Simulation des Ernteertrags benötigt, sehr genau, zuverlässig und präziser ist als das komplexe WOFOST-Modell (R2 = 0,66 und RRMSE = 11,35 %) mit höheren Eingabeparametern. In Kapitel vier wird der Zusammenhang zwischen der raum-zeitlichen Fusionsmodellierung mit STRAFM und der Ertragsvorhersage für WW und OSR mit dem LUE-Modell für Bayern von 2001 bis 2019 untersucht. Das Kapitel stellt den hohen positiven Korrelationskoeffizienten (R) = 0,81 und R = 0,77 zwischen dem jährlichen R2 der synthetischen Genauigkeit und der modellierten Ertragsgenauigkeit für WW bzw. OSR von 2001 bis 2019 fest. In diesem Kapitel werden die Auswirkungen der Klimavariablen auf die Ertragsvorhersagen analysiert, wobei ein Anstieg des R2 (0,79 (WW)/0,86 (OSR)) und eine Verringerung des RMSE (4,51/2,57 dt/ha) festgestellt werden, wenn der Klimaeffekt in das Modell einbezogen wird. Das fünfte Kapitel deutet darauf hin, dass die Kopplung des LUE-Modells mit dem Random-Forest-Modell (RF) den relativen mittleren quadratischen Fehler (RRMSE) von -8 % (WW) und -1,6 % (OSR) weiter reduzieren und das R2 um 14,3 % (sowohl für WW als auch für OSR) erhöhen kann, verglichen mit Ergebnissen, die nur auf LUE beruhen. Das gleiche Kapitel kommt zu dem Schluss, dass die satellitengestützte Pflanzenbiomasse, die Sonneneinstrahlung und die Temperatur die einflussreichsten Variablen bei der Ertragsvorhersage für beide Kulturarten sind. In Kapitel sechs wird versucht, sowohl die Vor- als auch die Nachteile der RS-Technologie zu erörtern, indem die Auswirkungen der unterschiedlichen Landnutzung auf die modellierte Biomasse von WW und OSR analysiert werden. In diesem Kapitel wird festgestellt, dass die modellierte Biomasse beider Kulturen durch die Landnutzungsvielfalt bis zu einem Radius von 450 (Shannon Diversity Index ~0,75) bzw. 1050 m (~0,75) positiv beeinflusst wird. In diesem Kapitel werden auch künftige Auswirkungen erörtert, indem festgestellt wird, dass die Einbeziehung einiger abhängiger Faktoren (wie die angewandten Bewirtschaftungsmethoden, die Bodengesundheit, die Schädlingsbekämpfung und die Bestäuber) die Beziehung zwischen den mit RS modellierten Ernteerträgen und der biologischen Vielfalt verbessern könnte. Im siebten Kapitel schließlich wird die Erprobung neuer Sensoren wie unbemannte Luftfahrzeuge, hyperspektrale Sensoren oder Sentinel-1 SAR in der RS erörtert, um genaue Ertragsvorhersagen für die Präzisionslandwirtschaft zu erreichen. Darüber hinaus wird in diesem Kapitel die Bedeutung der künstlichen Intelligenz (KI) oder des Deep Learning (DL) für die Erzielung einer höheren Genauigkeit der Ernteerträge hervorgehoben. KW - Accurate crop monitoring KW - Ernteertrag KW - Datenfusion KW - Landwirtschaft / Nachhaltigkeit KW - Winterweizen KW - Climate change KW - Remote sensing (RS) KW - Crop growth models (CGMs) KW - Synthetic RS data KW - Spatiotemporal fusion KW - Crop yield estimations KW - Light use efficiency (LUE) model KW - Random forest (RF) model KW - Land use diversity Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-330529 N1 - die originale ursprüngliche Dissertation finden Sie hier: https://doi.org/10.25972/OPUS-32258 ER -