Multi-modal 3D mapping - Combining 3D point clouds with thermal and color information

Multi-modale 3D-Kartierung - Kombination von 3D-Punktwolken mit Thermo- und Farbinformation

Please always quote using this URN: urn:nbn:de:bvb:20-opus-157085
  • Imagine a technology that automatically creates a full 3D thermal model of an environment and detects temperature peaks in it. For better orientation in the model it is enhanced with color information. The current state of the art for analyzing temperature related issues is thermal imaging. It is relevant for energy efficiency but also for securing important infrastructure such as power supplies and temperature regulation systems. Monitoring and analysis of the data for a large building is tedious as stable conditions need to be guaranteed forImagine a technology that automatically creates a full 3D thermal model of an environment and detects temperature peaks in it. For better orientation in the model it is enhanced with color information. The current state of the art for analyzing temperature related issues is thermal imaging. It is relevant for energy efficiency but also for securing important infrastructure such as power supplies and temperature regulation systems. Monitoring and analysis of the data for a large building is tedious as stable conditions need to be guaranteed for several hours and detailed notes about the pose and the environment conditions for each image must be taken. For some applications repeated measurements are necessary to monitor changes over time. The analysis of the scene is only possible through expertise and experience. This thesis proposes a robotic system that creates a full 3D model of the environment with color and thermal information by combining thermal imaging with the technology of terrestrial laser scanning. The addition of a color camera facilitates the interpretation of the data and allows for other application areas. The data from all sensors collected at different positions is joined in one common reference frame using calibration and scan matching. The first part of the thesis deals with 3D point cloud processing with the emphasis on accessing point cloud data efficiently, detecting planar structures in the data and registering multiple point clouds into one common coordinate system. The second part covers the autonomous exploration and data acquisition with a mobile robot with the objective to minimize the unseen area in 3D space. Furthermore, the combination of different modalities, color images, thermal images and point cloud data through calibration is elaborated. The last part presents applications for the the collected data. Among these are methods to detect the structure of building interiors for reconstruction purposes and subsequent detection and classification of windows. A system to project the gathered thermal information back into the scene is presented as well as methods to improve the color information and to join separately acquired point clouds and photo series. A full multi-modal 3D model contains all the relevant geometric information about the recorded scene and enables an expert to fully analyze it off-site. The technology clears the path for automatically detecting points of interest thereby helping the expert to analyze the heat flow as well as localize and identify heat leaks. The concept is modular and neither limited to achieving energy efficiency nor restricted to the use in combination with a mobile platform. It also finds its application in fields such as archaeology and geology and can be extended by further sensors.show moreshow less
  • Man stelle sich eine Technologie vor, die automatisch ein vollständiges 3D-Thermographiemodell einer Umgebung generiert und Temperaturspitzen darin erkennt. Zur besseren Orientierung innerhalb des Modells ist dieses mit Farbinformationen erweitert. In der Analyse temperaturrelevanter Fragestellungen sind Thermalbilder der Stand der Technik. Darunter fallen Energieeffizienz und die Sicherung wichtiger Infrastruktur, wie Energieversorgung und Systeme zur Temperaturregulierung. Die Überwachung und anschließende Analyse der DatenMan stelle sich eine Technologie vor, die automatisch ein vollständiges 3D-Thermographiemodell einer Umgebung generiert und Temperaturspitzen darin erkennt. Zur besseren Orientierung innerhalb des Modells ist dieses mit Farbinformationen erweitert. In der Analyse temperaturrelevanter Fragestellungen sind Thermalbilder der Stand der Technik. Darunter fallen Energieeffizienz und die Sicherung wichtiger Infrastruktur, wie Energieversorgung und Systeme zur Temperaturregulierung. Die Überwachung und anschließende Analyse der Daten eines großen Gebäudes ist aufwändig, da über mehrere Stunden stabile Bedingungen garantiert und detaillierte Aufzeichnungen über die Aufnahmeposen und die Umgebungsverhältnisse für jedes Wärmebild erstellt werden müssen. Einige Anwendungen erfordern wiederholte Messungen, um Veränderungen über die Zeit zu beobachten. Eine Analyse der Szene ist nur mit Erfahrung und Expertise möglich. Diese Arbeit stellt ein Robotersystem vor, das durch Kombination von Thermographie mit terrestrischem Laserscanning ein vollständiges 3D Modell der Umgebung mit Farb- und Temperaturinformationen erstellt. Die ergänzende Farbkamera vereinfacht die Interpretation der Daten und eröffnet weitere Anwendungsfelder. Die an unterschiedlichen Positionen aufgenommenen Daten aller Sensoren werden durch Kalibrierung und Scanmatching in einem gemeinsamen Bezugssystem zusammengefügt. Der erste Teil der Arbeit behandelt 3D-Punktwolkenverarbeitung mit Schwerpunkt auf effizientem Punktzugriff, Erkennung planarer Strukturen und Registrierung mehrerer Punktwolken in einem gemeinsamen Koordinatensystem. Der zweite Teil beschreibt die autonome Erkundung und Datenakquise mit einem mobilen Roboter, mit dem Ziel, die bisher nicht erfassten Bereiche im 3D-Raum zu minimieren. Des Weiteren wird die Kombination verschiedener Modalitäten, Farbbilder, Thermalbilder und Punktwolken durch Kalibrierung ausgearbeitet. Den abschließenden Teil stellen Anwendungsszenarien für die gesammelten Daten dar, darunter Methoden zur Erkennung der Innenraumstruktur für die Rekonstruktion von Gebäuden und der anschließenden Erkennung und Klassifizierung von Fenstern. Ein System zur Rückprojektion der gesammelten Thermalinformation in die Umgebung wird ebenso vorgestellt wie Methoden zur Verbesserung der Farbinformationen und zum Zusammenfügen separat aufgenommener Punktwolken und Fotoreihen. Ein vollständiges multi-modales 3D Modell enthält alle relevanten geometrischen Informationen der aufgenommenen Szene und ermöglicht einem Experten, diese standortunabhängig zu analysieren. Diese Technologie ebnet den Weg für die automatische Erkennung relevanter Bereiche und für die Analyse des Wärmeflusses und vereinfacht somit die Lokalisierung und Identifikation von Wärmelecks für den Experten. Das vorgestellte modulare Konzept ist weder auf den Anwendungsfall Energieeffizienz beschränkt noch auf die Verwendung einer mobilen Plattform angewiesen. Es ist beispielsweise auch in Feldern wie der Archäologie und Geologie einsetzbar und kann durch zusätzliche Sensoren erweitert werden.show moreshow less

Download full text files

Export metadata

Metadaten
Author: Dorit Borrmann
URN:urn:nbn:de:bvb:20-opus-157085
Document Type:Doctoral Thesis
Granting Institution:Universität Würzburg, Fakultät für Mathematik und Informatik
Faculties:Fakultät für Mathematik und Informatik / Institut für Informatik
Referee:Prof. Dr. Andreas Nüchter, Prof. Dr. Joachim Hertzberg, Prof. Dr. Claus Brenner
Date of final exam:2017/12/01
Language:English
ISSN:1868-7474
ISSN:1868-7466
Year of Completion:2018
Series (Serial Number):Würzburger Forschungsberichte in Robotik und Telematik (14)
ISBN:978-3-945459-20-1
DOI:https://doi.org/10.25972/OPUS-15708
Dewey Decimal Classification:0 Informatik, Informationswissenschaft, allgemeine Werke / 00 Informatik, Wissen, Systeme / 004 Datenverarbeitung; Informatik
GND Keyword:Punktwolke; Lidar; Thermografie; Robotik
Tag:3D point cloud; 3D thermal mapping; Laser scanning; Registration; Robotics
CCS-Classification:J. Computer Applications
Release Date:2018/02/07
Licence (German):License LogoDeutsches Urheberrecht