• search hit 1 of 1
Back to Result List

Six Degrees of Freedom Object Pose Estimation with Fusion Data from a Time-of-flight Camera and a Color Camera

6DOF Posenschätzung durch Datenfusion einer Time-of-Flight-Kamera und einer Farbkamera

Please always quote using this URN: urn:nbn:de:bvb:20-opus-105089
  • Object six Degrees of Freedom (6DOF) pose estimation is a fundamental problem in many practical robotic applications, where the target or an obstacle with a simple or complex shape can move fast in cluttered environments. In this thesis, a 6DOF pose estimation algorithm is developed based on the fused data from a time-of-flight camera and a color camera. The algorithm is divided into two stages, an annealed particle filter based coarse pose estimation stage and a gradient decent based accurate pose optimization stage. In the first stage, eachObject six Degrees of Freedom (6DOF) pose estimation is a fundamental problem in many practical robotic applications, where the target or an obstacle with a simple or complex shape can move fast in cluttered environments. In this thesis, a 6DOF pose estimation algorithm is developed based on the fused data from a time-of-flight camera and a color camera. The algorithm is divided into two stages, an annealed particle filter based coarse pose estimation stage and a gradient decent based accurate pose optimization stage. In the first stage, each particle is evaluated with sparse representation. In this stage, the large inter-frame motion of the target can be well handled. In the second stage, the range data based conventional Iterative Closest Point is extended by incorporating the target appearance information and used for calculating the accurate pose by refining the coarse estimate from the first stage. For dealing with significant illumination variations during the tracking, spherical harmonic illumination modeling is investigated and integrated into both stages. The robustness and accuracy of the proposed algorithm are demonstrated through experiments on various objects in both indoor and outdoor environments. Moreover, real-time performance can be achieved with graphics processing unit acceleration.show moreshow less
  • Die 6DOF Posenschätzung von Objekten ist ein fundamentales Problem in vielen praktischen Robotikanwendungen, bei denen sich ein Ziel- oder Hindernisobjekt, einfacher oder komplexer Form, schnell in einer unstrukturierten schwierigen Umgebung bewegt. In dieser Forschungsarbeit wird zur Lösung des Problem ein 6DOF Posenschätzer entwickelt, der auf der Fusion von Daten einer Time-of-Flight-Kamera und einer Farbkamera beruht. Der Algorithmus ist in zwei Phasen unterteilt, ein Annealed Partikel-Filter bestimmt eine grobe Posenschätzung, welcheDie 6DOF Posenschätzung von Objekten ist ein fundamentales Problem in vielen praktischen Robotikanwendungen, bei denen sich ein Ziel- oder Hindernisobjekt, einfacher oder komplexer Form, schnell in einer unstrukturierten schwierigen Umgebung bewegt. In dieser Forschungsarbeit wird zur Lösung des Problem ein 6DOF Posenschätzer entwickelt, der auf der Fusion von Daten einer Time-of-Flight-Kamera und einer Farbkamera beruht. Der Algorithmus ist in zwei Phasen unterteilt, ein Annealed Partikel-Filter bestimmt eine grobe Posenschätzung, welche mittels eines Gradientenverfahrens in einer zweiten Phase optimiert wird. In der ersten Phase wird jeder Partikel mittels sparse represenation ausgewertet, auf diese Weise kann eine große Inter-Frame-Bewegung des Zielobjektes gut behandelt werden. In der zweiten Phase wird die genaue Pose des Zielobjektes mittels des konventionellen, auf Entfernungsdaten beruhenden, Iterative Closest Point-Algorithmus aus der groben Schätzung der ersten Stufe berechnet. Der Algorithmus wurde dabei erweitert, so dass auch Informationen über das äußere Erscheinungsbild des Zielobjektes verwendet werden. Zur Kompensation von signifikanten Beleuchtungsschwankungen während des Trackings, wurde eine Modellierung der Ausleuchtung mittels Kugelflächenfunktionen erforscht und in beide Stufen der Posenschätzung integriert. Die Leistungsfähigkeit, Robustheit und Genauigkeit des entwickelten Algorithmus wurde in Experimenten im Innen- und Außenbereich mit verschiedenen Zielobjekten gezeigt. Zudem konnte gezeigt werden, dass die Schätzung mit Hilfe von Grafikprozessoren in Echtzeit möglich ist.show moreshow less

Download full text files

Export metadata

Metadaten
Author: Kaipeng Sun
URN:urn:nbn:de:bvb:20-opus-105089
Document Type:Doctoral Thesis
Granting Institution:Universität Würzburg, Fakultät für Mathematik und Informatik
Faculties:Fakultät für Mathematik und Informatik / Institut für Informatik
Referee:Prof. Dr. Klaus Schilling, Prof. Dr.-Ing Hubert Roth
Date of final exam:2014/10/21
Language:English
Year of Completion:2014
Series (Serial Number):Forschungsberichte in der Robotik = Research Notes in Robotics (10)
ISBN:978-3-923959-97-6
DOI:https://doi.org/10.25972/OPUS-10508
Dewey Decimal Classification:0 Informatik, Informationswissenschaft, allgemeine Werke / 00 Informatik, Wissen, Systeme / 004 Datenverarbeitung; Informatik
GND Keyword:Mustererkennung; Maschinelles Sehen; Sensor
Tag:3D Sensor; 3D Vision; 6DOF Pose Estimation; Computer Vision; Pattern Recognition; Visual Tracking
CCS-Classification:J. Computer Applications
Release Date:2014/11/26
Licence (German):License LogoCC BY: Creative-Commons-Lizenz: Namensnennung