TY - JOUR A1 - Pfitzner, Christian A1 - May, Stefan A1 - Nüchter, Andreas T1 - Body weight estimation for dose-finding and health monitoring of lying, standing and walking patients based on RGB-D data JF - Sensors N2 - This paper describes the estimation of the body weight of a person in front of an RGB-D camera. A survey of different methods for body weight estimation based on depth sensors is given. First, an estimation of people standing in front of a camera is presented. Second, an approach based on a stream of depth images is used to obtain the body weight of a person walking towards a sensor. The algorithm first extracts features from a point cloud and forwards them to an artificial neural network (ANN) to obtain an estimation of body weight. Besides the algorithm for the estimation, this paper further presents an open-access dataset based on measurements from a trauma room in a hospital as well as data from visitors of a public event. In total, the dataset contains 439 measurements. The article illustrates the efficiency of the approach with experiments with persons lying down in a hospital, standing persons, and walking persons. Applicable scenarios for the presented algorithm are body weight-related dosing of emergency patients. KW - RGB-D KW - human body weight KW - image processing KW - kinect KW - machine learning KW - perception KW - segmentation KW - sensor fusion KW - stroke KW - thermal camera Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-176642 VL - 18 IS - 5 ER - TY - THES A1 - Koch, Rainer T1 - Sensor Fusion for Precise Mapping of Transparent and Specular Reflective Objects T1 - Sensorfusion zur präzisen Kartierung von transparenten und reflektierender Objekten N2 - Almost once a week broadcasts about earthquakes, hurricanes, tsunamis, or forest fires are filling the news. While oneself feels it is hard to watch such news, it is even harder for rescue troops to enter such areas. They need some skills to get a quick overview of the devastated area and find victims. Time is ticking, since the chance for survival shrinks the longer it takes till help is available. To coordinate the teams efficiently, all information needs to be collected at the command center. Therefore, teams investigate the destroyed houses and hollow spaces for victims. Doing so, they never can be sure that the building will not fully collapse while they are inside. Here, rescue robots are welcome helpers, as they are replaceable and make work more secure. Unfortunately, rescue robots are not usable off-the-shelf, yet. There is no doubt, that such a robot has to fulfil essential requirements to successfully accomplish a rescue mission. Apart from the mechanical requirements it has to be able to build a 3D map of the environment. This is essential to navigate through rough terrain and fulfil manipulation tasks (e.g. open doors). To build a map and gather environmental information, robots are equipped with multiple sensors. Since laser scanners produce precise measurements and support a wide scanning range, they are common visual sensors utilized for mapping. Unfortunately, they produce erroneous measurements when scanning transparent (e.g. glass, transparent plastic) or specular reflective objects (e.g. mirror, shiny metal). It is understood that such objects can be everywhere and a pre-manipulation to prevent their influences is impossible. Using additional sensors also bear risks. The problem is that these objects are occasionally visible, based on the incident angle of the laser beam, the surface, and the type of object. Hence, for transparent objects, measurements might result from the object surface or objects behind it. For specular reflective objects, measurements might result from the object surface or a mirrored object. These mirrored objects are illustrated behind the surface which is wrong. To obtain a precise map, the surfaces need to be recognised and mapped reliably. Otherwise, the robot navigates into it and crashes. Further, points behind the surface should be identified and treated based on the object type. Points behind a transparent surface should remain as they represent real objects. In contrast, Points behind a specular reflective surface should be erased. To do so, the object type needs to be classified. Unfortunately, none of the current approaches is capable to fulfil these requirements. Therefore, the following thesis addresses this problem to detect transparent and specular reflective objects and to identify their influences. To give the reader a start up, the first chapters describe: the theoretical background concerning propagation of light; sensor systems applied for range measurements; mapping approaches used in this work; and the state-of-the-art concerning detection and identification of transparent and specular reflective objects. Afterwards, the Reflection-Identification-Approach, which is the core of subject thesis is presented. It describes 2D and a 3D implementation to detect and classify such objects. Both are available as ROS-nodes. In the next chapter, various experiments demonstrate the applicability and reliability of these nodes. It proves that transparent and specular reflective objects can be detected and classified. Therefore, a Pre- and Post-Filter module is required in 2D. In 3D, classification is possible solely with the Pre-Filter. This is due to the higher amount of measurements. An example shows that an updatable mapping module allows the robot navigation to rely on refined maps. Otherwise, two individual maps are build which require a fusion afterwards. Finally, the last chapter summarizes the results and proposes suggestions for future work. N2 - Fast schon wöchentlich füllen Meldungen über Erdbeben, Wirbelstürme, Tsunamis oder Wald-brände die Nachrichten. Es ist hart anzusehen, aber noch viel härter trifft es die Rettungskräfte, welche dort zum Einsatz gerufen werden. Diese müssen gut trainiert sein, um sich schnell einen Überblick verschaffen zu können und um den zerstörten Bereich nach Opfern zu durchsuchen. Zeit ist hier ein seltenes Gut, denn die Überlebenschancen sinken, je länger es dauert bis Hilfe eintrifft. Für eine effektive Teamkoordination werden alle Informationen in der Einsatzzentrale gesammelt. In Trupps wird nach Opfern gesucht. Hierfür werden die zerstörten Gebäude durchsucht und alle Hohlräume inspiziert. Dabei können die Helfer oft nicht darauf vertrauen, dass die Gebäude stabil sind und nicht noch vollständig kollabieren. Hier sind Rettungsroboter eine willkommene Hilfe. Sie sind ersetzbar und können für gefährliche Aufgaben verwendet werden. Dies macht die Arbeit der Rettungstrupps sicherer. Allerdings gibt es solche Roboter noch nicht von der Stange. Sie müssten gewisse Anforderungen erfüllen, dass sie in einem solchen Szenarien einsetztbar sind. Neben Ansprüchen an die Mechanik, müsste eine 3D-Karte des Einsatzgebietes erstellen werden. Diese ist Grundlage für eine erfolgreiche Navigation (durch unebenes Terrain), sowie zur Beeinflussung der Umgebung (z.B. Tür öffnen). Die Umgebungserfassung wird über Sen-soren am Roboter durchgeführt. Heutzutage werden bevorzugt Laserscanner dafür verwendet, da sie präzise Messdaten liefern und über einen großen Messbereich verfügen. Unglücklicherweise werden Messdaten durch transparente (z.B. Glas, transparenter Kunststoff) und reflektierende Objekte (z.B. Spiegel, glänzendes Metall) verfälscht. Eine Vorbehandlung der Umgebung (z.B. abdecken der Flächen), um diese Einflüsse zu verhindern, ist verständlicherweise nicht möglich. Zusätzliche Sensoren zu verwenden birgt ebenfalls Nachteile. Das Problem dieser Objekte liegt darin, dass sie nur teilweise sichtbar sind. Dies ist abhängig vom Einfallwinkel des Laserstrahls auf die Oberfläche und vom Typ des Objektes. Dementsprechend könnnen die Messwerte bei transparenten Flächen von der Oberfläche oder vom Objekten dahinter resultieren. Im Gegensatz dazu können die Messwerte bei reflektierenden Oberflächen von der Oberfläche selbst oder von einem gespiegelten Objekt resultieren. Gespiegelte Objekte werden dabei hinter der reflektierenden Objerfläche dargestellt, was falsch ist. Um eine präzise Kartierung zu erlangen, müssen die Oberflächen zuverlässig eingetragen werden. Andernfalls würde der Roboter in diese navigieren und kollidieren. Weiterhin sollten Punkte hinter der Oberfläche abhängig von der Oberfläche behandelt werden. Bei einer trans- parenten Oberfläche müssen die Punkte in die Karte eingetragen werden, weil sie ein reelles Objekt darstellen. Im Gegensatz dazu, müssen bei einer reflektierenden Oberfläche die Messdaten dahinter gelöscht werden. Dafür ist eine Unterscheidung der Objekte zwingend. Diese Anforderungen erfüllen die momentan verfügbaren Algorithmen jedoch nicht. Aus diesem Grund befasst sich folgende Doktorarbeit mit der Problematik der Erkennung und Identifizierung transparenter und spiegelnder Objekte, sowie deren Einflüsse. Um dem Leser einen Einstieg zu geben, beschreiben die ersten Kapitel: den theoretischen Hindergrund bezüglich des Verhaltens von Licht; Sensorsysteme für die Distanzmessung; Kartierungsalgorithmen, welche in dieser Arbeit verwendet wurden; und den Stand der Technik bezüglich der Erkennung von transparenten und spiegelndend Objekten. Danach wird der Reflection-Identification-Algorithmus, welcher Basis dieser Arbeit ist, präsentiert. Hier wird eine 2D und eine 3D Implementierung beschrieben. Beide sind als ROS-Knoten verfügbar. Das anschließende Kapitel diskutiert Experimente, welche die Anwendbarkeit und Zuverlässigkeit des Algorithmus verifizieren. Für den 2D-Fall ist ein Vor- und ein Nachfilter-Modul notwendig. Nur mittels der Nachfilterung ist eine Klassifizierung der Objekte möglich. Im Gegensatz kann im 3D-Fall die Klassifizierung bereits mit der Vorfilterung erlangt werden. Dies beruht auf der höheren Anzahl an Messdaten. Weiterhin zeigt dieses Kapitel beispielhaft eine Adaptierung des TSD-SLAM Algorithmus, so dass der Roboter auf einer aktualisierten Karte navigieren kann. Dies erspart die Erstellung von zwei unabhängigen Karten und eine anschließende Fusionierung. Im letzten Kapitel werden die Ergebnisse der Arbeit zusammengefasst und ein Ausblick mit Anregungen zur Weiterarbeit gegeben. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 16 KW - laserscanner KW - mapping KW - robotic KW - laser scanner KW - sensor fusion KW - transparent KW - specular reflective Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-163462 SN - 978-3-945459-25-6 ER - TY - JOUR A1 - Ehrenfeld, Stephan A1 - Herbort, Oliver A1 - Butz, Martin V. T1 - Modular neuron-based body estimation: maintaining consistency over different limbs, modalities, and frames of reference JF - Frontiers in Computational Neuroscience N2 - This paper addresses the question of how the brain maintains a probabilistic body state estimate over time from a modeling perspective. The neural Modular Modality Frame (nMMF) model simulates such a body state estimation process by continuously integrating redundant, multimodal body state information sources. The body state estimate itself is distributed over separate, but bidirectionally interacting modules. nMMF compares the incoming sensory and present body state information across the interacting modules and fuses the information sources accordingly. At the same time, nMMF enforces body state estimation consistency across the modules. nMMF is able to detect conflicting sensory information and to consequently decrease the influence of implausible sensor sources on the fly. In contrast to the previously published Modular Modality Frame (MMF) model, nMMF offers a biologically plausible neural implementation based on distributed, probabilistic population codes. Besides its neural plausibility, the neural encoding has the advantage of enabling (a) additional probabilistic information flow across the separate body state estimation modules and (b) the representation of arbitrary probability distributions of a body state. The results show that the neural estimates can detect and decrease the impact of false sensory information, can propagate conflicting information across modules, and can improve overall estimation accuracy due to additional module interactions. Even bodily illusions, such as the rubber hand illusion, can be simulated with nMMF. We conclude with an outlook on the potential of modeling human data and of invoking goal-directed behavioral control. KW - information KW - posterior parietal cortex KW - hand KW - population code KW - conflicting information KW - multimodal interaction KW - probabilistic inference KW - modular body schema KW - sensor fusion KW - multisensory perception KW - fusion KW - representation KW - multisensory processing KW - see KW - implementation KW - perspective KW - multisensory integration KW - population codes Y1 - 2013 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-122253 VL - 7 IS - 148 ER -