TY - THES A1 - Pfitzner, Christian T1 - Visual Human Body Weight Estimation with Focus on Clinical Applications T1 - Optische Körpergewichtsschätzung für medizinische Anwendungen N2 - It is the aim of this thesis to present a visual body weight estimation, which is suitable for medical applications. A typical scenario where the estimation of the body weight is essential, is the emergency treatment of stroke patients: In case of an ischemic stroke, the patient has to receive a body weight adapted drug, to solve a blood clot in a vessel. The accuracy of the estimated weight influences the outcome of the therapy directly. However, the treatment has to start as early as possible after the arrival at a trauma room, to provide sufficient treatment. Weighing a patient takes time, and the patient has to be moved. Furthermore, patients are often not able to communicate a value for their body weight due to their stroke symptoms. Therefore, it is state of the art that physicians guess the body weight. A patient receiving a too low dose has an increased risk that the blood clot does not dissolve and brain tissue is permanently damaged. Today, about one-third gets an insufficient dosage. In contrast to that, an overdose can cause bleedings and further complications. Physicians are aware of this issue, but a reliable alternative is missing. The thesis presents state-of-the-art principles and devices for the measurement and estimation of body weight in the context of medical applications. While scales are common and available at a hospital, the process of weighing takes too long and can hardly be integrated into the process of stroke treatment. Sensor systems and algorithms are presented in the section for related work and provide an overview of different approaches. The here presented system -- called Libra3D -- consists of a computer installed in a real trauma room, as well as visual sensors integrated into the ceiling. For the estimation of the body weight, the patient is on a stretcher which is placed in the field of view of the sensors. The three sensors -- two RGB-D and a thermal camera -- are calibrated intrinsically and extrinsically. Also, algorithms for sensor fusion are presented to align the data from all sensors which is the base for a reliable segmentation of the patient. A combination of state-of-the-art image and point cloud algorithms is used to localize the patient on the stretcher. The challenges in the scenario with the patient on the bed is the dynamic environment, including other people or medical devices in the field of view. After the successful segmentation, a set of hand-crafted features is extracted from the patient's point cloud. These features rely on geometric and statistical values and provide a robust input to a subsequent machine learning approach. The final estimation is done with a previously trained artificial neural network. The experiment section offers different configurations of the previously extracted feature vector. Additionally, the here presented approach is compared to state-of-the-art methods; the patient's own assessment, the physician's guess, and an anthropometric estimation. Besides the patient's own estimation, Libra3D outperforms all state-of-the-art estimation methods: 95 percent of all patients are estimated with a relative error of less than 10 percent to ground truth body weight. It takes only a minimal amount of time for the measurement, and the approach can easily be integrated into the treatment of stroke patients, while physicians are not hindered. Furthermore, the section for experiments demonstrates two additional applications: The extracted features can also be used to estimate the body weight of people standing, or even walking in front of a 3D camera. Also, it is possible to determine or classify the BMI of a subject on a stretcher. A potential application for this approach is the reduction of the radiation dose of patients being exposed to X-rays during a CT examination. During the time of this thesis, several data sets were recorded. These data sets contain the ground truth body weight, as well as the data from the sensors. They are available for the collaboration in the field of body weight estimation for medical applications. N2 - Diese Arbeit zeigt eine optische Körpergewichtsschätzung, welche für medizinische Anwendungen geeignet ist. Ein gängiges Szenario, in dem eine Gewichtsschätzung benötigt wird, ist die Notfallbehandlung von Schlaganfallpatienten: Falls ein ischämischer Schlaganfall vorliegt, erhält der Patient ein auf das Körpergewicht abgestimmtes Medikament, um einen Thrombus in einem Gefäß aufzulösen. Die Genauigkeit der Gewichtsschätzung hat direkten Einfluss auf den Erfolg der Behandlung. Hinzu kommt, dass die Behandlung so schnell wie möglich nach der Ankunft im Krankenhaus erfolgen muss, um eine erfolgreiche Behandlung zu garantieren. Das Wiegen eines Patienten ist zeitaufwändig und der Patient müsste hierfür bewegt werden. Des Weiteren können viele Patienten aufgrund des Schlaganfalls nicht ihr eigenes Gewicht mitteilen. Daher ist es heutzutage üblich, dass Ärzte das Gewicht schätzen. Erhält ein Patient eine zu geringe Dosis, steigt das Risiko, dass sich der Thrombus nicht auflöst und das Gehirngewebe dauerhaft geschädigt bleibt. Eine Überdosis kann dagegen zu Blutungen und weiteren Komplikationen führen. Ein Drittel der Patienten erhält heutzutage eine unzureichende Dosis. Ärzte sind sich dessen bewusst, aber derzeit gibt es kein alternatives Vorgehen. Diese Arbeit präsentiert Elemente und Geräte zur Messung und Schätzung des Körpergewichts, die im medizinischen Umfeld verwendet werden. Zwar sind Waagen im Krankenhaus üblich, aufgrund des engen Zeitfensters für die Behandlung können sie aber nur schlecht in den Behandlungsablauf von Schlaganfallpatienten integriert werden. Der Abschnitt zum Stand der Technik zeigt verschiedene Sensorsysteme und Algorithmen. Das hier gezeigte System -- genannt Libra3D -- besteht aus einem Computer im Behandlungsraum, sowie den in der Decke integrierten optischen Sensoren. Für die Gewichtsschätzung befindet sich der Patient auf einer Liege im Blickfeld der Sensoren. Die drei Sensoren -- zwei RGB-D- und einer Wärmebildkamera -- sind intrinsisch und extrinsisch kalibriert. Des Weiteren werden Algorithmen zur Sensorfusion vorgestellt, welche die Daten für eine erfolgreiche Segmentierung des Patienten zusammenführen. Eine Kombination aus verschiedenen gängigen Bildverarbeitungs- und Punktwolken-Algorithmen lokalisiert den Patienten auf der Liege. Die Herausforderung in diesem Szenario mit dem Patienten auf dem Bett sind ständige Veränderungen, darunter auch andere Personen oder medizinische Geräte im Sichtfeld. Nach der erfolgreichen Segmentierung werden Merkmale von der Punktwolke des Patienten extrahiert. Diese Merkmale beruhen auf geometrischen und statistischen Eigenschaften und bieten robuste Werte für das nachfolgende maschinelle Lernverfahren. Die Schätzung des Gewichts basiert letztlich auf einem zuvor trainierten künstlichen neuronalen Netz. Das Kapitel zu den Experimenten zeigt verschiedene Kombinationen von Werten aus dem Merkmalsvektor. Zusätzlich wird der Ansatz mit Methoden aus dem Stand der Technik verglichen: der Schätzung des Patienten, des Arztes, und einer anthropometrischen Schätzung. Bis auf die eigene Schätzung des Patienten übertrifft Libra3D hierbei alle anderen Methoden: 95 Prozent aller Schätzungen weisen einen relativen Fehler von weniger als 10 Prozent zum realen Körpergewicht auf. Dabei benötigt das System wenig Zeit für eine Messung und kann einfach in den Behandlungsablauf von Schlaganfallpatienten integriert werden, ohne Ärzte zu behindern. Des Weiteren zeigt der Abschnitt für Experimente zwei weitere Anwendungen: Die extrahierten Merkmale können dazu verwendet werden das Gewicht von stehenden und auch laufenden Personen zu schätzen, die sich vor einer 3D-Kamera befinden. Darüber hinaus ist es auch möglich den BMI von Patienten auf einer Liege zu bestimmen. Diese kann die Strahlenexposition bei CT-Untersuchungen beispielsweise verringern. Während dieser Dissertation sind einige Datensätze entstanden. Sie enthalten das reale Gewicht, sowie die dazugehörigen Sensordaten. Die Datensätze sind für die Zusammenarbeit im Bereich der Körpergewichtsschätzung für medizinische Anwendungen verfügbar. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 18 KW - Punktwolke KW - Maschinelles Lernen KW - Schlaganfall KW - Körpergewicht KW - Bildverarbeitung KW - 3D Point Cloud Processing KW - Image Processing KW - Stroke KW - Human Body Weight KW - Kinect KW - Machine Learning KW - Sensor Fusion KW - Segmentation KW - Perception Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-174842 SN - 978-3-945459-27-0 (online) ER - TY - JOUR A1 - Pfitzner, Christian A1 - May, Stefan A1 - Nüchter, Andreas T1 - Body weight estimation for dose-finding and health monitoring of lying, standing and walking patients based on RGB-D data JF - Sensors N2 - This paper describes the estimation of the body weight of a person in front of an RGB-D camera. A survey of different methods for body weight estimation based on depth sensors is given. First, an estimation of people standing in front of a camera is presented. Second, an approach based on a stream of depth images is used to obtain the body weight of a person walking towards a sensor. The algorithm first extracts features from a point cloud and forwards them to an artificial neural network (ANN) to obtain an estimation of body weight. Besides the algorithm for the estimation, this paper further presents an open-access dataset based on measurements from a trauma room in a hospital as well as data from visitors of a public event. In total, the dataset contains 439 measurements. The article illustrates the efficiency of the approach with experiments with persons lying down in a hospital, standing persons, and walking persons. Applicable scenarios for the presented algorithm are body weight-related dosing of emergency patients. KW - RGB-D KW - human body weight KW - image processing KW - kinect KW - machine learning KW - perception KW - segmentation KW - sensor fusion KW - stroke KW - thermal camera Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-176642 VL - 18 IS - 5 ER -