TY - THES A1 - Reinhard, Sebastian T1 - Improving Super-Resolution Microscopy Data Reconstruction and Evaluation by Developing Advanced Processing Algorithms and Artifcial Neuronal Networks T1 - Verbesserung von Datenrekonstruktion und -auswertung in der Super-Resolution Mikroskopie durch die Entwicklung von fortgeschrittenen Verarbeitungsalgorithmen und künstlichen neuronalen Netzen N2 - The fusion of methods from several disciplines is a crucial component of scientific development. Artificial Neural Networks, based on the principle of biological neuronal networks, demonstrate how nature provides the best templates for technological advancement. These innovations can then be employed to solve the remaining mysteries of biology, including, in particular, processes that take place on microscopic scales and can only be studied with sophisticated techniques. For instance, direct Stochastic Optical Reconstruction Microscopy combines tools from chemistry, physics, and computer science to visualize biological processes at the molecular level. One of the key components is the computer-aided reconstruction of super-resolved images. Improving the corresponding algorithms increases the quality of the generated data, providing further insights into our biology. It is important, however, to ensure that the heavily processed images are still a reflection of reality and do not originate in random artefacts. Expansion microscopy is expanding the sample by embedding it in a swellable hydrogel. The method can be combined with other super-resolution techniques to gain additional resolution. We tested this approach on microtubules, a well-known filamentous reference structure, to evaluate the performance of different protocols and labelling techniques. We developed LineProfiler an objective tool for data collection. Instead of collecting perpendicular profiles in small areas, the software gathers line profiles from filamentous structures of the entire image. This improves data quantity, quality and prevents a biased choice of the evaluated regions. On the basis of the collected data, we deployed theoretical models of the expected intensity distribution across the filaments. This led to the conclusion that post-expansion labelling significantly reduces the labelling error and thus, improves the data quality. The software was further used to determine the expansion factor and arrangement of synaptonemal complex data. Automated Simple Elastix uses state-of-the-art image alignment to compare pre- and post-expansion images. It corrects linear distortions occurring under isotropic expansion, calculates a structural expansion factor and highlights structural mismatches in a distortion map. We used the software to evaluate expanded fungi and NK cells. We found that the expansion factor differs for the two structures and is lower than the overall expansion of the hydrogel. Assessing the fluorescence lifetime of emitters used for direct Stochastic Optical Reconstruction Microscopy can reveal additional information about the molecular environment or distinguish dyes emitting with a similar wavelength. The corresponding measurements require a confocal scanning of the sample in combination with the fluorescent switching of the underlying emitters. This leads to non-linear, interrupted Point Spread Functions. The software ReCSAI targets this problem by combining the classical algorithm of compressed sensing with modern methods of artificial intelligence. We evaluated several different approaches to combine these components and found, that unrolling compressed sensing into the network architecture yields the best performance in terms of reconstruction speed and accuracy. In addition to a deep insight into the functioning and learning of artificial intelligence in combination with classical algorithms, we were able to reconstruct the described non-linearities with significantly improved resolution, in comparison to other state-of-the-art architectures. N2 - Für die Weiterentwicklung der Wissenschaft wird es immer wichtiger, Methoden aus verschiedenen Gebieten zu kombinieren. Die künstliche Intelligenz beruht beispielsweise auf dem Prinzip biologischer neuronaler Netze. Hier wird die Natur als Vorlage für unsere technische Entwicklung genutzt. Diese Innovationen können dazu eingesetzt werden, die verbliebenen Rätsel der Biologie zu lösen. Dazu gehören insbesondere Prozesse, die sich auf mikroskopischer Ebene abspielen und nur mit hochentwickelten Techniken untersucht werden können. Die direkte Stochastisch Optische Rekonstruktionsmikroskopie kombiniert Methoden der Chemie, Physik und Informatik, um biologische Prozesse auf molekularer Ebene sichtbar zu machen. Eine der Schlüsselkomponenten ist die computergestützte Rekonstruktion von hochaufgelösten Bildern. Die Verbesserung der zugrunde liegenden Algorithmen erhöht die Qualität der erzeugten Daten und ermöglicht weitere Einblicke in unsere Biologie. Es muss jedoch sichergestellt werden, dass die künstlich erstellten Bilder immer noch ein Abbild der Realität sind und nicht auf zufälligen Artefakten beruhen. Expansionsmikroskopie vergrößert die Probe durch Einbettung in ein Hydrogel. Die Methode kann mit anderen hochauflösenden Techniken kombiniert werden, um die Auflösung noch weiter zu verbessern. Dieser Ansatz wurde an Mikrotubuli, einer bekannten flamentösen Referenzstruktur, verwendet, um verschiedene Protokolle und Markierungstechniken zu testen. Mit LineProfiler wurde ein objektives Werkzeug zur Datenerfassung entwickelt. Anstatt Linienprofle in kleinen Bereichen zu erfassen, wertet die Software das gesamte Bild aus. Dies verbessert die Datenmenge und Datenqualität und verhindert eine voreingenommene Auswahl der ausgewerteten Regionen. Auf Grundlage der gesammelten Daten wurden theoretische Modelle für die erwartete Intensitätsverteilung über die Filamente erstellt. Daraus konnte geschlossen werden, dass die Markierung nach der Expansion den Markierungsfehler erheblich reduziert und somit die Qualität der Daten verbessert. Die Software wurde außerdem zur Bestimmung des Expansionsfaktors und der Anordnung der Daten des synaptonemalen Komplexes verwendet. Automated Simple Elastix verwendet modernste Bildregistrierung, um Bilder vor und nach der Expansion zu vergleichen. Lineare Verzerrungen, die bei isotroper Expansion auftreten, werden korrigiert. Der strukturelle Expansionsfaktor wird berechnet und strukturelle Unstimmigkeiten werden in einer Verzerrungskarte hervorgehoben. Die Software wurde zur Bewertung expandierter Pilze und NK-Zellen eingesetzt. Dabei wurde festgestellt, dass der Expansionsfaktor für die beiden Strukturen unterschiedlich ist und unter der Gesamtexpansion des Hydrogels liegt. Die Auswertung der Fluoreszenzlebensdauer von Emittern, die für die direkte Stochastische Optische Rekonstruktionsmikroskopie eingesetzt werden, kann zusätzliche Informationen über die molekulare Umgebung liefern oder Farbstoffe unterscheiden, die VI eine ähnliche Lichtwellenlänge emittieren. Die entsprechenden Messungen erfordern eine konfokale Abtastung der Probe in Kombination mit dem fluoreszenten Schalten der zugrunde liegenden Emitter. Dies führt zu nichtlinearen, unterbrochenen Punktspreizfunktionen. Die Software ReCSAI löst dieses Problem, indem sie den klassischen Algorithmus des Compressed Sensing mit modernen Methoden der künstlichen Intelligenz kombiniert. Es wurden verschiedene Ansätze zur Kombination der Komponenten ausgewertet und festgestellt, dass die Integration von Compressed Sensing in die Netzwerkarchitektur die beste Performance in Bezug auf Rekonstruktionsgeschwindigkeit und -genauigkeit bringt. Neben einem tiefen Einblick in die Funktionsweise und das Lernen von künstlicher Intelligenz in Kombination mit klassischen Algorithmen konnten die beschriebenen Nichtlinearitäten mit einer deutlich verbesserten Auflösung im Vergleich zu anderen modernen Architekturen rekonstruiert werden. KW - Mikroskopie KW - Künstliche Intelligenz KW - Datenanalyse KW - Bildverarbeitung KW - Compressed Sensing KW - Lifetime Imaging KW - dSTORM Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-316959 ER - TY - THES A1 - Bleier, Michael T1 - Underwater Laser Scanning - Refractive Calibration, Self-calibration and Mapping for 3D Reconstruction T1 - Laserscanning unter Wasser - Refraktive Kalibrierung, Selbstkalibrierung und Kartierung zur 3D Rekonstruktion N2 - There is great interest in affordable, precise and reliable metrology underwater: Archaeologists want to document artifacts in situ with high detail. In marine research, biologists require the tools to monitor coral growth and geologists need recordings to model sediment transport. Furthermore, for offshore construction projects, maintenance and inspection millimeter-accurate measurements of defects and offshore structures are essential. While the process of digitizing individual objects and complete sites on land is well understood and standard methods, such as Structure from Motion or terrestrial laser scanning, are regularly applied, precise underwater surveying with high resolution is still a complex and difficult task. Applying optical scanning techniques in water is challenging due to reduced visibility caused by turbidity and light absorption. However, optical underwater scanners provide significant advantages in terms of achievable resolution and accuracy compared to acoustic systems. This thesis proposes an underwater laser scanning system and the algorithms for creating dense and accurate 3D scans in water. It is based on laser triangulation and the main optical components are an underwater camera and a cross-line laser projector. The prototype is configured with a motorized yaw axis for capturing scans from a tripod. Alternatively, it is mounted to a moving platform for mobile mapping. The main focus lies on the refractive calibration of the underwater camera and laser projector, the image processing and 3D reconstruction. For highest accuracy, the refraction at the individual media interfaces must be taken into account. This is addressed by an optimization-based calibration framework using a physical-geometric camera model derived from an analytical formulation of a ray-tracing projection model. In addition to scanning underwater structures, this work presents the 3D acquisition of semi-submerged structures and the correction of refraction effects. As in-situ calibration in water is complex and time-consuming, the challenge of transferring an in-air scanner calibration to water without re-calibration is investigated, as well as self-calibration techniques for structured light. The system was successfully deployed in various configurations for both static scanning and mobile mapping. An evaluation of the calibration and 3D reconstruction using reference objects and a comparison of free-form surfaces in clear water demonstrate the high accuracy potential in the range of one millimeter to less than one centimeter, depending on the measurement distance. Mobile underwater mapping and motion compensation based on visual-inertial odometry is demonstrated using a new optical underwater scanner based on fringe projection. Continuous registration of individual scans allows the acquisition of 3D models from an underwater vehicle. RGB images captured in parallel are used to create 3D point clouds of underwater scenes in full color. 3D maps are useful to the operator during the remote control of underwater vehicles and provide the building blocks to enable offshore inspection and surveying tasks. The advancing automation of the measurement technology will allow non-experts to use it, significantly reduce acquisition time and increase accuracy, making underwater metrology more cost-effective. N2 - Das Interesse an präziser, zuverlässiger und zugleich kostengünstiger Unterwassermesstechnik ist groß. Beispielsweise wollen Archäologen Artefakte in situ mit hoher Detailtreue dokumentieren und in der Meeresforschung benötigen Biologen Messwerkzeuge zur Beobachtung des Korallenwachstums. Auch Geologen sind auf Messdaten angewiesen, um Sedimenttransporte zu modellieren. Darüber hinaus ist für die Errichtung von Offshore-Bauwerken, sowie deren Wartung und Inspektion eine millimetergenaue Vermessung von vorhandenen Strukturen und Defekten unerlässlich. Während die Digitalisierung einzelner Objekte und ganzer Areale an Land gut erforscht ist und verschiedene Standardmethoden, wie zum Beispiel Structure from Motion oder terrestrisches Laserscanning, regelmäßig eingesetzt werden, ist die präzise und hochauflösende Unterwasservermessung nach wie vor eine komplexe und schwierige Aufgabe. Die Anwendung optischer Messtechnik im Wasser ist aufgrund der eingeschränkten Sichttiefe durch Trübung und Lichtabsorption eine Herausforderung. Optische Unterwasserscanner bieten jedoch Vorteile hinsichtlich der erreichbaren Auflösung und Genauigkeit gegenüber akustischen Systemen. In dieser Arbeit werden ein Unterwasser-Laserscanning-System und die Algorithmen zur Erzeugung von 3D-Scans mit hoher Punktdichte im Wasser vorgestellt. Es basiert auf Lasertriangulation und die optischen Hauptkomponenten sind eine Unterwasserkamera und ein Kreuzlinienlaserprojektor. Das System ist mit einer motorisierten Drehachse ausgestattet, um Scans von einem Stativ aus aufzunehmen. Alternativ kann es von einer beweglichen Plattform aus für mobile Kartierung eingesetzt werden. Das Hauptaugenmerk liegt auf der refraktiven Kalibrierung der Unterwasserkamera und des Laserprojektors, der Bildverarbeitung und der 3D-Rekonstruktion. Um höchste Genauigkeit zu erreichen, muss die Brechung an den einzelnen Medienübergängen berücksichtigt werden. Dies wird durch ein physikalisch-geometrisches Kameramodell, das auf einer analytischen Beschreibung der Strahlenverfolgung basiert, und ein optimierungsbasiertes Kalibrierverfahren erreicht. Neben dem Scannen von Unterwasserstrukturen wird in dieser Arbeit auch die 3D-Erfassung von teilweise im Wasser befindlichen Strukturen und die Korrektur der dabei auftretenden Brechungseffekte vorgestellt. Da die Kalibrierung im Wasser komplex und zeitintensiv ist, wird die Übertragung einer Kalibrierung des Scanners in Luft auf die Bedingungen im Wasser ohne Neukalibrierung, sowie die Selbstkalibrierung für Lichtschnittverfahren untersucht. Das System wurde in verschiedenen Konfigurationen sowohl für statisches Scannen als auch für die mobile Kartierung erfolgreich eingesetzt. Die Validierung der Kalibrierung und der 3D-Rekonstruktion anhand von Referenzobjekten und der Vergleich von Freiformflächen in klarem Wasser zeigen das hohe Genauigkeitspotenzial im Bereich von einem Millimeter bis weniger als einem Zentimeter in Abhängigkeit von der Messdistanz. Die mobile Unterwasserkartierung und Bewegungskompensation anhand visuell-inertialer Odometrie wird mit einem neuen optischen Unterwasserscanner auf Basis der Streifenprojektion demonstriert. Dabei ermöglicht die kontinuierliche Registrierung von Einzelscans die Erfassung von 3D-Modellen von einem Unterwasserfahrzeug aus. Mit Hilfe von parallel aufgenommenen RGB-Bildern werden dabei farbige 3D-Punktwolken der Unterwasserszenen erstellt. Diese 3D-Karten dienen beispielsweise dem Bediener bei der Fernsteuerung von Unterwasserfahrzeugen und bilden die Grundlage für Offshore-Inspektions- und Vermessungsaufgaben. Die fortschreitende Automatisierung der Messtechnik wird somit auch eine Verwendung durch Nichtfachleute ermöglichen und gleichzeitig die Erfassungszeit erheblich verkürzen und die Genauigkeit verbessern, was die Vermessung im Wasser kostengünstiger und effizienter macht. T3 - Forschungsberichte in der Robotik = Research Notes in Robotics - 28 KW - Selbstkalibrierung KW - Punktwolke KW - Bildverarbeitung KW - 3D Reconstruction KW - Self-calibration KW - Underwater Scanning KW - Underwater Mapping KW - Dreidimensionale Rekonstruktion KW - 3D-Rekonstruktion Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-322693 SN - 978-3-945459-45-4 ER -