Sebastian Reinhard

• The fusion of methods from several disciplines is a crucial component of scientific development. Artificial Neural Networks, based on the principle of biological neuronal networks, demonstrate how nature provides the best templates for technological advancement. These innovations can then be employed to solve the remaining mysteries of biology, including, in particular, processes that take place on microscopic scales and can only be studied with sophisticated techniques. For instance, direct Stochastic Optical Reconstruction Microscopy combinesThe fusion of methods from several disciplines is a crucial component of scientific development. Artificial Neural Networks, based on the principle of biological neuronal networks, demonstrate how nature provides the best templates for technological advancement. These innovations can then be employed to solve the remaining mysteries of biology, including, in particular, processes that take place on microscopic scales and can only be studied with sophisticated techniques. For instance, direct Stochastic Optical Reconstruction Microscopy combines tools from chemistry, physics, and computer science to visualize biological processes at the molecular level. One of the key components is the computer-aided reconstruction of super-resolved images. Improving the corresponding algorithms increases the quality of the generated data, providing further insights into our biology. It is important, however, to ensure that the heavily processed images are still a reflection of reality and do not originate in random artefacts. Expansion microscopy is expanding the sample by embedding it in a swellable hydrogel. The method can be combined with other super-resolution techniques to gain additional resolution. We tested this approach on microtubules, a well-known filamentous reference structure, to evaluate the performance of different protocols and labelling techniques. We developed LineProfiler an objective tool for data collection. Instead of collecting perpendicular profiles in small areas, the software gathers line profiles from filamentous structures of the entire image. This improves data quantity, quality and prevents a biased choice of the evaluated regions. On the basis of the collected data, we deployed theoretical models of the expected intensity distribution across the filaments. This led to the conclusion that post-expansion labelling significantly reduces the labelling error and thus, improves the data quality. The software was further used to determine the expansion factor and arrangement of synaptonemal complex data. Automated Simple Elastix uses state-of-the-art image alignment to compare pre- and post-expansion images. It corrects linear distortions occurring under isotropic expansion, calculates a structural expansion factor and highlights structural mismatches in a distortion map. We used the software to evaluate expanded fungi and NK cells. We found that the expansion factor differs for the two structures and is lower than the overall expansion of the hydrogel. Assessing the fluorescence lifetime of emitters used for direct Stochastic Optical Reconstruction Microscopy can reveal additional information about the molecular environment or distinguish dyes emitting with a similar wavelength. The corresponding measurements require a confocal scanning of the sample in combination with the fluorescent switching of the underlying emitters. This leads to non-linear, interrupted Point Spread Functions. The software ReCSAI targets this problem by combining the classical algorithm of compressed sensing with modern methods of artificial intelligence. We evaluated several different approaches to combine these components and found, that unrolling compressed sensing into the network architecture yields the best performance in terms of reconstruction speed and accuracy. In addition to a deep insight into the functioning and learning of artificial intelligence in combination with classical algorithms, we were able to reconstruct the described non-linearities with significantly improved resolution, in comparison to other state-of-the-art architectures.…
• Für die Weiterentwicklung der Wissenschaft wird es immer wichtiger, Methoden aus verschiedenen Gebieten zu kombinieren. Die künstliche Intelligenz beruht beispielsweise auf dem Prinzip biologischer neuronaler Netze. Hier wird die Natur als Vorlage für unsere technische Entwicklung genutzt. Diese Innovationen können dazu eingesetzt werden, die verbliebenen Rätsel der Biologie zu lösen. Dazu gehören insbesondere Prozesse, die sich auf mikroskopischer Ebene abspielen und nur mit hochentwickelten Techniken untersucht werden können. Die direkteFür die Weiterentwicklung der Wissenschaft wird es immer wichtiger, Methoden aus verschiedenen Gebieten zu kombinieren. Die künstliche Intelligenz beruht beispielsweise auf dem Prinzip biologischer neuronaler Netze. Hier wird die Natur als Vorlage für unsere technische Entwicklung genutzt. Diese Innovationen können dazu eingesetzt werden, die verbliebenen Rätsel der Biologie zu lösen. Dazu gehören insbesondere Prozesse, die sich auf mikroskopischer Ebene abspielen und nur mit hochentwickelten Techniken untersucht werden können. Die direkte Stochastisch Optische Rekonstruktionsmikroskopie kombiniert Methoden der Chemie, Physik und Informatik, um biologische Prozesse auf molekularer Ebene sichtbar zu machen. Eine der Schlüsselkomponenten ist die computergestützte Rekonstruktion von hochaufgelösten Bildern. Die Verbesserung der zugrunde liegenden Algorithmen erhöht die Qualität der erzeugten Daten und ermöglicht weitere Einblicke in unsere Biologie. Es muss jedoch sichergestellt werden, dass die künstlich erstellten Bilder immer noch ein Abbild der Realität sind und nicht auf zufälligen Artefakten beruhen. Expansionsmikroskopie vergrößert die Probe durch Einbettung in ein Hydrogel. Die Methode kann mit anderen hochauflösenden Techniken kombiniert werden, um die Auflösung noch weiter zu verbessern. Dieser Ansatz wurde an Mikrotubuli, einer bekannten flamentösen Referenzstruktur, verwendet, um verschiedene Protokolle und Markierungstechniken zu testen. Mit LineProfiler wurde ein objektives Werkzeug zur Datenerfassung entwickelt. Anstatt Linienprofle in kleinen Bereichen zu erfassen, wertet die Software das gesamte Bild aus. Dies verbessert die Datenmenge und Datenqualität und verhindert eine voreingenommene Auswahl der ausgewerteten Regionen. Auf Grundlage der gesammelten Daten wurden theoretische Modelle für die erwartete Intensitätsverteilung über die Filamente erstellt. Daraus konnte geschlossen werden, dass die Markierung nach der Expansion den Markierungsfehler erheblich reduziert und somit die Qualität der Daten verbessert. Die Software wurde außerdem zur Bestimmung des Expansionsfaktors und der Anordnung der Daten des synaptonemalen Komplexes verwendet. Automated Simple Elastix verwendet modernste Bildregistrierung, um Bilder vor und nach der Expansion zu vergleichen. Lineare Verzerrungen, die bei isotroper Expansion auftreten, werden korrigiert. Der strukturelle Expansionsfaktor wird berechnet und strukturelle Unstimmigkeiten werden in einer Verzerrungskarte hervorgehoben. Die Software wurde zur Bewertung expandierter Pilze und NK-Zellen eingesetzt. Dabei wurde festgestellt, dass der Expansionsfaktor für die beiden Strukturen unterschiedlich ist und unter der Gesamtexpansion des Hydrogels liegt. Die Auswertung der Fluoreszenzlebensdauer von Emittern, die für die direkte Stochastische Optische Rekonstruktionsmikroskopie eingesetzt werden, kann zusätzliche Informationen über die molekulare Umgebung liefern oder Farbstoffe unterscheiden, die VI eine ähnliche Lichtwellenlänge emittieren. Die entsprechenden Messungen erfordern eine konfokale Abtastung der Probe in Kombination mit dem fluoreszenten Schalten der zugrunde liegenden Emitter. Dies führt zu nichtlinearen, unterbrochenen Punktspreizfunktionen. Die Software ReCSAI löst dieses Problem, indem sie den klassischen Algorithmus des Compressed Sensing mit modernen Methoden der künstlichen Intelligenz kombiniert. Es wurden verschiedene Ansätze zur Kombination der Komponenten ausgewertet und festgestellt, dass die Integration von Compressed Sensing in die Netzwerkarchitektur die beste Performance in Bezug auf Rekonstruktionsgeschwindigkeit und -genauigkeit bringt. Neben einem tiefen Einblick in die Funktionsweise und das Lernen von künstlicher Intelligenz in Kombination mit klassischen Algorithmen konnten die beschriebenen Nichtlinearitäten mit einer deutlich verbesserten Auflösung im Vergleich zu anderen modernen Architekturen rekonstruiert werden.…