TY - THES A1 - Griebel, Matthias T1 - Applied Deep Learning: from Data to Deployment T1 - Deep Learning in der Praxis: von der Datenerhebung bis zum Einsatz N2 - Novel deep learning (DL) architectures, better data availability, and a significant increase in computing power have enabled scientists to solve problems that were considered unassailable for many years. A case in point is the “protein folding problem“, a 50-year-old grand challenge in biology that was recently solved by the DL-system AlphaFold. Other examples comprise the development of large DL-based language models that, for instance, generate newspaper articles that hardly differ from those written by humans. However, developing unbiased, reliable, and accurate DL models for various practical applications remains a major challenge - and many promising DL projects get stuck in the piloting stage, never to be completed. In light of these observations, this thesis investigates the practical challenges encountered throughout the life cycle of DL projects and proposes solutions to develop and deploy rigorous DL models. The first part of the thesis is concerned with prototyping DL solutions in different domains. First, we conceptualize guidelines for applied image recognition and showcase their application in a biomedical research project. Next, we illustrate the bottom-up development of a DL backend for an augmented intelligence system in the manufacturing sector. We then turn to the fashion domain and present an artificial curation system for individual fashion outfit recommendations that leverages DL techniques and unstructured data from social media and fashion blogs. After that, we showcase how DL solutions can assist fashion designers in the creative process. Finally, we present our award-winning DL solution for the segmentation of glomeruli in human kidney tissue images that was developed for the Kaggle data science competition HuBMAP - Hacking the Kidney. The second part continues the development path of the biomedical research project beyond the prototyping stage. Using data from five laboratories, we show that ground truth estimation from multiple human annotators and training of DL model ensembles help to establish objectivity, reliability, and validity in DL-based bioimage analyses. In the third part, we present deepflash2, a DL solution that addresses the typical challenges encountered during training, evaluation, and application of DL models in bioimaging. The tool facilitates the objective and reliable segmentation of ambiguous bioimages through multi-expert annotations and integrated quality assurance. It is embedded in an easy-to-use graphical user interface and offers best-in-class predictive performance for semantic and instance segmentation under economical usage of computational resources. N2 - Die Entwicklung neuer Deep Learning (DL) Architekturen, flankiert durch eine bessere Datenverfügbarkeit und eine enorme Steigerung der Rechenleistung, ermöglicht Wissenschaftler:innen die Lösung von Problemen, die lange Zeit als unlösbar galten. Ein Paradebeispiel hierfür ist das 50 Jahre alte „Proteinfaltungsproblem“ in der Biologie, das vor Kurzem duch das DL-System AlphaFold gelöst wurde. Andere Beispiele sind moderne, DL-basierte Sprachmodelle. Diese können unter anderem Zeitungsartikel verfassen, die nur schwer von Artikeln menschlicher Autoren:innen unterscheidbar sind. Die Entwicklung unvoreingenommener, zuverlässiger und präziser DL-Modelle für die praktische Anwendung bleibt jedoch eine große Herausforderung. Dies wird an zahlreichen vielversprechenden DL-Projekten sichtbar, die nicht über die Pilotphase herauskommen. Vor diesem Hintergrund untersuche ich in dieser Dissertation die Herausforderungen, die während des Lebenszyklus von DL-Projekten auftreten, und schlage Lösungen für die Entwicklung und den Einsatz verlässlicher DL-Modelle vor. Der erste Teil der Arbeit befasst sich mit dem Prototyping von DL-Lösungen für verschiedene Anwendungsgebiete. Zunächst werden Richtlinien für die angewandte Bilderkennung konzipiert und deren Anwendung in einem biomedizinischen Forschungsprojekt gezeigt. Dem folgt die Darstellung einer Bottom-up-Entwicklung eines DL-Backends für ein Augmented-Intelligence-System im Fertigungssektor. Im Anschluss wird der Entwurf eines künstlichen Fashion-Curation-Systems für individuelle Outfit-Empfehlungen vorgestellt, das DL-Techniken und unstrukturierte Daten aus sozialen Medien und Modeblogs nutzt. Es folgt ein Abschnitt darüber, wie DL-Lösungen Modedesigner:innen im kreativen Prozess unterstützen können. Schließlich stelle ich meine prämierte DL-Lösung für die Segmentierung von Glomeruli in menschlichen Nierengewebe-Bildern vor, die für den Kaggle Data Science-Wettbewerb HuBMAP - Hacking the Kidney entwickelt wurde. Im zweiten Teil wird der Entwicklungspfad des biomedizinischen Forschungsprojekts über das Prototyping-Stadium hinaus fortgesetzt. Anhand von Daten aus fünf Laboren wird gezeigt, dass die Schätzung einer Ground-Truth durch die Annotationen mehrerer Experten:innen und das Training von DL-Modell-Ensembles dazu beiträgt, Objektivität, Zuverlässigkeit und Validität in DL-basierten Analysen von Mikroskopie-Bildern zu manifestieren. Im dritten Teil der Dissertation stelle ich die DL-Lösung deepflash2 vor, welche die typischen Herausforderungen beim Training, der Evaluation und der Anwendung von DL-Modellen in der biologischen Bildgebung adressiert. Das Tool erleichtert die objektive und zuverlässige Segmentierung von mehrdeutigen Mikroskopie-Bildern durch die Integration von Annotationen mehrerer Experten:innen und integrierte Qualitätssicherung. KW - artificial intelligence KW - deep learning KW - bioimage analysis Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-277650 ER - TY - THES A1 - Segebarth, Dennis T1 - Evaluation and validation of deep learning strategies for bioimage analyses T1 - Evaluation und Validierung von Deep learning Strategien für die Analyse biologischer Bilddaten N2 - Significant advances in fluorescence imaging techniques enable life scientists today to gain insights into biological systems at an unprecedented scale. The interpretation of image features in such bioimage datasets and their subsequent quantitative analysis is referred to as bioimage analysis. A substantial proportion of bioimage analyses is still performed manually by a human expert - a tedious process that is long known to be subjective. Particularly in tasks that require the annotation of image features with a low signal-to-noise ratio, like in fluorescence images of tissue samples, the inter-rater agreement drops. However, like any other scientific analysis, also bioimage analysis has to meet the general quality criteria of quantitative research, which are objectivity, reliability, and validity. Thus, the automation of bioimage analysis with computer-aided approaches is highly desirable. Albeit conventional hard-coded algorithms are fully unbiased, a human user has to set its respective feature extraction parameters. Thus, also these approaches can be considered subjective. Recently, deep learning (DL) has enabled impressive advances in computer vision research. The predominant difference between DL and conventional algorithms is the capability of DL models to learn the respective task on base of an annotated training dataset, instead of following user-defined rules for feature extraction. This thesis hypothesized that DL can be used to increase the objectivity, reliability, and validity of bioimage analyses, thus going beyond mere automation. However, in absence of ground truth annotations, DL models have to be trained on manual and thus subjective annotations, which could cause the model to incorporate such a bias. Moreover, model training is stochastic and even training on the same data could result in models with divergent outputs. Consequently, both the training on subjective annotations and the model-to-model variability could impair the quality of DL-based bioimage analyses. This thesis systematically assessed the impacts of these two limitations experimentally by analyzing fluorescence signals of a protein called cFOS in mouse brain sections. Since the abundance of cFOS correlates with mouse behavior, behavioral analyses could be used for cross-validation of the bioimage analysis results. Furthermore, this thesis showed that pooling the input of multiple human experts during model training and integration of multiple trained models in a model ensemble can mitigate the impact of these limitations. In summary, the present study establishes guidelines for how DL can be used to increase the general quality of bioimage analyses. N2 - Fortschritte in den Methoden der fluoreszenz-basierten Bildgebung ermöglichen Biowissenschaftlern heutzutage noch nie dagewesene Einblicke in biologische Systeme. Die Interpretation sowie die anschließende quantitative Analyse von Bildelementen in biologischen Bilddatensätzen wird in der Wissenschaft als bioimage analysis bezeichnet. Ein wesentlicher Anteil der bioimage analysis wird noch immer von Experten per Hand durchgeführt - ein mühsamer Prozess, von dem man seit langem weiß, dass er subjektiv ist. Besonders bei Aufgabestellungen, welche die Annotierung von Bildelementen mit einem geringen Signal-Rausch-Verhältnis erfordern, wie es beispielsweise bei Fluoreszenzbildern von Gewebeproben der Fall ist, sinkt die Übereinstimmung zwischen den Bewertungen mehrerer Experten. Genauso wie jede andere wissenschaftliche Analyse, muss jedoch auch die bioimage analysis den generellen Qualitätskriterien quantitativer Forschung gerecht werden. Dies sind Objektivität, Zuverlässigkeit und Validität. Die Automatisierung der bioimage analysis mit Hilfe von computer-basierten Ansätzen ist somit erstrebenswert. Konventionelle, hartkodierte Algorithmen sind zwar vollkommen unvoreingenommen, jedoch legt ein menschlicher Benutzer jene Parameter fest, die der Algorithmus für die Extraktion der relevanten Bildelemente nutzt. Aus diesem Grund sind auch diese Ansätze zumindest partiell subjektiv. In den letzten Jahren hat Deep learning (DL) zu beeindruckenden Fortschritten auf dem Forschungsgebiet der computer vision beigetragen. Der vorherrschende Unterschied zwischen DL und konventionellen Algorithmen besteht darin, dass DL Modelle in der Lage sind die jeweilige Aufgabe auf Grundlage eines annotierten Trainingsdatensatzes zu lernen, anstatt starr den Parametern zu folgen, die der Benutzer für die Extraktion der relevanten Bildelemente vorgegeben hat. In dieser Dissertation wurde die Hypothese untersucht, ob DL, neben der Möglichkeit der automatischen Bildanalyse, auch dazu genutzt werden kann die Objektivität, die Zuverlässigkeit und die Validität der Bildanalyse zu verbessern. Ohne eine objektive Referenzannotierung muss das Training der DL Modelle jedoch auf händisch erstellten und somit also subjektiven Annotierungen durchgeführt werden. Theoretisch könnte dies dazu führen, dass das DL-Modell diese Vorgeingenommenheit übernimmt. Außerdem unterliegt das Training der Modelle stochastischen Prozessen und selbst Modelle, die auf den gleichen Trainingsdaten trainiert wurden, könnten sich danach in ihren ausgegeben Analysen unterscheiden. Demzufolge könnten also sowohl das Training auf subjektiven Annotierungen als auch die Variabilität von Modell zu Modell die Qualität der DL-basierten Analyse von biologischen Bilddaten beeinträchtigen. In dieser Dissertation werden die Einflüsse von diesen beiden Limitierungen auf Grundlage von experimentellen Daten untersucht. In den experimentellen Bilddaten werden Fluoreszenzsignale des Proteins cFOS in Hirnschnitten von Mäusen dargestellt und hier repräsentativ untersucht. Da das Vorkommen von cFOS mit dem Verhalten der Mäuse korreliert, kann die Analyse des Verhaltens der Mäuse zur Kreuzvalidierung der Analyse der biologischen Bilddaten herangezogen werden. Die Daten dieser Dissertation zeigen, dass die Integration mehrerer Experten in das Training eines Modells sowie die Integration mehrerer trainierter Modelle in ein Modell-Ensemble das Risiko einer subjektiven oder nicht reproduzierbaren Bildanalyse abschwächen können. Diese Arbeit etabliert Richtlinien dafür, wie DL verwendet werden kann, um die generelle Qualität der Analyse biologischer Bilddaten zu erhöhen. KW - Deeplearning KW - Biologie KW - Bildanalyse KW - bioimage analysis Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-243728 ER -