TY  - THES
A1  - Yu, Yanying
T1  - Applied machine learning for the analysis of CRISPR-Cas systems
T1  - Angewandtes maschinelles Lernen für die Analyse von CRISPR-Cas-Systemen
N2  - Among the defense strategies developed in microbes over millions of years, the innate adaptive CRISPR-Cas immune systems have spread across most of bacteria and archaea. The flexibility, simplicity, and specificity of CRISPR-Cas systems have laid the foundation for CRISPR-based genetic tools. Yet, the efficient administration of CRISPR-based tools demands rational designs to maximize the on-target efficiency and off-target specificity. Specifically, the selection of guide RNAs (gRNAs), which play a crucial role in the target recognition of CRISPR-Cas systems, is non-trivial. Despite the fact that the emerging machine learning techniques provide a solution to aid in gRNA design with prediction algorithms, design rules for many CRISPR-Cas systems are ill-defined, hindering their broader applications. 
CRISPR interference (CRISPRi), an alternative gene silencing technique using a catalytically dead Cas protein to interfere with transcription, is a leading technique in bacteria for functional  interrogation, pathway manipulation, and genome-wide screens. Although the application is promising, it also is hindered by under-investigated design rules. Therefore, in this work, I develop a state-of-art predictive machine learning model for guide silencing efficiency in bacteria leveraging the advantages of feature engineering, data integration, interpretable AI, and automated machine learning. I first systematically investigate the influential factors that attribute to the extent of depletion in multiple CRISPRi genome-wide essentiality screens in Escherichia coli and demonstrate the surprising dominant contribution of gene-specific effects, such as gene expression level. These observations allowed me to segregate the confounding gene-specific effects using a mixed-effect random forest (MERF) model to provide a better estimate of guide efficiency, together with the improvement led by integrating multiple screens. The MERF model outperformed existing tools in an independent high-throughput saturating screen. I next interpret the predictive model to extract the design rules for robust gene silencing, such as the preference for cytosine and disfavoring for guanine and thymine within and around the protospacer adjacent motif (PAM) sequence. I further incorporated the MERF model in a web-based tool that is freely accessible at www.ciao.helmholtz-hiri.de.
 When comparing the MERF model with existing tools, the performance of the alternative gRNA design tool optimized for CRISPRi in eukaryotes when applied to bacteria was far from satisfying, questioning the robustness of prediction algorithms across organisms. In addition, the CRISPR-Cas systems exhibit diverse mechanisms albeit with some similarities. The captured predictive patterns from one dataset thereby are at risk of poor generalization when applied across organisms and CRISPR-Cas techniques. To fill the gap, the machine learning approach I present here for CRISPRi could serve as a blueprint for the effective development of prediction algorithms for specific organisms or CRISPR-Cas systems of interest. The explicit workflow includes three principle steps: 1) accommodating the feature set for the CRISPR-Cas system or technique; 2) optimizing a machine learning model using automated machine learning; 3) explaining the model using interpretable AI. To illustrate the applicability of the workflow and diversity of results when applied across different bacteria and CRISPR-Cas systems, I have applied this workflow to analyze three distinct CRISPR-Cas genome-wide screens. From the CRISPR base editor essentiality screen in E. coli, I have determined the PAM preference and sequence context in the editing window for efficient editing, such as A at the 2nd position of PAM, A/TT/TG downstream of PAM, and TC at the 4th to 5th position of gRNAs. From the CRISPR-Cas13a screen in E. coli, in addition to the strong correlation with the guide depletion, the target expression level is the strongest predictor in the model, supporting it as a main determinant of the activation of Cas13-induced immunity and better characterizing the CRISPR-Cas13 system. From the CRISPR-Cas12a screen in Klebsiella pneumoniae, I have extracted the design rules for robust antimicrobial activity across K. pneumoniae strains and provided a predictive algorithm for gRNA design, facilitating CRISPR-Cas12a as an alternative technique to tackle antibiotic resistance. 
Overall, this thesis presents an accurate prediction algorithm for CRISPRi guide efficiency in bacteria, providing insights into the determinants of efficient silencing and guide designs. The systematic exploration has led to a robust machine learning approach for effective model development in other bacteria and CRISPR-Cas systems. Applying the approach in the analysis of independent CRISPR-Cas screens not only sheds light on the design rules but also the mechanisms of the CRISPR-Cas systems. Together, I demonstrate that applied machine learning paves the way to a deeper understanding and a broader application of CRISPR-Cas systems.
N2  - Unter den Verteidigungsstrategien, welche sich über Millionen von Jahren in Mikroben entwickelt haben, hat sich das angeborene adaptive CRISPR-Cas Immunsystem in vielen Bakterien und den meisten Archaeen verbreitet. Flexibilität, Einfachheit und Spezifizität von CRISPR-Cas Systemen bilden die Grundlage für CRISPR-basierten genetischen Werkzeugen. Dennoch verlangt die effiziente Anwendung CRISPR-basierter genetischer Werkzeuge ein rationales Design, um die Effektivität zu maximieren und Spezifizität zu gewährleisten. Speziell die Auswahl an Leit-RNAs, oder auch „guide“ RNAs (gRNAs), welche eine essentielle Rolle in der Ziel-Erkennung des CRISPR-Cas Systems spielen, ist nicht trivial. Trotz aufkommender Techniken des maschinellen Lernens, die mit Hilfe von Vorhersage-Algorithmen eine Unterstützung im gRNA-Design darstellen, sind die Design-Regeln für viele CRISPR-Cas Systeme schlecht definiert und die breite Anwendung dadurch bisher gehindert. 
CRISPR Interferenz (CRISPRi), eine Methode der Genrepression, nutzt ein katalytisch inaktives Cas-Protein, um die Gen-Transkription zu verhindern und ist eine führende Technik für Gen-Funktionsstudien, der Manipulation von Stoffwechselwegen und genomweiter Screens in Bakterien. Auch wenn viele der Anwendungen vielversprechend sind, ist die Umsetzung aufgrund der wenig untersuchten Design-Regeln schwierig. Daher entwickele ich in dieser Arbeit ein hochmodernes auf maschinellem Lernen basierendes Modell für die Vorhersage der gRNA Genrepressions-Effizienz in Bakterien, wobei die Merkmalskonstruktion, Datenintegration, interpretierbare künstliche Intelligenz (KI) und automatisiertes maschinelles Lernen genutzt wurden. Zuerst untersuche ich systematisch die Einflussfaktoren, welche zum Ausmaß der Depletion in genomweiten CRISPRi-Screens zur Gen-Essentialität in Escherichia coli beitragen und demonstriere den überraschend dominanten Beitrag genspezifischer Effekte, wie z. B. dem Genexpressionslevel. Diese Beobachtungen erlaubten mir die genspezifischen Störvariablen mit einem sogenannten mixed-effect random forest (MERF) Modell zu segregieren, um eine bessere Einschätzung der gRNA Effizienz zu erreichen und durch die Integration zusätzlicher Screen-Daten noch weiter zu verbessern. Das MERF Modell übertraf dabei bereits existierende Werkzeuge in einem unabhängigen Hochdurchsatz Sättigungs-Screen. Als nächstes interpretiere ich die Modell Vorhersage, um Design-Regeln für eine solide Genrepression zu extrahieren, wie z. B. eine Präferenz für Cytosin und eine Abneigung gegenüber Guanin und Thymin innerhalb und der „protospacer adjacent motif“ (PAM) direkt umgebenden Sequenz. Weiterhin integrierte ich das MERF Modell in einem Web-basierten Werkzeug, welches unter www.ciao.helmholtz-hiri.de frei zugänglich ist.
 	Ein Vergleich von existierenden Werkzeugen mit dem MERF Modell zeigt, dass alternative, für CRISPRi in Eukaryoten optimierte, gRNA Design-Werkzeuge schlecht abschneiden, sobald sie in Bakterien angewandt werden. Dies lässt Zweifel an einer robusten Übertragbarkeit dieser Vorhersage-Algorithmen zwischen verschiedenen Organismen. Zusätzlich haben CRISPR-Cas Systeme, trotz einiger genereller Gemeinsamkeiten, höchst diverse Wirkungsmechanismen. Die Vorhersagemuster eines Datensets sind daher schlecht generalisierbar, sobald sie auf andere Organismen oder CRISPR-Cas Techniken angewandt werden. Diese Lücke kann mit dem hier präsentierten Ansatz des maschinellen Lernens für CRISPRi geschlossen werden und als eine Vorlage für die Entwicklung effektiver Vorhersage-Algorithmen für spezifische Organismen oder CRISPR-Cas Systeme dienen. Der explizite Arbeitsablauf beinhaltet drei Hauptschritte: 1) Aufnehmen des Merkmalsets des jeweiligen CRISPR-Cas Systems bzw. der CRISPR-Cas Technik; 2) Optimierung des maschinellen Lernen Modells durch automatisiertes maschinelles Lernen; 3) Erklärung des Modells mit interpretierbarer KI. Um die Anwendbarkeit des Arbeitsablaufs und die Diversität der Ergebnisse, im Zusammenhang mit unterschiedlichen Organismen und CRISPR-Cas Systemen, zu demonstrieren, habe ich diese Arbeitsschritte zur Analyse drei unterschiedlicher genomweiter Screens angewandt. Von dem CRISPR „base editor“ Essentialitäts-Screen in E. coli, konnten die PAM Präferenzen und der Sequenzkontext innerhalb des Editierungsfensters für eine effiziente Editierung abgeleitet werden.  Beispielsweise tragen ein A an der zweiten PAM Position, ein A/TT/TG an der PAM direkt nachgeschalten Position und ein TC an der vierten oder fünften gRNA Position zur effizienten Editierung bei. Im CRISPR-Cas13a Screen in E. coli, stellten wir eine starke Korrelation zwischen dem Genexpressionslevel und der gRNA-Depletion fest. Zusätzlich ist das Expressionslevel des Ziel-Gens der stärkste Vorhersagefaktor des Modells, was das Expressionslevel als Hauptdeterminante für die Cas13-induzierte Immunität hervorhebt und die bessere Charakterisierung von CRISPR-Cas13 Systemen ermöglicht. Aus dem CRISPR-Cas12a Screen in Klebsiella pneumoniae, habe ich gRNA Design Regeln für die robuste antimikrobielle Aktivität über unterschiedliche K. pneumoniae Stämme hinweg extrahiert und einen Vorhersage-Algorithmus für das gRNA Design bereitgestellt. Dies ermöglicht die Nutzung von Cas12a als eine alternative Lösung, um Antibiotikaresistenzen zu bekämpfen.
Zusammengefasst präsentiert diese Thesis einen akkuraten Vorhersage-Algorithmus für die CRISPRi gRNA Effizienz in Bakterien und gibt Einblicke in die Determinanten für eine effiziente Genrepression und optimales gRNA Design. Die systematische Exploration führte zu einem robusten Ansatz des maschinellen Lernens für effektive Modell Entwicklungen in unterschiedlichen bakteriellen Spezies und CRISPR-Cas Systemen. Durch die Anwendung dieses Ansatzes auf unabhängige CRISPR-Cas Screens, konnte ich nicht nur wichtige Design Regeln ableiten, sondern auch die Mechanismen der jeweiligen CRISPR-Cas Systeme besser erleuchten. Zu guter Letzt demonstriere ich hier, dass angewandtes maschinelles Lernen den Weg zu einem tieferen Verständnis und einer breiteren Anwendung von CRISPR-Cas Systemen ebnen kann.
KW  - Maschinelles Lernen
KW  - CRISPR/Cas-Methode
KW  - Bakterien
KW  - machine learning
KW  - CRISPR-Cas
KW  - guide effiiciency
Y1  - 2024
U6  - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-320219
ER  - 
TY  - THES
A1  - de Graaf [geb. Buttler], Simone Linda
T1  - From Small to Large Data: Leveraging Synthetic Data for Inventory Management
T1  - Von kleinen zu großen Daten: Die Nutzung von synthetischen Daten für das Bestandsmanagement
N2  - In a world of constant change, uncertainty has become a daily challenge for businesses. Rapidly shifting market conditions highlight the need for flexible responses to unforeseen events. Operations Management (OM) is crucial for optimizing business processes, including site planning, production control, and inventory management. Traditionally, companies have relied on theoretical models from microeconomics, game theory, optimization, and simulation. However, advancements in machine learning and mathematical optimization have led to a new research field: data-driven OM.

Data-driven OM uses real data, especially time series data, to create more realistic models that better capture decision-making complexities. Despite the promise of this new research area, a significant challenge remains: the availability of extensive historical training data. Synthetic data, which mimics real data, has been used to address this issue in other machine learning applications.

Therefore, this dissertation explores how synthetic data can be leveraged to improve decisions for data-driven inventory management, focusing on the single-period newsvendor problem, a classic stochastic optimization problem in inventory management.

The first article, "A Meta Analysis of Data-Driven Newsvendor Approaches", presents a standardized evaluation framework for data-driven prescriptive approaches, tested through a numerical study. Findings suggest model performance is not robust, emphasizing the need for a standardized evaluation process.

The second article, "Application of Generative Adversarial Networks in Inventory Management", examines using synthetic data generated by Generative Adversarial Networks (GANs) for the newsvendor problem. This study shows GANs can model complex demand relationships, offering a promising alternative to traditional methods.

The third article, "Combining Synthetic Data and Transfer Learning for Deep Reinforcement Learning in Inventory Management", proposes a method using Deep Reinforcement Learning (DRL) with synthetic and real data through transfer learning. This approach trains a generative model to learn demand distributions, generates synthetic data, and fine-tunes a DRL agent on a smaller real dataset. This method outperforms traditional approaches in controlled and practical settings, though further research is needed to generalize these findings.
N2  - In einer Welt des ständigen Wandels ist Unsicherheit zu einer alltäglichen Herausforderung für Unternehmen geworden. Die Covid-19-Pandemie hat deutlich gezeigt, wie schnell sich Marktumfelder verändern können und wie wichtig es ist, flexibel auf unvorhersehbare Ereignisse zu reagieren. In diesem komplexen Entscheidungsumfeld spielt das Operations Management (OM) eine entscheidende Rolle. Das Ziel des OM besteht darin, die Geschäftsprozesse von Unternehmen zu optimieren. Von der Standortplanung über die Produktionssteuerung bis hin zum Bestandsmanagement —OM befasst sich mit den strategischen und operativen Entscheidungen, die erforderlich sind, um den betrieblichen Erfolg sicherzustellen. Traditionell haben Unternehmen bei der Entscheidungsfindung theoretische Modelle aus Bereichen wie Mikroökonomie, Spieltheorie, Optimierung und Simulation genutzt (Mišić und Perakis, 2020). Doch angesichts der Fortschritte im Bereich des maschinellen Lernens und der mathematischen Optimierung der letzten Jahre eröffnete sich ein neues Forschungsgebiet: das datengetriebene OM. Im datengetriebenen OM werden reale Daten, insbesondere Zeitreihendaten, herangezogen, um realistischere Modelle zu entwickeln, welche die Komplexität der Entscheidungsfindung besser erfassen können. Diese Daten können wertvolle Einblicke in vergangene Kundennachfrage und relevante Einflussfaktoren, wie Wetterbedingungen oder Börsentrends, liefern. Durch die Kombination von realen Daten mit Optimierungs- und maschinellen Lernverfahren können Unternehmen fundiertere und präzisere Entscheidungen treffen. Jedoch besteht im Rahmen dieses neuen Forschungsgebiets eine Herausforderung: Studien haben gezeigt, dass einige Modelle optimale Lösungen liefern können, wenn diese eine umfangreiche Menge historischer Trainingsdaten zur Verfügung haben. Jedoch sieht die Realität häufig anders aus. Insbesondere in Teildisziplinen des OM, wie dem Kapazitäts- oder Bestandsmanagement, existiert häufig nur eine begrenzte Anzahl von historischen Beobachtungen, da Entscheidungen über den Einsatz von Ressourcen oder die Auffüllung des Bestands hier nicht in Echtzeit getroffen werden, sondern täglich, wöchentlich oder sogar nur monatlich stattfinden. In anderen Anwendungsbereichen des maschinellen Lernens, in denen die Verfügbarkeit von Daten zum Trainieren von Modellen ebenfalls ein Problem darstellt, hat man damit begonnen, reale Daten durch synthetische Daten zu ergänzen oder sogar zu ersetzen. Synthetische Daten sind künstlich generierte Daten, die die Eigenschaften und Muster realer Daten nachahmen. Neuste Ansätze zur Generierung synthetischer Daten haben zum Ziel, den Entstehungsprozess echter Daten nachzuahmen. Das Verständnis des Entstehungsprozesses von Daten ist auch deshalb so wichtig, weil er kausale Zusammenhänge aufzeigen kann, die es ermöglichen, universellere Modelle zu entwickeln. Verstehen wir beispielsweise den Entstehungsprozess von Nachfragedaten für Bäckereiprodukte, kann dieses Wissen bei jeder Bäckerei der Welt angewandt werden, um beispielsweise die Menge der zu backenden Brötchen zu optimieren. Diese Dissertation untersucht in drei inhaltlich abgeschlossenen Teilen, wie synthetische Daten genutzt werden können, um Trainingsdaten im Bereich des OM anzureichern und dadurch datengetriebene Modelle zur Entscheidungsunterstützung zu verbessern. Der Fokus liegt dabei auf dem Zeitungsjungenproblem, einem klassischen Problem der Bestandsplanung. Hierbei handelt es sich um ein einperiodiges Planungsproblem, bei dem es gilt, die optimale Bestellmenge zu ermitteln, sodass der Gewinn maximiert wird. Dabei muss berücksichtigt werden, dass unverkaufte Produkte am Ende des Tages einen Verlust bedeuten, aber auch ein zu schneller Ausverkauf potenzielle Einnahmen verpassen lässt. Der erste Artikel, „A Meta Analysis of Data-Driven Newsvendor Approaches“, Kapitel 2, dient als Vorstudie zur Verwendung synthetischer Daten. Obwohl bisher in der Literatur mehrere datengetriebene, präskripviii tive Ansätze vorgeschlagen wurden, ist es unklar, wie diese im Vergleich zueinander abschneiden. In dem Artikel wird ein reproduzierbares und einheitliches Bewertungsverfahren für datengetriebene, präskriptive Ansätze präsentiert. Das vorgestellte Bewertungsverfahren kann sowohl von Praktikern zur Modellauswahl als auch von Forschern zum Benchmarking neuer Ansätze verwendet werden. In diesem Artikel wird es in einer umfangreichen numerischen Studie verwendet, die mit einem großen und heterogenen Datensatz durchgeführt wird. Teil dieser Studie ist eine Robustheitsanalyse, um den Einfluss verschiedener Problemparameter zu bewerten, die die Leistung des Modells potenziell beeinflussen können, wie z.B. Eigenschaften des Datensatzes oder des zu lösenden Planungsproblems. Die Ergebnisse deuten darauf hin, dass die Leistung der evaluierten Modelle wenig robust ist und das zu verwendende Modell auf der Grundlage eines standardisierten Evaluierungsprozesses ausgewählt werden sollte, um bestmögliche Ergebnisse zu gewährleisten. Im zweiten Artikel, „Application of Generative Adversarial Networks in Inventory Management“, Kapitel 3, wird die Verwendung synthetischer Daten, die durch Generative Adversarial Networks (GANs) erzeugt wurden, zur Lösung des Zeitungsjungenproblems untersucht. Der Einsatz datengetriebener, präskriptiver Verfahren hat zu einem wachsenden Bedarf an relevanten Trainingsdaten geführt, insbesondere wenn zusätzliche Informationen (Features) eingebunden werden. Daraus ergibt sich ein Bedarf an Techniken, die komplexe Beziehungen zwischen Nachfrage und Zusatzinformationen modellieren können und mit denen große Mengen synthetischer Daten erzeugt werden können. In diesem Artikel wird gezeigt, wie solche synthetischen Daten mit Hilfe von GANs - einem Ansatz des Deep Learning - erzeugt werden können. Da die Leistung von GANs häufig instabil ist, wird eine Selektionsstrategie als Vorstufe zur Anwendung der GAN-generierten Daten im Planungsproblem entwickelt. In numerischen Experimenten wird der vorgeschlagene Ansatz im Praxiskontext einer Bäckereikette angewandt und unter Variation verschiedener Experimentparameter untersucht. Er wird mit traditionelleren Ansätzen, wie dem Distribution Fitting und der Sample Average Approximation (SAA), verglichen. Die Ergebnisse legen nahe, dass die Anwendung von GANs eine vielversprechende Alternative zu diesen traditionellen Ansätzen darstellt. Im dritten Artikel, „Combining Synthetic Data and Transfer Learning for Deep Reinforcement Learning in Inventory Management“, Kapitel 4, wird ein neuartiges, auf Deep Reinforcement Learning (DRL) basierendes Verfahren vorgeschlagen, das synthetische und reale Daten mittels Transfer Learning kombiniert, um OM-Entscheidungsprobleme zu lösen. Die Anwendung von DRL verspricht größere Flexibilität in der Problemdefinition als traditionellere, präskriptive Ansätze. Allerdings erfordert es auch große Mengen an Trainingsdaten. In diesem Artikel wird ein zweistufiges Verfahren vorgeschlagen, um mit weniger echten Trainingsdaten auszukommen. Zunächst wird ein generatives Modell trainiert, um die unbekannte gemeinsame Verteilung von Nachfrage und Features zu lernen. Dieses wird genutzt, um zusätzliche synthetische Trainingsdaten zu generieren. In einem zweiten Schritt wird ein DRL-Agent mit Hilfe des Transfer Learnings trainiert, wobei der DRL-Agent zunächst auf den synthetischen Daten vortrainiert wird und dann ein Feintuning auf der Grundlage eines kleineren realen Datensatzes erfolgt. Dieser Artikel evaluiert das vorgeschlagene Verfahren für ein Zeitungsjungenproblem in zwei verschiedenen numerischen Studiensettings. In dem kontrollierten Studiensetting ist die Verteilung der Daten bekannt, wodurch ein erster Schritt gemacht wird, zu verstehen, was die Leistung des vorgeschlagenen Verfahrens beeinflusst, z.B. die Qualität der generierten synthetischen Daten. Im Praxissetting, in dem die gemeinsame Verteilung der Daten unbekannt ist, wird das vorgeschlagene Verfahren auf Daten einer lokalen Bäckereikette angewandt. In beiden Fällen übertrifft das vorgeschlagene Verfahren die traditionelle präskriptive Methode. Es ist jedoch weitere Forschung erforderlich, um die Generalisierbarkeit dieser Ergebnisse zu beweisen. Insgesamt zeigen die Ergebnisse dieser Dissertation, dass der Einsatz von synthetischen Daten Potential hat, Praxisanwendungen des maschinellen Lernens zu unterstützen. Die untersuchte Methode der Datengenerierung mit GANs ermöglicht die Modellierung komplexer Zusammenhänge in den Daten und unterstützt damit selbst die Anwendung von datenhungrigen Verfahren, wie DRL, zur Lösung von Planungsproblemen. Die Wahl eines guten GAN-Modells ist jedoch mit hohem Aufwand verbunden, sodass Kosten und Nutzen synthetischer Daten bei jeder Anwendung abgewogen werden sollten. Weitere Forschung ist notwendig, um die Generalisierbarkeit der Ergebnisse zu gewährleisten.
KW  - Bestandsmanagement
KW  - Synthetische Daten
KW  - Maschinelles Lernen
KW  - Data-driven Operations Management
KW  - Generative Adversarial Networks
KW  - Reinforcement Learning
Y1  - 2024
U6  - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-361364
ER  - 
TY  - THES
A1  - Allgaier, Johannes
T1  - Machine Learning Explainability on Multi-Modal Data using Ecological Momentary Assessments in the Medical Domain
T1  - Erklärbarkeit von maschinellem Lernen unter Verwendung multi-modaler Daten und Ecological Momentary Assessments im medizinischen Sektor
N2  - Introduction. 
Mobile health (mHealth) integrates mobile devices into healthcare, enabling remote monitoring, data collection, and personalized interventions. Machine Learning (ML), a subfield of Artificial Intelligence (AI), can use mHealth data to confirm or extend domain knowledge by finding associations within the data, i.e., with the goal of improving healthcare decisions. In this work, two data collection techniques were used for mHealth data fed into ML systems: Mobile Crowdsensing (MCS), which is a collaborative data gathering approach, and Ecological Momentary Assessments (EMA), which capture real-time individual experiences within the individual’s common environments using questionnaires and sensors. We collected EMA and MCS data on tinnitus and COVID-19. About 15 % of the world’s population suffers from tinnitus. 

Materials & Methods. 
This thesis investigates the challenges of ML systems when using MCS and EMA data. It asks: How can ML confirm or broad domain knowledge? Domain knowledge refers to expertise and understanding in a specific field, gained through experience and education. Are ML systems always superior to simple heuristics and if yes, how can one reach explainable AI (XAI) in the presence of mHealth data? An XAI method enables a human to understand why a model makes certain predictions. Finally, which guidelines can be beneficial for the use of ML within the mHealth domain? In tinnitus research, ML discerns gender, temperature, and season-related variations among patients. In the realm of COVID-19, we collaboratively designed a COVID-19 check app for public education, incorporating EMA data to offer informative feedback on COVID-19-related matters. This thesis uses seven EMA datasets with more than 250,000 assessments. Our analyses revealed a set of challenges: App user over-representation, time gaps, identity ambiguity, and operating system specific rounding errors, among others. Our systematic review of 450 medical studies assessed prior utilization of XAI methods. 

Results. 
ML models predict gender and tinnitus perception, validating gender-linked tinnitus disparities. Using season and temperature to predict tinnitus shows the association of these variables with tinnitus. Multiple assessments of one app user can constitute a group. Neglecting these groups in data sets leads to model overfitting. In select instances, heuristics outperform ML models, highlighting the need for domain expert consultation to unveil hidden groups or find simple heuristics. 

Conclusion. 
This thesis suggests guidelines for mHealth related data analyses and improves estimates for ML performance. Close communication with medical domain experts to identify latent user subsets and incremental benefits of ML is essential.
N2  - Einleitung. 
Unter Mobile Health (mHealth) versteht man die Nutzung mobiler Geräte
wie Handys zur Unterstützung der Gesundheitsversorgung. So können Ärzt:innen z. B.
Gesundheitsinformationen sammeln, die Gesundheit aus der Ferne überwachen, sowie
personalisierte Behandlungen anbieten. Man kann maschinelles Lernen (ML) als System
nutzen, um aus diesen Gesundheitsinformationen zu lernen. Das ML-System versucht,
Muster in den mHealth Daten zu finden, um Ärzt:innen zu helfen, bessere Entschei-
dungen zu treffen. Zur Datensammlung wurden zwei Methoden verwendet: Einerseits
trugen zahlreiche Personen zur Sammlung von umfassenden Informationen mit mo-
bilen Geräten bei (sog. Mobile Crowdsensing), zum anderen wurde den Mitwirkenden
digitale Fragebögen gesendet und Sensoren wie GPS eingesetzt, um Informationen in
einer alltäglichen Umgebung zu erfassen (sog. Ecologcial Momentary Assessments). Diese
Arbeit verwendet Daten aus zwei medizinischen Bereichen: Tinnitus und COVID-19.
Schätzungen zufolge leidet etwa 15 % der Menschheit an Tinnitus.

Materialien & Methoden. 
Die Arbeit untersucht, wie ML-Systeme mit mHealth Daten
umgehen: Wie können diese Systeme robuster werden oder neue Dinge lernen? Funktion-
ieren die neuen ML-Systeme immer besser als einfache Daumenregeln, und wenn ja, wie
können wir sie dazu bringen, zu erklären, warum sie bestimmte Entscheidungen treffen?
Welche speziellen Regeln sollte man außerdem befolgen, wenn man ML-Systeme mit
mHealth Daten trainiert? Während der COVID-19-Pandemie entwickelten wir eine App,
die den Menschen helfen sollte, sich über das Virus zu informieren. Diese App nutzte
Daten der Krankheitssymptome der App Nutzer:innen, um Handlungsempfehlungen
für das weitere Vorgehen zu geben.

Ergebnisse. 
ML-Systeme wurden trainiert, um Tinnitus vorherzusagen und wie er mit
geschlechtsspezifischen Unterschieden zusammenhängen könnte. Die Verwendung von
Faktoren wie Jahreszeit und Temperatur kann helfen, Tinnitus und seine Beziehung zu
diesen Faktoren zu verstehen. Wenn wir beim Training nicht berücksichtigen, dass ein
App User mehrere Datensätze ausfüllen kann, führt dies zu einer Überanpassung und
damit Verschlechterung des ML-Systems. Interessanterweise führen manchmal einfache
Regeln zu robusteren und besseren Modellen als komplexe ML-Systeme. Das zeigt, dass
es wichtig ist, Experten auf dem Gebiet einzubeziehen, um Überanpassung zu vermeiden
oder einfache Regeln zur Vorhersage zu finden.

Fazit. 
Durch die Betrachtung verschiedener Langzeitdaten konnten wir neue Empfehlun-
gen zur Analyse von mHealth Daten und der Entwicklung von ML-Systemen ableiten.
Dabei ist es wichtig, medizinischen Experten mit einzubeziehen, um Überanpassung zu
vermeiden und ML-Systeme schrittweise zu verbessern.
KW  - Maschinelles Lernen
KW  - Explainable Artificial Intelligence
KW  - Mobile Health
KW  - Machine Learning
KW  - Explainable AI
KW  - Mobile Crowdsensing
KW  - Ecological Momentary Assessments
Y1  - 2024
U6  - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-351189
ER  - 
TY  - THES
A1  - Kobs, Konstantin
T1  - Think outside the Black Box: Model-Agnostic Deep Learning with Domain Knowledge
T1  - Think outside the Black Box: Modellagnostisches Deep Learning mit Domänenwissen
N2  - Deep Learning (DL) models are trained on a downstream task by feeding (potentially preprocessed) input data through a trainable Neural Network (NN) and updating its parameters to minimize the loss function between the predicted and the desired output. While this general framework has mainly remained unchanged over the years, the architectures of the trainable models have greatly evolved. Even though it is undoubtedly important to choose the right architecture, we argue that it is also beneficial to develop methods that address other components of the training process. We hypothesize that utilizing domain knowledge can be helpful to improve DL models in terms of performance and/or efficiency. Such model-agnostic methods can be applied to any existing or future architecture. Furthermore, the black box nature of DL models motivates the development of techniques to understand their inner workings. Considering the rapid advancement of DL architectures, it is again crucial to develop model-agnostic methods.
In this thesis, we explore six principles that incorporate domain knowledge to understand or improve models. They are applied either on the input or output side of the trainable model. Each principle is applied to at least two DL tasks, leading to task-specific implementations. To understand DL models, we propose to use Generated Input Data coming from a controllable generation process requiring knowledge about the data properties. This way, we can understand the model’s behavior by analyzing how it changes when one specific high-level input feature changes in the generated data. On the output side, Gradient-Based Attribution methods create a gradient at the end of the NN and then propagate it back to the input, indicating which low-level input features have a large influence on the model’s prediction. The resulting input features can be interpreted by humans using domain knowledge.
To improve the trainable model in terms of downstream performance, data and compute efficiency, or robustness to unwanted features, we explore principles that each address one of the training components besides the trainable model. Input Masking and Augmentation directly modifies the training input data, integrating knowledge about the data and its impact on the model’s output. We also explore the use of Feature Extraction using Pretrained Multimodal Models which can be seen as a beneficial preprocessing step to extract useful features. When no training data is available for the downstream task, using such features and domain knowledge expressed in other modalities can result in a Zero-Shot Learning (ZSL) setting, completely eliminating the trainable model. The Weak Label Generation principle produces new desired outputs using knowledge about the labels, giving either a good pretraining or even exclusive training dataset to solve the downstream task. Finally, improving and choosing the right Loss Function is another principle we explore in this thesis. Here, we enrich existing loss functions with knowledge about label interactions or utilize and combine multiple task-specific loss functions in a multitask setting.
We apply the principles to classification, regression, and representation tasks as well as to image and text modalities. We propose, apply, and evaluate existing and novel methods to understand and improve the model. Overall, this thesis introduces and evaluates methods that complement the development and choice of DL model architectures.
N2  - Deep-Learning-Modelle (DL-Modelle) werden trainiert, indem potenziell vorverarbeitete Eingangsdaten durch ein trainierbares Neuronales Netz (NN) geleitet und dessen Parameter aktualisiert werden, um die Verlustfunktion zwischen der Vorhersage und der gewünschten Ausgabe zu minimieren. Während sich dieser allgemeine Ablauf kaum geändert hat, haben sich die verwendeten NN-Architekturen erheblich weiterentwickelt. Auch wenn die Wahl der Architektur für die Aufgabe zweifellos wichtig ist, schlagen wir in dieser Arbeit vor, Methoden für andere Komponenten des Trainingsprozesses zu entwickeln. Wir vermuten, dass die Verwendung von Domänenwissen hilfreich bei der Verbesserung von DL-Modellen bezüglich ihrer Leistung und/oder Effizienz sein kann. Solche modellagnostischen Methoden sind dann bei jeder bestehenden oder zukünftigen NN-Architektur anwendbar. Die Black-Box-Natur von DL-Modellen motiviert zudem die Entwicklung von Methoden, die zum Verständnis der Funktionsweise dieser Modelle beitragen. Angesichts der schnellen Architektur-Entwicklung ist es wichtig, modellagnostische Methoden zu entwickeln.
In dieser Arbeit untersuchen wir sechs Prinzipien, die Domänenwissen verwenden, um Modelle zu verstehen oder zu verbessern. Sie werden auf Trainingskomponenten im Eingang oder Ausgang des Modells angewendet. Jedes Prinzip wird dann auf mindestens zwei DL-Aufgaben angewandt, was zu aufgabenspezifischen Implementierungen führt. Um DL-Modelle zu verstehen, verwenden wir kontrolliert generierte Eingangsdaten, was Wissen über die Dateneigenschaften benötigt. So können wir das Verhalten des Modells verstehen, indem wir die Ausgabeänderung bei der Änderung von abstrahierten Eingabefeatures beobachten. Wir untersuchen zudem gradienten-basierte Attribution-Methoden, die am Ausgang des NN einen Gradienten anlegen und zur Eingabe zurückführen. Eingabefeatures mit großem Einfluss auf die Modellvorhersage können so identifiziert und von Menschen mit Domänenwissen interpretiert werden.
Um Modelle zu verbessern (in Bezug auf die Ergebnisgüte, Daten- und Recheneffizienz oder Robustheit gegenüber ungewollten Eingaben), untersuchen wir Prinzipien, die jeweils eine Trainingskomponente neben dem trainierbaren Modell betreffen. Das Maskieren und Augmentieren von Eingangsdaten modifiziert direkt die Trainingsdaten und integriert dabei Wissen über ihren Einfluss auf die Modellausgabe. Die Verwendung von vortrainierten multimodalen Modellen zur Featureextraktion kann als ein Vorverarbeitungsschritt angesehen werden. Bei fehlenden Trainingsdaten können die Features und Domänenwissen in anderen Modalitäten als Zero-Shot Setting das trainierbare Modell gänzlich eliminieren. Das Weak-Label-Generierungs-Prinzip erzeugt neue gewünschte Ausgaben anhand von Wissen über die Labels, was zu einem Pretrainings- oder exklusiven Trainigsdatensatz führt. Schließlich ist die Verbesserung und Auswahl der Verlustfunktion ein weiteres untersuchtes Prinzip. Hier reichern wir bestehende Verlustfunktionen mit Wissen über Label-Interaktionen an oder kombinieren mehrere aufgabenspezifische Verlustfunktionen als Multi-Task-Ansatz.
Wir wenden die Prinzipien auf Klassifikations-, Regressions- und Repräsentationsaufgaben sowie Bild- und Textmodalitäten an. Wir stellen bestehende und neue Methoden vor, wenden sie an und evaluieren sie für das Verstehen und Verbessern von DL-Modellen, was die Entwicklung und Auswahl von DL-Modellarchitekturen ergänzt.
KW  - Deep learning
KW  - Neuronales Netz
KW  - Maschinelles Lernen
KW  - Machine Learning
KW  - Model-Agnostic
KW  - Domain Knowledge
Y1  - 2024
U6  - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-349689
ER  - 
TY  - THES
A1  - Nadernezhad, Ali
T1  - Engineering approaches in biofabrication of vascularized structures
T1  - Ingenieurtechnische Ansätze in der Biofabrikation vaskularisierter Strukturen
N2  - Biofabrication technologies must address numerous parameters and conditions to reconstruct tissue complexity in vitro. A critical challenge is vascularization, especially for large constructs exceeding diffusion limits. This requires the creation of artificial vascular structures, a task demanding the convergence and integration of multiple engineering approaches. This doctoral dissertation aims to achieve two primary objectives: firstly, to implement and refine engineering methods for creating artificial microvascular structures using Melt Electrowriting (MEW)-assisted sacrificial templating, and secondly, to deepen the understanding of the critical factors influencing the printability of bioink formulations in 3D extrusion bioprinting.

In the first part of this dissertation, two innovative sacrificial templating techniques using MEW are explored. Utilizing a carbohydrate glass as a fugitive material, a pioneering advancement in the processing of sugars with MEW with a resolution under 100 microns was made. Furthermore, by introducing the “print-and-fuse” strategy as a groundbreaking method, biomimetic branching microchannels embedded in hydrogel matrices were fabricated, which can then be endothelialized to mirror in vivo vascular conditions.

The second part of the dissertation explores extrusion bioprinting. By introducing a simple binary bioink formulation, the correlation between physical properties and printability was showcased. In the next step, employing state-of-the-art machine-learning approaches revealed a deeper understanding of the correlations between bioink properties and printability in an extended library of hydrogel formulations.

This dissertation offers in-depth insights into two key biofabrication technologies. Future work could merge these into hybrid methods for the fabrication of vascularized constructs, combining MEW's precision with fine-tuned bioink properties in automated extrusion bioprinting.
N2  - Biofabrikationstechnologien müssen zahlreiche Parameter und Bedingungen berücksichtigen, um die Komplexität von Gewebe in vitro zu rekonstruieren. Eine entscheidende Herausforderung ist die Vaskularisierung, insbesondere bei großen Konstrukten, die die Diffusionsgrenzen überschreiten. Dies erfordert die Schaffung künstlicher Gefäßstrukturen, eine Aufgabe, die die Konvergenz und Integration verschiedener technischer Ansätze erfordert. Mit dieser Dissertation sollen zwei Hauptziele erreicht werden: erstens die Implementierung und Verfeinerung technischer Methoden zur Herstellung künstlicher mikrovaskulärer Strukturen mit Hilfe des "Melt Electrowriting" (MEW) und zweitens die Vertiefung des Verständnisses der kritischen Faktoren, die die Druckbarkeit von Biotintenformulierungen beim 3D-Extrusions-Bioprinting beeinflussen.

Im ersten Teil dieser Dissertation werden zwei innovative Opferschablonentechniken unter Verwendung von MEW erforscht. Unter Verwendung eines Kohlenhydratglases als flüchtiges Material wurde ein bahnbrechender Fortschritt bei der Verarbeitung von Zuckern mit MEW mit einer Auflösung von unter 100 Mikrometern erzielt. Darüber hinaus wurden durch die Einführung der "Print-and-Fuse"-Strategie als bahnbrechende Methode biomimetische, verzweigte Mikrokanäle hergestellt, die in Hydrogelmatrizen eingebettet sind und anschließend endothelialisiert werden können, um die vaskulären Bedingungen in vivo wiederzugeben.

Der zweite Teil der Dissertation befasst sich mit dem Extrusions-Bioprinting. Durch die Einführung einer einfachen binären Biotintenformulierung wurde die Korrelation zwischen physikalischen Eigenschaften und Druckbarkeit aufgezeigt. Im nächsten Schritt wurde durch den Einsatz modernster Methoden des maschinellen Lernens ein tieferes Verständnis für die Zusammenhänge zwischen den Eigenschaften der Biotinte und der Druckbarkeit in einer erweiterten Bibliothek von Hydrogelformulierungen gewonnen.

Diese Dissertation bietet tiefe Einblicke in zwei Schlüsseltechnologien der Biofabrikation. Zukünftige Arbeiten könnten diese zu hybriden Methoden für die Herstellung vaskularisierter Konstrukte zusammenführen und dabei die Präzision von MEW mit fein abgestimmten Biotinteneigenschaften im automatisierten Extrusionsbioprinting kombinieren.
KW  - 3D-Druck
KW  - Rheologie
KW  - Maschinelles Lernen
KW  - Bioinks
KW  - Hyrogels
KW  - Valscularization
KW  - Melt Electrowriting
Y1  - 2024
U6  - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-345892
ER  - 
TY  - THES
A1  - Kleineisel, Jonas
T1  - Variational networks in magnetic resonance imaging - Application to spiral cardiac MRI and investigations on image quality
T1  - Variational Networks in der Magnetresonanztomographie - Anwendung auf spirale Herzbildgebung und Untersuchungen zur Bildqualität
N2  - Acceleration is a central aim of clinical and technical research in magnetic resonance imaging (MRI) today, with the potential to increase robustness, accessibility and patient comfort, reduce cost, and enable entirely new kinds of examinations. A key component in this endeavor is image reconstruction, as most modern approaches build on advanced signal and image processing. Here, deep learning (DL)-based methods have recently shown considerable potential, with numerous publications demonstrating benefits for MRI reconstruction. However, these methods often come at the cost of an increased risk for subtle yet critical errors. Therefore, the aim of this thesis is to advance DL-based MRI reconstruction, while  ensuring high quality and fidelity with measured data. A network architecture specifically suited for this purpose is the variational network (VN). To investigate the benefits these can bring to non-Cartesian cardiac imaging, the first part presents an application of VNs, which were specifically adapted to the reconstruction of accelerated spiral acquisitions. The proposed method is compared to a segmented exam, a U-Net and a compressed sensing (CS) model using qualitative and quantitative measures. While the U-Net performed poorly, the VN as well as the CS reconstruction showed good output quality. In functional cardiac imaging, the proposed real-time method with VN reconstruction substantially accelerates examinations over the gold-standard, from over 10 to just 1 minute. Clinical parameters agreed on average. 

Generally in MRI reconstruction, the assessment of image quality is complex, in particular for modern non-linear methods. Therefore, advanced techniques for precise evaluation of quality were subsequently demonstrated.
With two distinct methods, resolution and amplification or suppression of noise are quantified locally in each pixel of a reconstruction. Using these, local maps of resolution and noise in parallel imaging (GRAPPA), CS, U-Net and VN reconstructions were determined for MR images of the brain. In the tested images, GRAPPA delivers uniform and ideal resolution, but amplifies noise noticeably. The other methods adapt their behavior to image structure, where different levels of local blurring were observed at edges compared to homogeneous areas, and noise was suppressed except at edges.  Overall, VNs were found to combine a number of advantageous properties, including a good trade-off between resolution and noise, fast reconstruction times, and high overall image quality and fidelity of the produced output. Therefore, this network architecture seems highly promising for MRI reconstruction.
N2  - Eine Beschleunigung des Bildgebungsprozesses ist heute ein wichtiges Ziel von klinischer und technischer Forschung in der Magnetresonanztomographie (MRT). Dadurch könnten Robustheit, Verfügbarkeit und Patientenkomfort erhöht, Kosten gesenkt und ganz neue Arten von Untersuchungen möglich gemacht werden. Da sich die meisten modernen Ansätze hierfür auf eine fortgeschrittene Signal- und Bildverarbeitung stützen, ist die Bildrekonstruktion ein zentraler Baustein. In diesem Bereich haben Deep Learning (DL)-basierte Methoden in der jüngeren Vergangenheit bemerkenswertes Potenzial gezeigt und eine Vielzahl an Publikationen konnte deren Nutzen in der MRT-Rekonstruktion feststellen. Allerdings besteht dabei das Risiko von subtilen und doch kritischen Fehlern. Daher ist das Ziel dieser Arbeit, die DL-basierte MRT-Rekonstruktion weiterzuentwickeln, während gleichzeitig hohe Bildqualität und Treue der erzeugten Bilder mit den gemessenen Daten gewährleistet wird. Eine Netzwerkarchitektur, die dafür besonders geeignet ist, ist das Variational Network (VN). Um den Nutzen dieser Netzwerke für nicht-kartesische Herzbildgebung zu untersuchen, beschreibt der erste Teil dieser Arbeit eine Anwendung von VNs, welche spezifisch für die Rekonstruktion von beschleunigten Akquisitionen mit spiralen Auslesetrajektorien angepasst wurden. Die vorgeschlagene Methode wird mit einer segmentierten Rekonstruktion, einem U-Net, und einem Compressed Sensing (CS)-Modell anhand von qualitativen und quantitativen Metriken verglichen. Während das U-Net schlecht abschneidet, zeigen die VN- und CS-Methoden eine gute Bildqualität. In der funktionalen Herzbildgebung beschleunigt die vorgeschlagene Echtzeit-Methode mit VN-Rekonstruktion die Aufnahme gegenüber dem Goldstandard wesentlich, von etwa zehn zu nur einer Minute. Klinische Parameter stimmen im Mittel überein. 

Die Bewertung von Bildqualität in der MRT-Rekonstruktion ist im Allgemeinen komplex, vor allem für moderne, nichtlineare Methoden. Daher wurden anschließend forgeschrittene Techniken zur präsizen Analyse von Bildqualität demonstriert. Mit zwei separaten Methoden wurde einerseits die Auflösung und andererseits die Verstärkung oder Unterdrückung von Rauschen in jedem Pixel eines untersuchten Bildes lokal quantifiziert. Damit wurden lokale Karten von Auflösung und Rauschen in Rekonstruktionen durch Parallele Bildgebung (GRAPPA), CS, U-Net und VN für MR-Aufnahmen des Gehirns berechnet. In den untersuchten Bildern zeigte GRAPPA gleichmäßig eine ideale Auflösung, aber merkliche Rauschverstärkung. Die anderen Methoden verhalten sich lokal unterschiedlich je nach Struktur des untersuchten Bildes. Die gemessene lokale Unschärfe unterschied sich an den Kanten gegenüber homogenen Bildbereichen, und Rauschen wurde überall außer an Kanten unterdrückt. Insgesamt wurde für VNs eine Kombination von verschiedenen günstigen Eigenschaften festgestellt, unter anderem ein guter Kompromiss zwischen Auflösung und Rauschen, schnelle Laufzeit, und hohe Qualität und Datentreue der erzeugten Bilder. Daher erscheint diese Netzwerkarchitektur als ein äußerst vielversprechender Ansatz für MRT-Rekonstruktion.
KW  - Kernspintomografie
KW  - Convolutional Neural Network
KW  - Maschinelles Lernen
KW  - Bildgebendes Verfahren
KW  - magnetic resonance imaging
KW  - convolutional neural network
KW  - variational network
KW  - cardiac imaging
KW  - machine learning
KW  - local point-spread function
KW  - resolution
KW  - g-factor
Y1  - 2024
U6  - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-347370
ER  - 
TY  - THES
A1  - Marquardt, André
T1  - Machine-Learning-Based Identification of Tumor Entities, Tumor Subgroups, and Therapy Options
T1  - Bestimmung von Tumorentitäten, Tumorsubgruppen und Therapieoptionen basierend auf maschinellem Lernen
N2  - Molecular genetic analyses, such as mutation analyses, are becoming increasingly important in the tumor field, especially in the context of therapy stratification. The identification of the underlying tumor entity is crucial, but can sometimes be difficult, for example in the case of metastases or the so-called Cancer of Unknown Primary (CUP) syndrome. In recent years, methylome and transcriptome utilizing machine learning (ML) approaches have been developed to enable fast and reliable tumor and tumor subtype identification. However, so far only methylome analysis have become widely used in routine diagnostics. 
The present work addresses the utility of publicly available RNA-sequencing data to determine the underlying tumor entity, possible subgroups, and potential therapy options. Identification of these by ML - in particular random forest (RF) models - was the first task. The results with test accuracies of up to 99% provided new, previously unknown insights into the trained models and the corresponding entity prediction. Reducing the input data to the top 100 mRNA transcripts resulted in a minimal loss of prediction quality and could potentially enable application in clinical or real-world settings.
By introducing the ratios of these top 100 genes to each other as a new database for RF models, a novel method was developed enabling the use of trained RF models on data from other sources. 
Further analysis of the transcriptomic differences of metastatic samples by visual clustering showed that there were no differences specific for the site of metastasis. Similarly, no distinct clusters were detectable when investigating primary tumors and metastases of cutaneous skin melanoma (SKCM). 
Subsequently, more than half of the validation datasets had a prediction accuracy of at least 80%, with many datasets even achieving a prediction accuracy of – or close to – 100%. 
To investigate the applicability of the used methods for subgroup identification, the TCGA-KIPAN dataset, consisting of the three major kidney cancer subgroups, was used. The results revealed a new, previously unknown subgroup consisting of all histopathological groups with clinically relevant characteristics, such as significantly different survival. Based on significant differences in gene expression, potential therapeutic options of the identified subgroup could be proposed. 
Concludingly, in exploring the potential applicability of RNA-sequencing data as a basis for therapy prediction, it was shown that this type of data is suitable to predict entities as well as subgroups with high accuracy. Clinical relevance was also demonstrated for a novel subgroup in renal cell carcinoma. The reduction of the number of genes required for entity prediction to 100 genes, enables panel sequencing and thus demonstrates potential applicability in a real-life setting.
N2  - Molekulargenetische Analysen, wie z. B. Mutationsanalysen, gewinnen im Tumorbereich zunehmend an Bedeutung, insbesondere im Zusammenhang mit der Therapiestratifizierung. Die Identifizierung der zugrundeliegenden Tumorentität ist von entscheidender Bedeutung, kann sich aber manchmal als schwierig erweisen, beispielsweise im Falle von Metastasen oder dem sogenannten Cancer of Unknown Primary (CUP)-Syndrom. In den letzten Jahren wurden Methylom- und Transkriptom-Ansätze mit Hilfe des maschinellen Lernens (ML) entwickelt, die eine schnelle und zuverlässige Identifizierung von Tumoren und Tumorsubtypen ermöglichen. Bislang werden jedoch nur Methylomanalysen in der Routinediagnostik eingesetzt.
Die vorliegende Arbeit befasst sich mit dem Nutzen öffentlich zugänglicher RNA-Sequenzierungsdaten zur Bestimmung der zugrunde liegenden Tumorentität, möglicher Untergruppen und potenzieller Therapieoptionen. Die Identifizierung dieser durch ML - insbesondere Random-Forest (RF)-Modelle - war die erste Aufgabe. Die Ergebnisse mit Testgenauigkeiten von bis zu 99 % lieferten neue, bisher unbekannte Erkenntnisse über die trainierten Modelle und die entsprechende Entitätsvorhersage. Die Reduktion der Eingabedaten auf die 100 wichtigsten mRNA-Transkripte führte zu einem minimalen Verlust an Vorhersagequalität und könnte eine Anwendung in klinischen oder realen Umgebungen ermöglichen.
Durch die Einführung des Verhältnisses dieser Top 100 Gene zueinander als neue Datenbasis für RF-Modelle wurde eine neuartige Methode entwickelt, die die Verwendung trainierter RF-Modelle auf Daten aus anderen Quellen ermöglicht. 
Eine weitere Analyse der transkriptomischen Unterschiede von metastatischen Proben durch visuelles Clustering zeigte, dass es keine für den Ort der Metastasierung spezifischen Unterschiede gab. Auch bei der Untersuchung von Primärtumoren und Metastasen des kutanen Hautmelanoms (SKCM) konnten keine unterschiedlichen Cluster festgestellt werden. 
Mehr als die Hälfte der Validierungsdatensätze wiesen eine Vorhersagegenauigkeit von mindestens 80% auf, wobei viele Datensätze sogar eine Vorhersagegenauigkeit von 100% oder nahezu 100% erreichten. 
Um die Anwendbarkeit der verwendeten Methoden zur Identifizierung von Untergruppen zu untersuchen, wurde der TCGA-KIPAN-Datensatz verwendet, welcher die drei wichtigsten Nierenkrebs-Untergruppen umfasst. Die Ergebnisse enthüllten eine neue, bisher unbekannte Untergruppe, die aus allen histopathologischen Gruppen mit klinisch relevanten Merkmalen, wie z. B. einer signifikant unterschiedlichen Überlebenszeit, besteht. Auf der Grundlage signifikanter Unterschiede in der Genexpression konnten potenzielle therapeutische Optionen für die identifizierte Untergruppe vorgeschlagen werden.
Zusammenfassend lässt sich sagen, dass bei der Untersuchung der potenziellen Anwendbarkeit von RNA-Sequenzierungsdaten als Grundlage für die Therapievorhersage gezeigt werden konnte, dass diese Art von Daten geeignet ist, sowohl Entitäten als auch Untergruppen mit hoher Genauigkeit vorherzusagen. Die klinische Relevanz wurde auch für eine neue Untergruppe beim Nierenzellkarzinom demonstriert. Die Verringerung der für die Entitätsvorhersage erforderlichen Anzahl von Genen auf 100 Gene ermöglicht die Sequenzierung von Panels und zeigt somit die potenzielle Anwendbarkeit in der Praxis.
KW  - Maschinelles Lernen
KW  - Krebs <Medizin>
KW  - Tumor
KW  - Sequenzdaten
KW  - Random Forest
KW  - Vorhersage
KW  - RNA-Sequenzierung
KW  - Prognose
Y1  - 2023
U6  - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-329548
ER  - 
TY  - THES
A1  - Krenzer, Adrian
T1  - Machine learning to support physicians in endoscopic examinations with a focus on automatic polyp detection in images and videos
T1  - Maschinelles Lernen zur Unterstützung von Ärzten bei endoskopischen Untersuchungen mit Schwerpunkt auf der automatisierten Polypenerkennung in Bildern und Videos
N2  - Deep learning enables enormous progress in many computer vision-related tasks. Artificial Intel- ligence (AI) steadily yields new state-of-the-art results in the field of detection and classification. Thereby AI performance equals or exceeds human performance. Those achievements impacted many domains, including medical applications.
One particular field of medical applications is gastroenterology. In gastroenterology, machine learning algorithms are used to assist examiners during interventions. One of the most critical concerns for gastroenterologists is the development of Colorectal Cancer (CRC), which is one of the leading causes of cancer-related deaths worldwide. Detecting polyps in screening colonoscopies is the essential procedure to prevent CRC. Thereby, the gastroenterologist uses an endoscope to screen the whole colon to find polyps during a colonoscopy. Polyps are mucosal growths that can vary in severity.
This thesis supports gastroenterologists in their examinations with automated detection and clas- sification systems for polyps. The main contribution is a real-time polyp detection system. This system is ready to be installed in any gastroenterology practice worldwide using open-source soft- ware. The system achieves state-of-the-art detection results and is currently evaluated in a clinical trial in four different centers in Germany.
The thesis presents two additional key contributions: One is a polyp detection system with ex- tended vision tested in an animal trial. Polyps often hide behind folds or in uninvestigated areas. Therefore, the polyp detection system with extended vision uses an endoscope assisted by two additional cameras to see behind those folds. If a polyp is detected, the endoscopist receives a vi- sual signal. While the detection system handles the additional two camera inputs, the endoscopist focuses on the main camera as usual.
The second one are two polyp classification models, one for the classification based on shape (Paris) and the other on surface and texture (NBI International Colorectal Endoscopic (NICE) classification). Both classifications help the endoscopist with the treatment of and the decisions about the detected polyp.
The key algorithms of the thesis achieve state-of-the-art performance. Outstandingly, the polyp detection system tested on a highly demanding video data set shows an F1 score of 90.25 % while working in real-time. The results exceed all real-time systems in the literature. Furthermore, the first preliminary results of the clinical trial of the polyp detection system suggest a high Adenoma Detection Rate (ADR). In the preliminary study, all polyps were detected by the polyp detection system, and the system achieved a high usability score of 96.3 (max 100). The Paris classification model achieved an F1 score of 89.35 % which is state-of-the-art. The NICE classification model achieved an F1 score of 81.13 %.
Furthermore, a large data set for polyp detection and classification was created during this thesis. Therefore a fast and robust annotation system called Fast Colonoscopy Annotation Tool (FastCAT) was developed. The system simplifies the annotation process for gastroenterologists. Thereby the
i
gastroenterologists only annotate key parts of the endoscopic video. Afterward, those video parts are pre-labeled by a polyp detection AI to speed up the process. After the AI has pre-labeled the frames, non-experts correct and finish the annotation. This annotation process is fast and ensures high quality. FastCAT reduces the overall workload of the gastroenterologist on average by a factor of 20 compared to an open-source state-of-art annotation tool.
N2  - Deep Learning ermöglicht enorme Fortschritte bei vielen Aufgaben im Bereich der Computer Vision. Künstliche Intelligenz (KI) liefert ständig neue Spitzenergebnisse im Bereich der Erkennung und Klassifizierung. Dabei erreicht oder übertrifft die Leistung von KI teilweise die menschliche Leistung. Diese Errungenschaften wirken sich auf viele Bereiche aus, darunter auch auf medizinische Anwendungen.
Ein besonderer Bereich der medizinischen Anwendungen ist die Gastroenterologie. In der Gastroenterologie werden Algorithmen des maschinellen Lernens eingesetzt, um den Untersucher bei medizinischen Eingriffen zu unterstützen. Eines der größten Probleme für Gastroenterologen ist die Entwicklung von Darmkrebs, die weltweit eine der häufigsten krebsbedingten Todesursachen ist. Die Erkennung von Polypen bei Darmspiegelungen ist das wichtigste Verfahren zur Vorbeugung von Darmkrebs. Dabei untersucht der Gastroenterologe den Dickdarm im Rahmen einer Koloskopie, um z.B. Polypen zu finden. Polypen sind Schleimhautwucherungen, die unterschiedlich stark ausgeprägt sein können.
Diese Arbeit unterstützt Gastroenterologen bei ihren Untersuchungen mit automatischen Erkennungssystemen und Klassifizierungssystemen für Polypen. Der Hauptbeitrag ist ein Echtzeitpolypenerkennungssystem. Dieses System kann in jeder gastroenterologischen Praxis weltweit mit Open- Source-Software installiert werden. Das System erzielt Erkennungsergebnisse auf dem neusten Stand der Technik und wird derzeit in einer klinischen Studie in vier verschiedenen Praxen in Deutschland evaluiert.
In dieser Arbeit werden zwei weitere wichtige Beiträge vorgestellt: Zum einen ein Polypenerkennungssystem mit erweiterter Sicht, das in einem Tierversuch getestet wurde. Polypen verstecken sich oft hinter Falten oder in nicht untersuchten Bereichen. Daher verwendet das Polypenerkennungssystem mit erweiterter Sicht ein Endoskop, das von zwei zusätzlichen Kameras unterstützt wird, um hinter diese Falten zu sehen. Wenn ein Polyp entdeckt wird, erhält der Endoskopiker ein visuelles Signal. Während das Erkennungssystem die beiden zusätzlichen Kameraeingaben verarbeitet, konzentriert sich der Endoskopiker wie gewohnt auf die Hauptkamera.
Das zweite sind zwei Polypenklassifizierungsmodelle, eines für die Klassifizierung anhand der Form (Paris) und das andere anhand der Oberfläche und Textur (NICE-Klassifizierung). Beide Klassifizierungen helfen dem Endoskopiker bei der Behandlung und Entscheidung über den erkannten Polypen.
Die Schlüsselalgorithmen der Dissertation erreichen eine Leistung, die dem neuesten Stand der Technik entspricht. Herausragend ist, dass das auf einem anspruchsvollen Videodatensatz getestete Polypenerkennungssystem einen F1-Wert von 90,25 % aufweist, während es in Echtzeit arbeitet. Die Ergebnisse übertreffen alle Echtzeitsysteme für Polypenerkennung in der Literatur. Darüber hinaus deuten die ersten vorläufigen Ergebnisse einer klinischen Studie des Polypenerkennungssystems auf eine hohe Adenomdetektionsrate ADR hin. In dieser Studie wurden alle Polypen durch das Polypenerkennungssystem erkannt, und das System erreichte einen hohe Nutzerfreundlichkeit von 96,3 (maximal 100). Bei der automatischen Klassifikation von Polypen basierend auf der Paris Klassifikations erreichte das in dieser Arbeit entwickelte System einen F1-Wert von 89,35 %, was dem neuesten Stand der Technik entspricht. Das NICE-Klassifikationsmodell erreichte eine F1- Wert von 81,13 %.
Darüber hinaus wurde im Rahmen dieser Arbeit ein großer Datensatz zur Polypenerkennung und -klassifizierung erstellt. Dafür wurde ein schnelles und robustes Annotationssystem namens FastCAT entwickelt. Das System vereinfacht den Annotationsprozess für Gastroenterologen. Die Gastroenterologen annotieren dabei nur die wichtigsten Teile des endoskopischen Videos. Anschließend werden diese Videoteile von einer Polypenerkennungs-KI vorverarbeitet, um den Prozess zu beschleunigen. Nachdem die KI die Bilder vorbeschriftet hat, korrigieren und vervollständigen Nicht-Experten die Annotationen. Dieser Annotationsprozess ist schnell und gewährleistet eine hohe Qualität. FastCAT reduziert die Gesamtarbeitsbelastung des Gastroenterologen im Durchschnitt um den Faktor 20 im Vergleich zu einem Open-Source-Annotationstool auf dem neuesten Stand der Technik.
KW  - Deep Learning
KW  - Maschinelles Lernen
KW  - Maschinelles Sehen
KW  - Machine Learning
KW  - Object Detection
KW  - Medical Image Analysis
KW  - Computer Vision
KW  - Gastroenterologische Endoskopie
KW  - Polypektomie
Y1  - 2023
U6  - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-319119
ER  - 
TY  - THES
A1  - Steininger, Michael
T1  - Deep Learning for Geospatial Environmental Regression
T1  - Deep Learning für Regressionsmodelle mit georäumlichen Umweltdaten
N2  - Environmental issues have emerged especially since humans burned fossil fuels, which led to air pollution and climate change that harm the environment. These issues’ substantial consequences evoked strong efforts towards assessing the state of our environment.

Various environmental machine learning (ML) tasks aid these efforts. These tasks concern environmental data but are common ML tasks otherwise, i.e., datasets are split (training, validatition, test), hyperparameters are optimized on validation data, and test set metrics measure a model’s generalizability. This work focuses on the following environmental ML tasks: Regarding air pollution, land use regression (LUR) estimates air pollutant concentrations at locations where no measurements are available based on measured locations and each location’s land use (e.g., industry, streets). For LUR, this work uses data from London (modeled) and Zurich (measured). Concerning climate change, a common ML task is model output statistics (MOS), where a climate model’s output for a study area is altered to better fit Earth observations and provide more accurate climate data. This work uses the regional climate model (RCM) REMO and Earth observations from the E-OBS dataset for MOS. Another task regarding climate is grain size distribution interpolation where soil properties at locations without measurements are estimated based on the few measured locations. This can provide climate models with soil information, that is important for hydrology. For this task, data from Lower Franconia is used.

Such environmental ML tasks commonly have a number of properties: (i) geospatiality, i.e., their data refers to locations relative to the Earth’s surface. (ii) The environmental variables to estimate or predict are usually continuous. (iii) Data can be imbalanced due to relatively rare extreme events (e.g., extreme precipitation). (iv) Multiple related potential target variables can be available per location, since measurement devices often contain different sensors. (v) Labels are spatially often only sparsely available since conducting measurements at all locations of interest is usually infeasible. These properties present challenges but also opportunities when designing ML methods for such tasks.

In the past, environmental ML tasks have been tackled with conventional ML methods, such as linear regression or random forests (RFs). However, the field of ML has made tremendous leaps beyond these classic models through deep learning (DL). In DL, models use multiple layers of neurons, producing increasingly higher-level feature representations with growing layer depth. DL has made previously infeasible ML tasks feasible, improved the performance for many tasks in comparison to existing ML models significantly, and eliminated the need for manual feature engineering in some domains due to its ability to learn features from raw data. To harness these advantages for environmental domains it is promising to develop novel DL methods for environmental ML tasks.

This thesis presents methods for dealing with special challenges and exploiting opportunities inherent to environmental ML tasks in conjunction with DL. To this end, the proposed methods explore the following techniques: (i) Convolutions as in convolutional neural networks (CNNs) to exploit reoccurring spatial patterns in geospatial data. (ii) Posing the problems as regression tasks to estimate the continuous variables. (iii) Density-based weighting to improve estimation performance for rare and extreme events. (iv) Multi-task learning to make use of multiple related target variables. (v) Semi–supervised learning to cope with label sparsity. Using these techniques, this thesis considers four research questions: (i) Can air pollution be estimated without manual feature engineering? This is answered positively by the introduction of the CNN-based LUR model MapLUR as well as the off-the-shelf LUR solution OpenLUR. (ii) Can colocated pollution data improve spatial air pollution models? Multi-task learning for LUR is developed for this, showing potential for improvements with colocated data. (iii) Can DL models improve the quality of climate model outputs? The proposed DL climate MOS architecture ConvMOS demonstrates this. Additionally, semi-supervised training of multilayer perceptrons (MLPs) for grain size distribution interpolation is presented, which can provide improved input data. (iv) Can DL models be taught to better estimate climate extremes? To this end, density-based weighting for imbalanced regression (DenseLoss) is proposed and applied to the DL architecture ConvMOS, improving climate extremes estimation. These methods show how especially DL techniques can be developed for environmental ML tasks with their special characteristics in mind. This allows for better models than previously possible with conventional ML, leading to more accurate assessment and better understanding of the state of our environment.
N2  - Umweltprobleme sind vor allem seit der Verbrennung fossiler Brennstoffe durch den Menschen entstanden. Dies hat zu Luftverschmutzung und Klimawandel geführt, was die Umwelt schädigt. Die schwerwiegenden Folgen dieser Probleme haben starke Bestrebungen ausgelöst, den Zustand unserer Umwelt zu untersuchen.

Verschiedene Ansätze des maschinellen Lernens (ML) im Umweltbereich unterstützen diese Bestrebungen. Bei diesen Aufgaben handelt es sich um gewöhnliche ML-Aufgaben, z. B. werden die Datensätze aufgeteilt (Training, Validation, Test), Hyperparameter werden auf den Validierungsdaten optimiert, und die Metriken auf den Testdaten messen die Generalisierungsfähigkeit eines Modells, aber sie befassen sich mit Umweltdaten. Diese Arbeit konzentriert sich auf die folgenden Umwelt-ML-Aufgaben: In Bezug auf Luftverschmutzung schätzt Land Use Regression (LUR) die Luftschadstoffkonzentration an Orten, an denen keine Messungen verfügbar sind auf Basis von gemessenen Orten und der Landnutzung (z. B. Industrie, Straßen) der Orte. Für LUR werden in dieser Arbeit Daten aus London (modelliert) und Zürich (gemessen) verwendet. Im Zusammenhang mit dem Klimawandel ist eine häufige ML-Aufgabe Model Output Statistics (MOS), bei der die Ausgaben eines Klimamodells so angepasst werden, dass sie mit Erdbeobachtungen besser übereinstimmen. Dadurch werden genauere Klimadaten erzeugt. Diese Arbeit verwendet das regionale Klimamodell REMO und Erdbeobachtungen aus dem E-OBS-Datensatz für MOS. Eine weitere Aufgabe im Zusammenhang mit dem Klima ist die Interpolation von Korngrößenverteilungen. Hierbei werden Bodeneigenschaften an Orten ohne Messungen auf Basis von wenigen gemessenen Orten geschätzt, um Klimamodelle mit Bodeninformationen zu versorgen, die für die Hydrologie wichtig sind. Für diese Aufgabe werden in dieser Arbeit Bodenmessungen aus Unterfranken herangezogen.

Solche Umwelt-ML-Aufgaben haben oft eine Reihe von Eigenschaften: (i) Georäumlichkeit, d. h. ihre Daten beziehen sich auf Standorte relativ zur Erdoberfläche. (ii) Die zu schätzenden oder vorherzusagenden Umweltvariablen sind normalerweise kontinuierlich. (iii) Daten können unbalanciert sein, was auf relativ seltene Extremereignisse (z. B. extreme Niederschläge) zurückzuführen ist. (iv) Pro Standort können mehrere verwandte potenzielle Zielvariablen verfügbar sein, da Messgeräte oft verschiedene Sensoren enthalten. (v) Zielwerte sind räumlich oft nur spärlich vorhanden, da die Durchführung von Messungen an allen gewünschten Orten in der Regel nicht möglich ist. Diese Eigenschaften stellen eine Herausforderung, aber auch eine Chance bei der Entwicklung von ML-Methoden für derlei Aufgaben dar.

In der Vergangenheit wurden ML-Aufgaben im Umweltbereich mit konventionellen ML-Methoden angegangen, wie z. B. lineare Regression oder Random Forests (RFs). In den letzten Jahren hat der Bereich ML jedoch durch Deep Learning (DL) enorme Fortschritte über diese klassischen Modelle hinaus gemacht. Bei DL verwenden die Modelle mehrere Schichten von Neuronen, die mit zunehmender Schichtungstiefe immer abstraktere Merkmalsdarstellungen erzeugen. DL hat zuvor undurchführbare ML-Aufgaben realisierbar gemacht, die Leistung für viele Aufgaben im Vergleich zu bestehenden ML-Modellen erheblich verbessert und die Notwendigkeit für manuelles Feature-Engineering in einigen Bereichen aufgrund seiner Fähigkeit, Features aus Rohdaten zu lernen, eliminiert. Um diese Vorteile für ML-Aufgaben in der Umwelt nutzbar zu machen, ist es vielversprechend, geeignete DL-Methoden für diesen Bereich zu entwickeln.

In dieser Arbeit werden Methoden zur Bewältigung der besonderen Herausforderungen und zur Nutzung der Möglichkeiten von Umwelt-ML-Aufgaben in Verbindung mit DL vorgestellt. Zu diesem Zweck werden in den vorgeschlagenen Methoden die folgenden Techniken untersucht: (i) Faltungen wie in Convolutional Neural Networks (CNNs), um wiederkehrende räumliche Muster in Geodaten zu nutzen. (ii) Probleme als Regressionsaufgaben stellen, um die kontinuierlichen Variablen zu schätzen. (iii) Dichtebasierte Gewichtung zur Verbesserung der Schätzungen bei seltenen und extremen Ereignissen. (iv) Multi-Task-Lernen, um mehrere verwandte Zielvariablen zu nutzen. (v) Halbüber- wachtes Lernen, um auch mit wenigen bekannten Zielwerten zurechtzukommen. Mithilfe dieser Techniken werden in der Arbeit vier Forschungsfragen untersucht: (i) Kann Luftverschmutzung ohne manuelles Feature Engineering geschätzt werden? Dies wird durch die Einführung des CNN-basierten LUR-Modells MapLUR sowie der automatisierten LUR–Lösung OpenLUR positiv beantwortet. (ii) Können kolokalisierte Verschmutzungsdaten räumliche Luftverschmutzungsmodelle verbessern? Hierfür wird Multi-Task-Learning für LUR entwickelt, das Potenzial für Verbesserungen mit kolokalisierten Daten zeigt. (iii) Können DL-Modelle die Qualität der Ausgaben von Klimamodellen verbessern? Die vorgeschlagene DL-MOS-Architektur ConvMOS demonstriert das. Zusätzlich wird halbüberwachtes Training von Multilayer Perceptrons (MLPs) für die Interpolation von Korngrößenverteilungen vorgestellt, das verbesserte Eingabedaten liefern kann. (iv) Kann man DL-Modellen beibringen, Klimaextreme besser abzuschätzen? Zu diesem Zweck wird eine dichtebasierte Gewichtung für unbalancierte Regression (DenseLoss) vorgeschlagen und auf die DL-Architektur ConvMOS angewendet, um die Schätzung von Klimaextremen zu verbessern. Diese Methoden zeigen, wie speziell DL-Techniken für Umwelt-ML-Aufgaben unter Berücksichtigung ihrer besonderen Eigenschaften entwickelt werden können. Dies ermöglicht bessere Modelle als konventionelles ML bisher erlaubt hat, was zu einer genaueren Bewertung und einem besseren Verständnis des Zustands unserer Umwelt führt.
KW  - Deep learning
KW  - Modellierung
KW  - Umwelt
KW  - Geospatial
KW  - Environmental
KW  - Regression
KW  - Neuronales Netz
KW  - Maschinelles Lernen
KW  - Geoinformationssystem
Y1  - 2023
U6  - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-313121
ER  - 
TY  - THES
A1  - Gold, Lukas
T1  - Methods for the state estimation of lithium-ion batteries
T1  - Methoden zur Zustandserkennung von Lithium-Ionen-Batterien
N2  - This work introduced the reader to all relevant fields to tap into an ultrasound-based state of charge estimation and provides a blueprint for the procedure to achieve and test the fundamentals of such an approach. It spanned from an in-depth electrochemical characterization of the studied battery cells over establishing the measurement technique, digital processing of ultrasonic transmission signals, and characterization of the SoC dependent property changes of those signals to a proof of concept of an ultrasound-based state of charge estimation.
The State of the art & theoretical background chapter focused on the battery section on the mechanical property changes of lithium-ion batteries during operation. The components and the processes involved to manufacture a battery cell were described to establish the fundamentals for later interrogation. A comprehensive summary of methods for state estimation was given and an emphasis was laid on mechanical methods, including a critical review of the most recent research on ultrasound-based state estimation. Afterward, the fundamentals of ultrasonic non-destructive evaluation were introduced, starting with the sound propagation modes in isotropic boundary-free media, followed by the introduction of boundaries and non-isotropic structure to finally approach the class of fluid-saturated porous media, which batteries can be counted to. As the processing of the ultrasonic signals transmitted through lithium-ion battery cells with the aim of feature extraction was one of the main goals of this work, the fundamentals of digital signal processing and methods for the time of flight estimation were reviewed and compared in a separate section.
All available information on the interrogated battery cell and the instrumentation was collected in the Experimental methods & instrumentation chapter, including a detailed step-by-step manual of the process developed in this work to create and attach a sensor stack for ultrasonic interrogation based on low-cost off-the-shelf piezo elements.
The Results & discussion chapter opened with an in-depth electrochemical and post-mortem interrogation to reverse engineer the battery cell design and its internal structure. The combination of inductively coupled plasma-optical emission spectrometry and incremental capacity analysis applied to three-electrode lab cells, constructed from the studied battery cell’s materials, allowed to identify the SoC ranges in which phase transitions and staging occur and thereby directly links changes in the ultrasonic signal properties with the state of the active materials, which makes this work stand out among other studies on ultrasound-based state estimation. Additional dilatometer experiments were able to prove that the measured effect in ultrasonic time of flight cannot originate from the thickness increase of the battery cells alone, as this thickness increase is smaller and in opposite direction to the change in time of flight. Therefore, changes in elastic modulus and density have to be responsible for the observed effect.
The construction of the sensor stack from off-the-shelf piezo elements, its electromagnetic shielding, and attachment to both sides of the battery cells was treated in a subsequent section. Experiments verified the necessity of shielding and its negligible influence on the ultrasonic signals. A hypothesis describing the metal layer in the pouch foil to be the transport medium of an electrical coupling/distortion between sending and receiving sensor was formulated and tested. Impedance spectroscopy was shown to be a useful tool to characterize the resonant behavior of piezo elements and ensure the mechanical coupling of such to the surface of the battery cells. The excitation of the piezo elements by a raised cosine (RCn) waveform with varied center frequency in the range of 50 kHz to 250 kHz was studied in the frequency domain and the influence of the resonant behavior, as identified prior by impedance spectroscopy, on waveform and frequency content was evaluated to be uncritical. Therefore, the forced oscillation produced by this excitation was assumed to be mechanically coupled as ultrasonic waves into the battery cells.
The ultrasonic waves transmitted through the battery cell were recorded by piezo elements on the opposing side. A first inspection of the raw, unprocessed signals identified the transmission of two main wave packages and allowed the identification of two major trends: the time of flight of ultrasonic wave packages decreases with the center frequency of the RCn waveform, and with state of charge. These trends were to be assessed further in the subsequent sections. Therefore, methods for the extraction of features (properties) from the ultrasonic signals were established, compared, and tested in a dedicated section. Several simple and advanced thresholding methods were compared with envelope-based and cross-correlation methods to estimate the time of flight (ToF). It was demonstrated that the envelope-based method yields the most robust estimate for the first and second wave package. This finding is in accordance with the literature stating that an envelope-based method is best suited for dispersive, absorptive media [204], to which lithium-ion batteries are counted. Respective trends were already suggested by the heatmap plots of the raw signals vs. RCn frequency and SoC. To enable such a robust estimate, an FIR filter had to be designed to preprocess the transmitted signals and thereby attenuate frequency components that verifiably lead to a distorted shape of the envelope.
With a robust ToF estimation method selected, the characterization of the signal properties ToF and transmitted energy content (EC) was performed in-depth. A study of cycle-to-cycle variations unveiled that the signal properties are affected by a long rest period and the associated relaxation of the multi-particle system “battery cell” to equilibrium. In detail, during cycling, the signal properties don’t reach the same value at a given SoC in two subsequent cycles if the first of the two cycles follows a long rest period. In accordance with the literature, a break-in period, making up for more than ten cycles post-formation, was observed. During this break-in period, the mechanical properties of the system are said to change until a steady state is reached [25]. Experiments at different C-rate showed that ultrasonic signal properties can sense the non-equilibrium state of a battery cell, characterized by an increasing area between charge and discharge curve of the respective signal property vs. SoC plot. This non-equilibrium state relaxes in the rest period following the discharge after the cut-off voltage is reached. The relaxation in the rest period following the charge is much smaller and shows little C-rate dependency as the state is prepared by constant voltage charging at the end of charge voltage. For a purely statistical SoC estimation approach, as employed in this work, where only instantaneous measurements are taken into account and the historic course of the measurement is not utilized as a source of information, the presence of hysteresis and relaxation leads to a reduced estimation accuracy. Future research should address this issue or even utilize the relaxation to improve the estimation accuracy, by incorporating historic information, e.g., by using the derivative of a signal property as an additional feature. The signal properties were then tested for their correlation with SoC as a function of RCn frequency. This allowed identifying trends in the behavior of the signal properties as a function of RCn frequency and C-rate in a condensed fashion and thereby enabled to predict the frequency range, about 50 kHz to 125 kHz, in which the course of the signal properties is best suited for SoC estimation.
The final section provided a proof of concept of the ultrasound-based SoC estimation, by applying a support vector regression (SVR) to before thoroughly studied ultrasonic signal properties, as well as current and battery cell voltage. The included case study was split into different parts that assessed the ability of an SVR to estimate the SoC in a variety of scenarios. Seven battery cells, prepared with sensor stacks attached to both faces, were used to generate 14 datasets. First, a comparison of self-tests, where a portion of a dataset is used for training and another for testing, and cross-tests, which use the dataset of one cell for training and the dataset of another for testing, was performed. A root mean square error (RMSE) of 3.9% to 4.8% SoC and 3.6% to 10.0% SoC was achieved, respectively. In general, it was observed that the SVR is prone to overestimation at low SoCs and underestimation at high SoCs, which was attributed to the pronounced hysteresis and relaxation of the ultrasonic signal properties in this SoC ranges. The fact that higher accuracy is achieved, if the exact cell is known to the model, indicates that a variation between cells exists. This variation between cells can originate from differences in mechanical properties as a result of production variations or from differences in manual sensor placement, mechanical coupling, or resonant behavior of the ultrasonic sensors. To mitigate the effect of the cell-to-cell variations, a test was performed, where the datasets of six out of the seven cells were combined as training data, and the dataset of the seventh cell was used for testing. This reduced the spread of the RMSE from (3.6 - 10.0)% SoC to (5.9 – 8.5)% SoC, respectively, once again stating that a databased approach for state estimation becomes more reliable with a large data basis. Utilizing self-tests on seven datasets, the effect of additional features on the state estimation result was tested. The involvement of an additional feature did not necessarily improve the estimation accuracy, but it was shown that a combination of ultrasonic and electrical features is superior to the training with these features alone. To test the ability of the model to estimate the SoC in unknown cycling conditions, a test was performed where the C-rate of the test dataset was not included in the training data. The result suggests that for practical applications it might be sufficient to perform training with the boundary of the use cases in a controlled laboratory environment to handle the estimation in a broad spectrum of use cases.
In comparison with literature, this study stands out by utilizing and modifying off-the-shelf piezo elements to equip state-of-the-art lithium-ion battery cells with ultrasonic sensors, employing a range of center frequencies for the waveform, transmitted through the battery cell, instead of a fixed frequency and by allowing the SVR to choose the frequency that yields the best result. The characterization of the ultrasonic signal properties as a function of RCn frequency and SoC and the assignment of characteristic changes in the signal properties to electrochemical processes, such as phase transitions and staging, makes this work unique. By studying a range of use cases, it was demonstrated that an improved SoC estimation accuracy can be achieved with the aid of ultrasonic measurements – thanks to the correlation of the mechanical properties of the battery cells with the SoC.
N2  - Diese Arbeit bot dem Leser eine Einführung in alle Bereiche an, die relevant sind um eine ultraschallbasierte Ladungszustandsbestimmung (Ladezustand – engl.: state of charge, SoC) umzusetzen, und zeigt einen Weg auf, wie ein solcher Ansatz in seinen Grundlagen geprüft und umgesetzt werden kann. Hierzu wurde ein Bogen gespannt von einer eingehenden elektrochemischen Charakterisierung der untersuchten Batteriezellen über die Etablierung der Messtechnik, die digitale Verarbeitung von Ultraschalltransmissionssignalen und die Charakterisierung der Ladezustands-abhängigen Eigenschaftsänderungen dieser Signale bis hin zu einem Proof-of-Concept für eine ultraschallbasierte Ladezustandsbestimmung.
Das Kapitel „State of the art & theoretical background“ konzentrierte sich in einem Abschnitt über Batterien auf die Veränderungen der physikalischen Eigenschaften von Lithium-Ionen-Batterien während des Betriebs und der Alterung. Um die Grundlage für die spätere Untersuchung zu schaffen, wurden die Komponenten und die Prozesse zur Herstellung einer Batteriezelle beschrieben. Anschließend wurde ein umfassender Überblick über die Methoden zur Zustandsschätzung gegeben, wobei der Schwerpunkt auf den mechanischen Methoden lag, einschließlich einer kritischen Zusammenstellung der neuesten Forschungsergebnisse zur ultraschallbasierten Zustandsbestimmung. Danach wurden die Grundlagen der zerstörungsfreien Bewertung mit Ultraschall vorgestellt, beginnend mit den Schallausbreitungsmoden in isotropen, unbegrenzten Medien, gefolgt von der Einführung von Grenzen und nicht-isotropen Strukturen, um sich schließlich der Klasse der flüssigkeitsgesättigten porösen Medien zu nähern, zu denen Batterien gezählt werden können. Da die Verarbeitung der durch die Lithium-Ionen-Batteriezellen übertragenen Ultraschallsignale mit dem Ziel der Merkmalsextraktion eines der Hauptziele dieser Arbeit war, wurden die Grundlagen der digitalen Signalverarbeitung und Methoden zur Laufzeitschätzung in einem eigenen Abschnitt behandelt und verglichen.
Alle verfügbaren Informationen über die abgefragte Batteriezelle und die verwendeten Messgeräte wurden im Kapitel „Experimental methods & instrumentation“ zusammengestellt, einschließlich einer detaillierten Schritt-für-Schritt-Anleitung des in dieser Arbeit entwickelten Verfahrens zur Erstellung und Anbringung einer Sensoranordnung für die Ultraschallprüfung auf der Grundlage kostengünstiger, handelsüblicher Piezoelemente.
Das Kapitel „Results & discussion“ begann mit einer eingehenden elektrochemischen und Post-Mortem-Untersuchung, um das Design der Batteriezelle und ihre interne Struktur zu untersuchen. Durch die Kombination von induktiv gekoppelter Plasma-optischer Emissionsspektrometrie und inkrementeller Kapazitätsanalyse an Drei-Elektroden-Laborzellen, die aus den Materialien der untersuchten Batteriezelle konstruiert wurden, konnten die SoC-Bereiche identifiziert werden, in denen Phasenübergänge auftreten, wodurch Änderungen der Ultraschallsignaleigenschaften direkt mit dem Zustand der Aktivmaterialien verknüpft werden, was diese Arbeit unter anderen Studien zur ultraschallbasierten Zustandsschätzung hervorhebt. Durch zusätzliche Dilatometer-experimente konnte nachgewiesen werden, dass der gemessene Effekt in der Ultraschalllaufzeit nicht allein von der Volumenänderung der Batteriezellen herrühren kann, da diese Volumenänderung kleiner ist und in die Gegenrichtung zur Änderung der Laufzeit verläuft. Entsprechend müssen Änderungen in E-Modul und Dichte der Aktivmaterialien für den beobachteten Effekt verantwortlich sein.
Der Aufbau der Sensoranordnung aus handelsüblichen Piezoelementen, seine elektromagnetische Abschirmung und die Befestigung an beiden Seiten der Batteriezellen wurden in einem späteren Abschnitt behandelt. Experimente bestätigten die Notwendigkeit dieser Abschirmung und ihren vernachlässigbaren Einfluss auf die Ultraschallsignale. Es wurde eine Hypothese formuliert, die die Metallschicht in der Pouch-Folie als Transportmedium einer elektrischen Kopplung/Übersprechens zwischen Sende- und Empfangssensor beschreibt. Die Impedanzspektroskopie erwies sich als nützliches Werkzeug zur Charakterisierung des Resonanzverhaltens der Piezoelemente und zur Sicherstellung der mechanischen Kopplung dieser Elemente mit der Oberfläche der Batteriezellen. Die Anregung der Piezoelemente durch eine Raised-Cosine-Wellenform (RCn) mit variierter Mittenfrequenz im Bereich von 50 kHz bis 250 kHz wurde mittels Fourier-Transformation im Frequenzraum untersucht. Der Einfluss des Resonanzverhaltens, welches zuvor durch die Impedanzspektroskopie ermittelt wurde, auf die Wellenform und den Frequenzinhalt wurde als unkritisch bewertet. Daher wurde angenommen, dass die durch die RCn Anregung erzeugte erzwungene Schwingung mechanisch als Ultraschallwellen in die Batteriezellen eingekoppelt wird.
Die durch die Batteriezelle transmittierten Ultraschallwellen wurden von Piezoelementen auf der gegenüberliegenden Seite aufgezeichnet. Eine erste Prüfung der rohen, unverarbeiteten Signale ergab die Übertragung von zwei Hauptwellenpaketen und ermöglichte die Identifizierung von zwei Haupttrends: Die Laufzeit der Ultraschallwellenpakete nimmt mit der Mittenfrequenz, der RCn-Wellenform und mit dem Ladezustand ab. Diese Trends sollten in den folgenden Abschnitten weiter bewertet werden. Daher wurden in einem eigenen Abschnitt Methoden zur Extraktion von Merkmalen (Eigenschaften) aus den Ultraschallsignalen implementiert, verglichen und getestet. Mehrere einfache und fortgeschrittene Schwellenwertverfahren wurden mit hüllkurvenbasierten und Kreuzkorrelationsverfahren zur Schätzung der Laufzeit (engl.: „time of flight“, ToF) verglichen. Es wurde gezeigt, dass die hüllkurvenbasierte Methode die stabilste Schätzung für das erste und zweite Wellenpaket liefert. Dieses Ergebnis steht im Einklang mit der Literatur, die beschreibt, dass eine hüllkurvenbasierte Methode am besten für dispersive, absorbierende Medien [234], wie z. B. Lithium-Ionen-Batterien, geeignet ist, was bereits durch die Heatmap-Diagramme der Rohsignale aufgetragen gegen RCn-Frequenz und SoC suggeriert wurde. Um eine solche robuste Laufzeit-Schätzung zu ermöglichen, musste ein FIR-Filter implementiert werden, der die übertragenen Signale vorverarbeitet und dabei Frequenzkomponenten abschwächt, die nachweislich zu einer verzerrten Form der Hüllkurve führen.
Nach der Auswahl einer robusten Methode zur ToF-Schätzung die Signaleigenschaften ToF und übertragener Energiegehalt (engl.: energy content, EC) eingehend charakterisiert. Eine Untersuchung der Zyklus-zu-Zyklus-Schwankungen ergab, dass die Signaleigenschaften durch eine lange Ruhephase und die damit verbundene Relaxation des Vielteilchensystems "Batteriezelle" bis zur Erreichung des Gleichgewichtzustands beeinflusst werden. Die Signaleigenschaften erreichten während des Zyklus nicht den gleichen Wert bei einem bestimmten SoC in zwei aufeinanderfolgenden Zyklen, wenn der erste der beiden Zyklen auf eine lange Ruhephase folgte. In Übereinstimmung mit der Literatur wurde eine Einlaufphase (engl.: „break-in period“) beobachtet, die mehr als zehn Zyklen nach der Formierung umfasst. Während dieser Einlaufphase ändern sich die mechanischen Eigenschaften des Systems, bis ein stabiler Zustand erreicht ist [25]. Experimente bei unterschiedlichen C-Raten zeigten, dass die Ultraschallsignaleigenschaften sensitiv für den Nicht-Gleichgewichtszustand einer Batteriezelle sind, der durch eine zunehmende Fläche zwischen der Lade- und Entladekurve der jeweiligen Signaleigenschaft in der Auftragung über SoC gekennzeichnet ist. Dieser Nicht-Gleichgewichtszustand entspannt sich in der Ruhephase nach der Entladung, nachdem die Abschaltspannung erreicht ist. Die Relaxation in der Ruhephase nach dem Laden ist wesentlich geringer und zeigt kaum eine Abhängigkeit von der C-Rate, da der Zustand durch Laden mit konstanter Spannung nach Erreichen der Ladeschlussspannung präpariert wird. Bei einem rein statistischen SoC-Bestimmungsansatz, wie er in dieser Arbeit verwendet wird, bei dem nur instantane Messwerte berücksichtigt werden und die historischen Messwerte nicht als Informationsquelle genutzt wird, führt das Vorhandensein von Hysterese und Relaxation zu einer geringeren Schätzgenauigkeit. Zukünftige Forschungsarbeiten sollten sich mit diesem Problem befassen oder sogar die Relaxation zur Verbesserung der Bestimmungsgenauigkeit nutzen, indem historische Informationen einbezogen werden, z. B. durch Verwendung der Ableitung einer Signaleigenschaft als zusätzliches Merkmal. Die Signaleigenschaften wurden dann auf ihre Korrelation mit SoC als Funktion der RCn-Frequenz getestet. Dies ermöglichte es, Trends innerhalb der Daten in verdichteter Form zu identifizieren und dadurch den Frequenzbereich (etwa 50 kHz bis 125 kHz) vorherzusagen, in dem der Verlauf der Signaleigenschaften am besten für die SoC-Bestimmung geeignet ist.
Im letzten Abschnitt wurde ein Proof-of-Concept für die ultraschallbasierte SoC-Schätzung erbracht, indem eine Support-Vektor-Regression (SVR) auf die zuvor eingehend untersuchten Ultraschallsignaleigenschaften sowie auf Strom und Zellspannung der Batterie angewendet wurde. Die enthaltene Fallstudie war in verschiedene Teile aufgeteilt, die die Fähigkeit einer SVR zur Bestimmung des SoC in einer Vielzahl von Szenarien bewerteten. Sieben Batteriezellen, die mit jeweils zwei Sensoranordnungen auf gegenüberliebenden Seiten präpariert wurden, dienten zur Erzeugung von 14 Datensätzen. Zunächst wurde ein Vergleich zwischen Selbsttests, bei denen ein Teil eines Datensatzes zum Training und ein anderer zum Testen verwendet wird, und Kreuztests, bei denen der Datensatz einer Zelle zum Training und der einer anderen zum Testen verwendet wird, durchgeführt. Dabei wurde ein mittlerer Fehler von 3,9% bis 4,8% SoC bzw. 3,6% bis 10,0% SoC erreicht. Im Allgemeinen wurde festgestellt, dass die SVR bei niedrigen SoCs zu einer Überschätzung und bei hohen SoCs zu einer Unterschätzung neigt, was auf die ausgeprägte Hysterese und Relaxation der Ultraschallsignaleigenschaften in diesen SoC-Bereichen zurückgeführt wurde. Die Tatsache, dass eine höhere Genauigkeit erreicht wird, wenn die genaue Zelle dem Regressionsmodell bekannt ist, deutet darauf hin, dass eine Variation zwischen den Zellen besteht. Diese Variation zwischen den Zellen kann auf Unterschiede in den mechanischen Eigenschaften infolge von Produktionsschwankungen oder auf Unterschiede in der manuellen Sensorplatzierung, der mechanischen Kopplung oder dem Resonanzverhalten der Ultraschallsensoren zurückzuführen sein. Um die Auswirkungen der Schwankungen zwischen den Zellen auf die Schätzgenauigkeit abzuschwächen, wurde ein Test durchgeführt, bei dem die Datensätze von sechs der sieben Zellen als Trainingsdaten kombiniert wurden und der Datensatz der siebten Zelle für den Test verwendet wurde. Dadurch verringerte sich die Streuung des mittleren Fehlers von (3,6 - 10,0)% SoC auf (5,9 - 8,5)% SoC, was einmal mehr zeigt, dass ein datenbasierter Ansatz zur Zustandsbestimmung durch eine großen Datenbasis zuverlässiger wird. Anhand von Selbsttests mit sieben Datensätzen wurde die Auswirkung zusätzlicher Merkmale auf das Ergebnis der Zustandsbestimmung getestet. Die Einbeziehung eines zusätzlichen Merkmals verbesserte nicht unbedingt die Schätzgenauigkeit, aber es wurde gezeigt, dass eine Kombination von Ultraschall- und elektrischen Merkmalen dem Training mit diesen Merkmalen allein überlegen ist. Um die Fähigkeit des Modells zur Bestimmung des Ladezustands unter unbekannten Zyklusbedingungen zu testen, wurde ein Test durchgeführt, bei dem die C-Rate des Testdatensatzes nicht in den Trainingsdaten enthalten war. Das Ergebnis deutet darauf hin, dass es für praktische Anwendungen ausreichend sein könnte, das Training mit Datensätzen unter den Grenzbedingungen der Anwendungsfälle in einer kontrollierten Laborumgebung durchzuführen, um die Schätzung in einem breiten Spektrum von Anwendungsfällen zu bewältigen.
Im Vergleich zur Literatur hebt sich diese Studie dadurch ab, dass handelsübliche Piezoelemente verwendet und modifiziert wurden, um moderne Lithium-Ionen-Batteriezellen mit Ultraschallsensoren auszustatten, wobei eine Reihe von Mittenfrequenzen für die durch die Batteriezelle übertragene Wellenform anstelle einer festen Frequenz verwendet wird und der SVR die Frequenz wählen kann, die das beste Ergebnis liefert. Die Charakterisierung der Ultraschallsignaleigenschaften als Funktion der RCn-Frequenz und des SoC sowie die Zuordnung charakteristischer Veränderungen der Signaleigenschaften zu elektrochemischen Prozessen wie den Phasenübergängen in den Aktivmaterialien machen diese Arbeit einzigartig. Durch die Untersuchung einer Reihe von Anwendungsfällen konnte gezeigt werden, dass mit Hilfe von Ultraschallmessungen eine verbesserte SoC-Abschätzungsgenauigkeit erreicht werden kann - dank der Korrelation der mechanischen Eigenschaften der Batteriezellen mit dem SoC.
KW  - Lithium-Ionen-Akkumulator
KW  - Ultraschallprüfung
KW  - Digitale Signalverarbeitung
KW  - Maschinelles Lernen
KW  - Ultraschall
KW  - State Estimation
KW  - Zustandserkennung
KW  - Lithium-Ionen-Batterie
KW  - Lithium-ion Battery
KW  - Support Vector Regression
Y1  - 2023
U6  - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-306180
ER  -