TY - THES A1 - Höser, Thorsten T1 - Global Dynamics of the Offshore Wind Energy Sector Derived from Earth Observation Data - Deep Learning Based Object Detection Optimised with Synthetic Training Data for Offshore Wind Energy Infrastructure Extraction from Sentinel-1 Imagery T1 - Globale Dynamik des Offshore-Windenergiesektors abgeleitet aus Erdbeobachtungsdaten - Deep Learning-basierte Objekterkennung, optimiert mit synthetischen Trainingsdaten für die Extraktion von Offshore-Windenergieinfrastrukturen aus Sentinel-1 Bildern N2 - The expansion of renewable energies is being driven by the gradual phaseout of fossil fuels in order to reduce greenhouse gas emissions, the steadily increasing demand for energy and, more recently, by geopolitical events. The offshore wind energy sector is on the verge of a massive expansion in Europe, the United Kingdom, China, but also in the USA, South Korea and Vietnam. Accordingly, the largest marine infrastructure projects to date will be carried out in the upcoming decades, with thousands of offshore wind turbines being installed. In order to accompany this process globally and to provide a database for research, development and monitoring, this dissertation presents a deep learning-based approach for object detection that enables the derivation of spatiotemporal developments of offshore wind energy infrastructures from satellite-based radar data of the Sentinel-1 mission. For training the deep learning models for offshore wind energy infrastructure detection, an approach is presented that makes it possible to synthetically generate remote sensing data and the necessary annotation for the supervised deep learning process. In this synthetic data generation process, expert knowledge about image content and sensor acquisition techniques is made machine-readable. Finally, extensive and highly variable training data sets are generated from this knowledge representation, with which deep learning models can learn to detect objects in real-world satellite data. The method for the synthetic generation of training data based on expert knowledge offers great potential for deep learning in Earth observation. Applications of deep learning based methods can be developed and tested faster with this procedure. Furthermore, the synthetically generated and thus controllable training data offer the possibility to interpret the learning process of the optimised deep learning models. The method developed in this dissertation to create synthetic remote sensing training data was finally used to optimise deep learning models for the global detection of offshore wind energy infrastructure. For this purpose, images of the entire global coastline from ESA's Sentinel-1 radar mission were evaluated. The derived data set includes over 9,941 objects, which distinguish offshore wind turbines, transformer stations and offshore wind energy infrastructures under construction from each other. In addition to this spatial detection, a quarterly time series from July 2016 to June 2021 was derived for all objects. This time series reveals the start of construction, the construction phase and the time of completion with subsequent operation for each object. The derived offshore wind energy infrastructure data set provides the basis for an analysis of the development of the offshore wind energy sector from July 2016 to June 2021. For this analysis, further attributes of the detected offshore wind turbines were derived. The most important of these are the height and installed capacity of a turbine. The turbine height was calculated by a radargrammetric analysis of the previously detected Sentinel-1 signal and then used to statistically model the installed capacity. The results show that in June 2021, 8,885 offshore wind turbines with a total capacity of 40.6 GW were installed worldwide. The largest installed capacities are in the EU (15.2 GW), China (14.1 GW) and the United Kingdom (10.7 GW). From July 2016 to June 2021, China has expanded 13 GW of offshore wind energy infrastructure. The EU has installed 8 GW and the UK 5.8 GW of offshore wind energy infrastructure in the same period. This temporal analysis shows that China was the main driver of the expansion of the offshore wind energy sector in the period under investigation. The derived data set for the description of the offshore wind energy sector was made publicly available. It is thus freely accessible to all decision-makers and stakeholders involved in the development of offshore wind energy projects. Especially in the scientific context, it serves as a database that enables a wide range of investigations. Research questions regarding offshore wind turbines themselves as well as the influence of the expansion in the coming decades can be investigated. This supports the imminent and urgently needed expansion of offshore wind energy in order to promote sustainable expansion in addition to the expansion targets that have been set. N2 - Der Ausbau erneuerbarer Energien wird durch den sukzessiven Verzicht auf fossile Energieträger zur Reduktion der Treibhausgasemissionen, dem stetig steigenden Energiebedarf sowie, in jüngster Zeit, von geopolitischen Ereignissen stark vorangetrieben. Der offshore Windenergiesektor steht in Europa, dem Vereinigten Königreich, China, aber auch den USA, Süd-Korea und Vietnam vor einer massiven Expansion. In den nächsten Dekaden werden die bislang größten marinen Infrastrukturprojekte mit tausenden neu installierten offshore Windturbinen realisiert. Um diesen Prozess global zu begleiten und eine Datengrundlage für die Forschung, für Entscheidungsträger und für ein kontinuierliches Monitoring bereit zu stellen, präsentiert diese Dissertation einen Deep Learning basierten Ansatz zur Detektion von offshore Windkraftanalagen aus satellitengestützten Radardaten der Sentinel-1 Mission. Für das überwachte Training der verwendeten Deep Learning Modelle zur Objektdetektion wird ein Ansatz vorgestellt, der es ermöglicht, Fernerkundungsdaten und die notwendigen Label synthetisch zu generieren. Hierbei wird Expertenwissen über die Bildinhalte, wie offshore Windkraftanlagen aber auch ihre natürliche Umgebung, wie Küsten oder andere Infrastruktur, gemeinsam mit Informationen über den Sensor strukturiert und maschinenlesbar gemacht. Aus dieser Wissensrepräsentation werden schließlich umfangreiche und höchst variable Trainingsdaten erzeugt, womit Deep Learning Modelle die Detektion von Objekten in Satellitendaten erlernen können. Das Verfahren zur synthetischen Erzeugung von Trainingsdaten basierend auf Expertenwissen bietet großes Potential für Deep Learning in der Erdbeobachtung. Deep Learning Ansätze können hierdurch schneller entwickelt und getestet werden. Darüber hinaus bieten die synthetisch generierten und somit kontrollierbaren Trainingsdaten die Möglichkeit, den Lernprozess der optimierten Deep Learning Modelle zu interpretieren. Das in dieser Dissertation für Fernerkundungsdaten entwickelte Verfahren zur Erstellung synthetischer Trainingsdaten wurde schließlich zur Optimierung von Deep Learning Modellen für die globale Detektion von offshore Windenergieanlagen eingesetzt. Hierfür wurden Aufnahmen der gesamten globalen Küstenlinie der Sentinel-1 Mission der ESA ausgewertet. Der abgeleitete Datensatz, welcher 9.941 Objekte umfasst, unterscheidet offshore Windturbinen, Trafostationen und im Bau befindliche offshore Windenergieinfrastrukturen voneinander. Zusätzlich zu dieser räumlichen Detektion wurde eine vierteljährliche Zeitreihe von Juli 2016 bis Juni 2021 für alle Objekte generiert. Diese Zeitreihe zeigt den Start des Baubeginns, die Bauphase und den Zeitpunkt der Fertigstellung mit anschließendem Betrieb für jedes Objekt. Der gewonnene Datensatz dient weiterhin als Grundlage für eine Analyse der Entwicklung des offshore Windenergiesektors von Juli 2016 bis Juni 2021. Für diese Analyse wurden weitere Attribute der Turbinen abgeleitet. In einem radargrammetrischen Verfahren wurde die Turbinenhöhe berechnet und anschließend verwendet, um die installierte Leistung statistisch zu modellieren. Die Ergebnisse hierzu zeigen, dass im Juni 2021 weltweit 8.885 offshore Windturbinen mit insgesamt 40,6 GW Leistung installiert waren. Die größten installierten Leistungen stellen dabei die EU (15,2 GW), China (14,1 GW) und das Vereinigte Königreich (10,7 GW). Von Juli 2016 bis Juni 2021 hat China 13 GW installierte Leistung ausgebaut. Die EU hat im selben Zeitraum 8 GW und das Vereinigte Königreich 5,8 GW offshore Windenergieinfrastruktur installiert. Diese zeitliche Analyse verdeutlicht, dass China der maßgebliche Treiber in der Expansion des offshore Windenergiesektors im untersuchten Zeitraum war. Der abgeleitete Datensatz zur Beschreibung des offshore Windenergiesektors wurde öffentlich zugänglich gemacht. Somit steht er allen Entscheidungsträgern und Stakeholdern, die am Ausbau von offshore Windenergieanlagen beteiligt sind, frei zur Verfügung. Vor allem im wissenschaftlichen Kontext dient er als Datenbasis, welche unterschiedlichste Untersuchungen ermöglicht. Hierbei können sowohl Forschungsfragen bezüglich der offshore Windenergieanlagen selbst, als auch der Einfluss des Ausbaus der kommenden Dekaden untersucht werden. Somit wird der bevorstehende und dringend notwendige Ausbau der offshore Windenergie unterstützt, um neben den gesteckten Zielen auch einen nachhaltigen Ausbau zu fördern. KW - deep learning KW - offshore wind energy KW - artificial intelligence KW - earth observation KW - remote sensing Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-292857 ER - TY - THES A1 - Griebel, Matthias T1 - Applied Deep Learning: from Data to Deployment T1 - Deep Learning in der Praxis: von der Datenerhebung bis zum Einsatz N2 - Novel deep learning (DL) architectures, better data availability, and a significant increase in computing power have enabled scientists to solve problems that were considered unassailable for many years. A case in point is the “protein folding problem“, a 50-year-old grand challenge in biology that was recently solved by the DL-system AlphaFold. Other examples comprise the development of large DL-based language models that, for instance, generate newspaper articles that hardly differ from those written by humans. However, developing unbiased, reliable, and accurate DL models for various practical applications remains a major challenge - and many promising DL projects get stuck in the piloting stage, never to be completed. In light of these observations, this thesis investigates the practical challenges encountered throughout the life cycle of DL projects and proposes solutions to develop and deploy rigorous DL models. The first part of the thesis is concerned with prototyping DL solutions in different domains. First, we conceptualize guidelines for applied image recognition and showcase their application in a biomedical research project. Next, we illustrate the bottom-up development of a DL backend for an augmented intelligence system in the manufacturing sector. We then turn to the fashion domain and present an artificial curation system for individual fashion outfit recommendations that leverages DL techniques and unstructured data from social media and fashion blogs. After that, we showcase how DL solutions can assist fashion designers in the creative process. Finally, we present our award-winning DL solution for the segmentation of glomeruli in human kidney tissue images that was developed for the Kaggle data science competition HuBMAP - Hacking the Kidney. The second part continues the development path of the biomedical research project beyond the prototyping stage. Using data from five laboratories, we show that ground truth estimation from multiple human annotators and training of DL model ensembles help to establish objectivity, reliability, and validity in DL-based bioimage analyses. In the third part, we present deepflash2, a DL solution that addresses the typical challenges encountered during training, evaluation, and application of DL models in bioimaging. The tool facilitates the objective and reliable segmentation of ambiguous bioimages through multi-expert annotations and integrated quality assurance. It is embedded in an easy-to-use graphical user interface and offers best-in-class predictive performance for semantic and instance segmentation under economical usage of computational resources. N2 - Die Entwicklung neuer Deep Learning (DL) Architekturen, flankiert durch eine bessere Datenverfügbarkeit und eine enorme Steigerung der Rechenleistung, ermöglicht Wissenschaftler:innen die Lösung von Problemen, die lange Zeit als unlösbar galten. Ein Paradebeispiel hierfür ist das 50 Jahre alte „Proteinfaltungsproblem“ in der Biologie, das vor Kurzem duch das DL-System AlphaFold gelöst wurde. Andere Beispiele sind moderne, DL-basierte Sprachmodelle. Diese können unter anderem Zeitungsartikel verfassen, die nur schwer von Artikeln menschlicher Autoren:innen unterscheidbar sind. Die Entwicklung unvoreingenommener, zuverlässiger und präziser DL-Modelle für die praktische Anwendung bleibt jedoch eine große Herausforderung. Dies wird an zahlreichen vielversprechenden DL-Projekten sichtbar, die nicht über die Pilotphase herauskommen. Vor diesem Hintergrund untersuche ich in dieser Dissertation die Herausforderungen, die während des Lebenszyklus von DL-Projekten auftreten, und schlage Lösungen für die Entwicklung und den Einsatz verlässlicher DL-Modelle vor. Der erste Teil der Arbeit befasst sich mit dem Prototyping von DL-Lösungen für verschiedene Anwendungsgebiete. Zunächst werden Richtlinien für die angewandte Bilderkennung konzipiert und deren Anwendung in einem biomedizinischen Forschungsprojekt gezeigt. Dem folgt die Darstellung einer Bottom-up-Entwicklung eines DL-Backends für ein Augmented-Intelligence-System im Fertigungssektor. Im Anschluss wird der Entwurf eines künstlichen Fashion-Curation-Systems für individuelle Outfit-Empfehlungen vorgestellt, das DL-Techniken und unstrukturierte Daten aus sozialen Medien und Modeblogs nutzt. Es folgt ein Abschnitt darüber, wie DL-Lösungen Modedesigner:innen im kreativen Prozess unterstützen können. Schließlich stelle ich meine prämierte DL-Lösung für die Segmentierung von Glomeruli in menschlichen Nierengewebe-Bildern vor, die für den Kaggle Data Science-Wettbewerb HuBMAP - Hacking the Kidney entwickelt wurde. Im zweiten Teil wird der Entwicklungspfad des biomedizinischen Forschungsprojekts über das Prototyping-Stadium hinaus fortgesetzt. Anhand von Daten aus fünf Laboren wird gezeigt, dass die Schätzung einer Ground-Truth durch die Annotationen mehrerer Experten:innen und das Training von DL-Modell-Ensembles dazu beiträgt, Objektivität, Zuverlässigkeit und Validität in DL-basierten Analysen von Mikroskopie-Bildern zu manifestieren. Im dritten Teil der Dissertation stelle ich die DL-Lösung deepflash2 vor, welche die typischen Herausforderungen beim Training, der Evaluation und der Anwendung von DL-Modellen in der biologischen Bildgebung adressiert. Das Tool erleichtert die objektive und zuverlässige Segmentierung von mehrdeutigen Mikroskopie-Bildern durch die Integration von Annotationen mehrerer Experten:innen und integrierte Qualitätssicherung. KW - artificial intelligence KW - deep learning KW - bioimage analysis Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-277650 ER -