Refine
Has Fulltext
- yes (28)
Is part of the Bibliography
- yes (28)
Year of publication
Document Type
- Doctoral Thesis (25)
- Preprint (2)
- Journal article (1)
Keywords
- Maschinelles Lernen (28) (remove)
Institute
- Betriebswirtschaftliches Institut (7)
- Institut für Informatik (6)
- Graduate School of Life Sciences (4)
- Institut für Pharmazie und Lebensmittelchemie (2)
- Institut für Theoretische Physik und Astrophysik (2)
- Institut für deutsche Philologie (2)
- Fakultät für Chemie und Pharmazie (1)
- Graduate School of Science and Technology (1)
- Institut für Funktionsmaterialien und Biofabrikation (1)
- Institut für Geographie und Geologie (1)
Sonstige beteiligte Institutionen
EU-Project number / Contract (GA) number
A Knowledge-based Hybrid Statistical Classifier for Reconstructing the Chronology of the Quran
(2011)
Computationally categorizing Quran’s chapters has been mainly confined to the determination of chapters’ revelation places. However this broad classification is not sufficient to effectively and thoroughly understand and interpret the Quran. The chronology of revelation would not only improve comprehending the philosophy of Islam, but also the easiness of implementing and memorizing its laws and recommendations. This paper attempts estimating possible chapters’ dates of revelation through their lexical frequency profiles. A hybrid statistical classifier consisting of stemming and clustering algorithms for comparing lexical frequency profiles of chapters, and deriving dates of revelation has been developed. The classifier is trained using some chapters with known dates of revelation. Then it classifies chapters with uncertain dates of revelation by computing their proximity to the training ones. The results reported here indicate that the proposed methodology yields usable results in estimating dates of revelation of the Quran’s chapters based on their lexical contents.
This paper discusses the categorization of Quranic chapters by major phases of Prophet Mohammad’s messengership using machine learning algorithms. First, the chapters were categorized by places of revelation using Support Vector Machine and naïve Bayesian classifiers separately, and their results were compared to each other, as well as to the existing traditional Islamic and western orientalists classifications. The chapters were categorized into Meccan (revealed in Mecca) and Medinan (revealed in Medina). After that, chapters of each category were clustered using a kind of fuzzy-single linkage clustering approach, in order to correspond to the major phases of Prophet Mohammad’s life. The major phases of the Prophet’s life were manually derived from the Quranic text, as well as from the secondary Islamic literature e.g hadiths, exegesis. Previous studies on computing the places of revelation of Quranic chapters relied heavily on features extracted from existing background knowledge of the chapters. For instance, it is known that Meccan chapters contain mostly verses about faith and related problems, while Medinan ones encompass verses dealing with social issues, battles…etc. These features are by themselves insufficient as a basis for assigning the chapters to their respective places of revelation. In fact, there are exceptions, since some chapters do contain both Meccan and Medinan features. In this study, features of each category were automatically created from very few chapters, whose places of revelation have been determined through identification of historical facts and events such as battles, migration to Medina…etc. Chapters having unanimously agreed places of revelation were used as the initial training set, while the remaining chapters formed the testing set. The classification process was made recursive by regularly augmenting the training set with correctly classified chapters, in order to classify the whole testing set. Each chapter was preprocessed by removing unimportant words, stemming, and representation with vector space model. The result of this study shows that, the two classifiers have produced useable results, with an outperformance of the support vector machine classifier. This study indicates that, the proposed methodology yields encouraging results for arranging Quranic chapters by phases of Prophet Mohammad’s messengership.
Techniken des computergestützten Wirkstoffdesigns spielen eine wichtige Rolle bei der Entwicklung neuer Wirkstoffe. Die vorliegende Arbeit befasst sich sowohl mit der Entwicklung als auch mit der praktischen Anwendung von Methoden des strukturbasierten Wirkstoffdesigns. Die Arbeit glieder sich daher in zwei Teile.
Der erste Teil beschäftigt sich mit der Entwicklung von empirischen Scoring-Funktionen, die eine Schlüsselrolle im strukturbasierten computergestützen Wirkstoffdesign einnehmen. Grundlage dieser Arbeiten sind die empirischen Deskriptoren und Scoring-Funktionen aus dem SFCscore-Programmpaket.
Dabei wurde zunächst untersucht, wie sich die Zusammensetzung der Trainingsdaten auf die Vorhersagen von empirischen Scoring-Funktionen auswirkt. Durch die gezielte Zusammenstellung eines neuen Trainingsdatensatzes wurde versucht, die Spannweite der Vorhersagen zu vergrößern, um so vor allem eine bessere Erkennung von hoch- und niedrig-affinen Komplexen zu erreichen. Die resultierende Funktion erzielte vor allem im niedrig-affinen Bereich verbesserte Vorhersagen.
Der zweite Themenkomplex beschäftigt sich ebenfalls mit der verbesserten Separierung von aktiven und inaktiven Verbindungen. Durch den Einsatz der Machine Learning-Methode RandomForest wurden dazu Klassifizierungsmodelle abgeleitet, die im Unterschied zu den klassischen Scoring-Funktionen keinen genauen Score liefern, sondern die Verbindungen nach ihrer potentiellen Aktivität klassifizieren.
Am Beispiel des mykobakteriellen Enzyms InhA konnte gezeigt werden, dass derartige Modelle den klassischen Scoring-Funktionen im Bezug auf die Erkennung von aktiven Verbindungen deutlich überlegen sind.
Der RandomForest-Algorithmus wurde im nächsten Schritt auch verwendet, um eine neue Scoring-Funktion zur Vorhersage von Bindungsaffinitäten abzuleiten. Diese Funktion wurde unter dem Namen SFCscoreRF in das SFCscore-Programmpaket implementiert. Die Funktion unterschiedet sich in einigen wesentlichen Punkten von den ursprünglichen SFCscore-Funktionen.
Zum einen handelt es sich beim RF-Algorithmus um eine nicht-lineare Methode, die im Unterschied zu den klassischen Methoden, die zur Ableitung von Scoring-Funktionen eingesetzt werden, nicht von der Additivität der einzelnen Deskriptoren ausgeht. Der Algorithmus erlaubt außerdem die Verwendung aller verfügbaren SFCscore-Deskriptoren, was eine deutlich umfassendere Repräsentation von Protein-Ligand-Komplexen als Grundlage des Scorings ermöglicht. Für die Ableitung von SFCscoreRF wurden insgesamt 1005 Komplexe im Trainingsdatensatz verwendet. Dieser Datensatz ist somit einer der größten, die bisher für die Ableitung einer empirischen Scoring-Funktion verwendet wurden.
Die Evaluierung gegen zwei Benchmark-Datensätze ergab deutlich bessere Vorhersagen von SFCscoreRF im Vergleich zu den ursprünglichen SFCscore-Funktionen. Auch im internationalen Vergleich mit anderen Scoring-Funktion konnten für beide Datensätze Spitzenwerte erreicht werden.
Weitere ausgiebige Testungen im Rahmen einer Leave-Cluster-Out-Validierung und die Teilnahme am CSAR 2012 Benchmark Exercise ergaben, dass auch SFCscoreRF Performanceschwankungen bei der Anwendung an proteinspezifischen Datensätzen zeigt - ein Phänomen, dass bei Scoring-Funktionen immer beobachtet wird. Die Analyse der CSAR 2012-Datensätze ergab darüber hinaus wichtige Erkenntnisse im Bezug auf Vorhersage von gedockten Posen sowie über die statistische Signifikanz bei der Evaluierung von Scoring-Funktionen.
Die Tatsache, dass empirische Scoring-Funktionen innerhalb eines bestimmten chemischen Raums trainiert wurden, ist ein wichtiger Faktor für die protein-abhängigen Leistungsschwankungen, die in dieser Arbeit beobachtet wurden. Verlässliche Vorhersagen sind nur innerhalb des kalibrierten chemischen Raums möglich. In dieser Arbeit wurden verschiedene Ansätze untersucht, mit denen sich diese ``Applicability Domain'' für die SFCscore-Funktionen definieren lässt. Mit Hilfe von PCA-Analysen ist es gelungen die ``Applicability Domain'' einzelner Funktionen zu visualisieren. Zusätzlich wurden eine Reihe numerischer Deskriptoren getestet, mit den die Vorhersageverlässlichkeit basierend auf der ``Applicability Domain'' abgeschätzt werden könnte. Die RF-Proximity hat sich hier als vielversprechender Ausgangspunkt für weitere Entwicklungen erwiesen.
Der zweite Teil der Arbeit beschäftigt sich mit der Entwicklung neuer Inhibitoren für das Chaperon Hsp70, welches eine vielversprechende Zielstruktur für die Therapie des multiplen Myeloms darstellt.
Grundlage dieser Arbeiten war eine Leitstruktur, die in einer vorhergehenden Arbeit entdeckt wurde und die vermutlich an einer neuartigen Bindestelle in der Interface-Region zwischen den beiden großen Domänen von Hsp70 angreift.
Die Weiterentwicklung und Optimierung dieser Leitstruktur, eines Tetrahydroisochinolinon-Derivats, stand zunächst im Vordergrund. Anhand detaillierter Docking-Analysen wurde der potentielle Bindemodus der Leitstruktur in der Interfaceregion von Hsp70 untersucht. Basierend auf diesen Ergebnissen wurde eine Substanzbibliothek erstellt, die von Kooperationspartnern innerhalb der KFO 216 synthetisiert und biologisch getestet wurde. Die Struktur-Wirkungsbeziehungen, die sich aus diesen experimentellen Daten ableiten lassen, konnten teilweise gut mit den erstellten Docking-Modellen korreliert werden. Andere Effekte konnten anhand der Docking-Posen jedoch nicht erklärt werden. Für die Entwicklung neuer Derivate ist deswegen eine umfassendere experimentelle Charakterisierung und darauf aufbauend eine Verfeinerung der Bindungsmodelle notwendig.
Strukturell handelt es sich bei Hsp70 um ein Zwei-Domänen-System, dass verschiedene allostere Zustände einnehmen kann. Um die Auswirkungen der daraus folgenden Flexibilität auf die Stabilität der Struktur und die Bindung von Inhibitoren zu untersuchen, wurden molekulardynamische Simulationen für das Protein durchgeführt.
Diese zeigen, dass das Protein tatsächlich eine überdurchschnittlich hohe Flexibilität aufweist, die vor allem durch die relative Bewegung der beiden großen Domänen zueinander dominiert wird. Die Proteinkonformation die in der Kristallstruktur hscaz beobachtet wird, bleibt jedoch in ihrer Grundstruktur in allen vier durchgeführten Simulationen erhalten. Es konnten hingegen keine Hinweise dafür gefunden werden, dass die Mutationen, welche die für die strukturbasierten Arbeiten verwendete Kristallstruktur im Vergleich zum Wildtyp aufweist, einen kritischen Einfluss auf die Gesamtstabilität des Systems haben.
Obwohl die Interface-Region zwischen NBD und SBD also in allen Simulationen erhalten bleibt, wird die Konformation in diesem Bereich doch wesentlich durch die Domänenbewegung beeinflusst und variiert. Da dieser Proteinbereich den wahrscheinlichsten Angriffspunkt der Tetrahydroisochinolinone darstellt, wurde der Konformationsraum detailliert untersucht. Wie erwartet weist die Region eine nicht unerhebliche Flexibilität auf, welche zudem, im Sinne eines ``Induced-Fit''-Mechanismus, durch die Gegenwart eines Liganden (Apoptozol) stark beeinflusst wird. Es ist daher als sehr wahrscheinlich anzusehen, dass die Dynamik der Interface-Region auch einen wesentlichen Einfluss auf die Bindung der Tetrahydroisochinolinone hat. Molekuardynamische Berechnungen werden deswegen auch in zukünftige Arbeiten auf diesem Gebiet eine wichtige Rolle spielen.
Die Analysen zeigen zudem, dass die Konformation der Interface-Region eng mit der Konformation des gesamten Proteins - vor allem im Bezug auf die relative Stellung von SBD und NBD zueinander - verknüpft ist. Das untermauert die Hypothese, dass die Interface-Bindetasche einen Angriffspunkt für die Inhibtion des Proteins darstellt.
Dockingbasierte Ansätze zählen zu den wichtigsten Komponenten im virtuellen Screening. Sie dienen der Vorhersage der Ligandposition und -konformation in der Bindetasche sowie der Abschätzung der Bindungsaffinität zum Protein. Bis heute stellt die korrekte Identifizierung proteingebundener Ligandkonformationen ein noch nicht vollständig gelöstes Problem für Scoringfunktionen dar. Der erste Teil der vorliegenden Arbeit ist daher der Entwicklung computergestützter Methoden zur Bewertung von Docking-Lösungen gewidmet.
Der Fokus eines ersten Teilprojektes lag auf der Berücksichtigung der Absättigung vergrabener Wasserstoffbrückenakzeptoren (HBA) und -donoren (HBD) bei der Bewertung von Docking-Lösungen. Nicht-abgesättigte vergrabene HBA und HBD stellen einen der Bindungsaffinität abträglichen Beitrag dar, der bis dato aufgrund fehlender Struktur- bzw. Affinitätsdaten in Scoringfunktionen vernachlässigt wird. Im Rahmen der vorliegenden Arbeit wurde auf der Basis einer detaillierten Untersuchung zur Häufigkeit vergrabener nicht-abgesättigter HBA und HBD in hochaufgelösten Protein-Ligand-Komplexen des Hartshorn-Datensatzes eine empirische Filterfunktion („vnaHB“-Filterfunktion) entwickelt, die unerwünschte Ligandbindeposen erkennt und von der Bewertung mittels Scoringfunktionen ausschließt. Der praktische Nutzen der empirischen Filterfunktion wurde für die Scoringfunktionen SFCscore und DSX anhand vorgenerierter Docking-Lösungen des Cheng-Datensatzes untersucht. Die Häufigkeitsuntersuchung zeigt, dass eine Absättigung vergrabener polarer Gruppen in Protein-Ligand-Komplexen für eine hochaffine Protein-Ligand-Bindung notwendig ist, da vergrabene nicht-abgesättigte HBA und HBD nur selten auftreten. Eine vollständige Absättigung durch entsprechende Proteinpartner wird für ca. 48 % der untersuchten Komplexe beobachtet, ca. 92 % weisen weniger als drei hauptsächlich schwache, nicht-abgesättigte HBA bzw. HBD (z. B. Etherfunktionen) auf. Unter Einbeziehung von Wassermolekülen in die Häufigkeitsanalyse sind sogar für ca. 61 % aller Komplexe alle wasserstoffbrückenbindenden Gruppen abgesättigt. Im Gegensatz zu DSX werden für SFCscore nach Anwendung der empirischen Filterfunktion erhöhte Erfolgsraten für das Auffinden einer kristallnahen Pose (≤ 2.0 Å Abweichung) unter den am besten bewerteten Docking-Posen erzielt. Für die beste SFCscore-Funktion (SFCscore::229m) werden Steigerungen dieses als „Docking Power“ bezeichneten Kriteriums für die Top-3-Posen (Erfolgsrate für die Identifizierung einer kristallnahen 2.0 Å Pose unter den besten drei Docking-Lösungen) von 63.1 % auf 64.2 % beobachtet.
In einem weiteren Teilprojekt wurden repulsive Protein-Ligand-Kontakte infolge sterischer Überlappungen der Bindungspartner bei der Bewertung von Docking-Lösungen berücksichtigt. Die adäquate Einbeziehung solcher repulsiver Kontakte im Scoring ist für die Identifizierung proteingebundener Ligandkonformationen entscheidend, jedoch aufgrund fehlender Affinitäts- bzw. Strukturdaten problematisch. Im Rahmen der vorliegenden Arbeit wurde auf der Basis des Lennard-Jones-Potentiales des AMBER-Kraftfeldes zunächst ein neuer Deskriptor zur Beschreibung repulsiver Kontakte („Clash“-Deskriptor) entwickelt und zur Untersuchung der Häufigkeit ungünstiger Protein-Ligand-Kontakte in hochaufgelösten Protein-Ligand-Komplexen des Hartshorn-Datensatzes herangezogen. Eine aus der Häufigkeitsverteilung abgeleitete empirische Filterfunktion („Clash“-Filterfunktion) wurde anschließend der Bewertung von Docking-Lösungen des Cheng-Datensatzes mittels der Scoringfunktionen SFCscore und DSX vorgeschaltet, um unerwünschte Ligandbindeposen auszuschließen. Die Häufigkeitsuntersuchung zeigt, dass vorwiegend schwache repulsive Kontakte in Protein-Ligand-Komplexen auftreten. So werden in 75 % der Komplexe des Hartshorn-Datensatzes abstoßende Potentiale unter 0.462 kcal/mol beobachtet. Zwar betragen die ungünstigen Beiträge pro Komplex für 50 % aller Strukturen ca. 0.8 kcal/mol bis 2.5 kcal/mol, jedoch können diese auf Ungenauigkeiten der Kristallstrukturen zurückzuführen sein bzw. durch günstige Protein-Ligand-Wechselwirkungen kompensiert werden. Die Anwendung der „Clash“-Filterfunktion zeigt signifikante Verbesserungen der Docking Power für SFCscore. Für die beste SFCscore-Funktion (SFCscore::frag) werden Steigerungen der Erfolgsraten für das Auffinden einer kristallnahen Pose unter den drei am besten bewerteten Docking-Lösungen von 61.4 % auf 86.9 % erzielt, was an die Docking Power der bis dato besten Scoringfunktionen aus der Literatur (z. B. DSX, GlideScore::SP) heranreicht (Docking Power (DSX): 92.6 %; Docking Power (GlideScore::SP): 86.9 %). Die „Clash“-Filterfunktion allein ist auch der Kombination der „Clash“- und der „vnaHB“-Filterfunktion überlegen.
Ein weiterer Schwerpunkt der vorliegenden Arbeit wurde auf die Einbeziehung von Decoy-Daten (Struktur- und Affinitätsdaten schwach affiner und inaktiver Liganden) im Zuge der Entwicklung computergestützter Methoden zur Bewertung von Docking-Lösungen gelegt. Dadurch soll eine adäquate Berücksichtigung ungünstiger Beiträge zur Bindungsaffinität ermöglicht werden, die für die Richtigkeit und Zuverlässigkeit ermittelter Vorhersagen essentiell ist. In der vorliegenden Arbeit wurden binäre Klassifizierungsmodelle zur Bewertung von Docking-Lösungen entwickelt, die die Einbeziehung von Decoy-Daten ohne die Verfügbarkeit von Affinitätsdaten erlauben. Der Random-Forest-Algorithmus (RF), SFCscore-Deskriptoren, der neu entwickelte „Clash“-Deskriptor, und die Decoy-Datensätze von Cheng und Huang (Trainingsdaten) bilden die Grundlage des leistungsfähigsten Klassifizierungsmodells. Der praktische Nutzen des „besten“ RF-Modells wurde nach Kombination mit der Scoringfunktion DSX anhand der Docking Power für das Auffinden einer kristallnahen Pose auf Rang 1 am unabhängigen Cheng-/Huang- (Komplexe, die nicht in den Trainingsdaten enthalten sind) und CSAR-2012-Testdatensatz untersucht. Gegenüber einer alleinigen Anwendung von DSX werden an beiden Testdatensätzen weitere Verbesserungen der Docking Power erzielt (Cheng-/Huang-Testdatensatz: DSX 84.24 %, RF 87.27 %; CSAR-2012-Testdatensatz: DSX 87.93 %, RF 91.38 %). Das „beste“ Modell zeichnet sich durch die zuverlässige Vorhersage richtig-positiver Docking-Lösungen für einige wenige Komplexe aus, für die DSX keine kristallnahe Ligandkonformation identifizieren kann. Ein visueller Vergleich der jeweils am besten bewerteten RF- und DSX-Pose für diese Komplexe zeigt Vorteile des RF-Modells hinsichtlich der Erkennung für die Protein-Ligand-Bindung essentieller Wechselwirkungen. Die Untersuchung der Bedeutung einzelner SFCscore-Deskriptoren für die Klassifizierung von Docking-Lösungen sowie die Analyse der Misserfolge nach Anwendung des Modells geben wertvolle Hinweise zur weiteren Optimierung der bestehenden Methode. Hinsichtlich der zu bewertenden Eigenschaften ausgeglichenere Trainingsdaten, Weiterentwicklungen bestehender SFCscore-Deskriptoren sowie die Implementierung neuer Deskriptoren zur Beschreibung bis dato nicht-berücksichtigter Beiträge zur Bindungsaffinität stellen Ansatzpunkte zur Verbesserung dar.
Der zweite Teil der vorliegenden Arbeit umfasst die Anwendung dockingbasierter Methoden im Rahmen der Entwicklung neuer Inhibitoren des „Macrophage Infectivity Potentiator“-(MIP)-Proteins von Legionella pneumophila und Burkholderia pseudomallei.
Das MIP-Protein von Legionella pneumophila stellt einen wichtigen Virulenzfaktor und daher ein attraktives Zielprotein für die Therapie der Legionellose dar. Im Rahmen der vorliegenden Arbeit erfolgten systematische Optimierungen des Pipecolinsäure-Sulfonamides 1, des bis dato besten niedermolekularen MIP-Inhibitors (IC50 (1): 9 ± 0.7 µM). Nach Hot-Spot-Analysen der Bindetasche wurden Docking-Studien zur Auswahl aussichtsreicher Kandidaten für die Synthese und Testung auf MIP-Inhibition durchgeführt. Die Ergebnisse der Hot-Spot-Analysen zeigen günstige Wechselwirkungsbereiche für Donorgruppen und hydrophobe Substituenten in meta-Position sowie Akzeptorgruppen in para-Position des Benzylringes von 1 auf. Die Einführung einer Nitrofunktion in para-Position des Benzylringes von 1 (2h) resultiert in einer erhöhten MIP-Inhibition (IC50 (2h): 5 ± 1.5 µM), was wahrscheinlich auf die Ausbildung einer zusätzlichen Wasserstoffbrücke zu Gly116 zurückzuführen ist. Selektivitätsverbesserungen gegenüber dem strukturverwandten humanen FKBP12-Protein werden insbesondere für das para-Aminoderivat von 1 (2n) erzielt (Selektivitätsindex (1): 45, Selektivitätsindex (2n): 4.2; mit Selektivitätsindex = IC50 (MIP)/IC50 (FKBP12)). Der Ersatz des hydrophoben Trimethoxyphenylrestes von 1 durch einen Pyridinring (2s) führt zu einer verbesserten Löslichkeit bei vergleichbarer MIP-Inhibition.
Das MIP-Protein von Burkholderia pseudomallei spielt eine wichtige Rolle in der Pathogenese der Melioidose und stellt daher ein attraktives Zielprotein für die Entwicklung neuer Arzneistoffe dar. In der vorliegenden Arbeit erfolgten Optimierungen des bis dato besten niedermolekularen MIP-Inhibitors 1. Ausgehend von einem Strukturvergleich von Burkholderia pseudomallei MIP mit Legionella pneumophila MIP und einer Hot-Spot-Analyse der Burkholderia pseudomallei MIP-Bindetasche wurden Docking-Studien zur Auswahl aussichtsreicher Kandidaten für die Synthese und Testung auf MIP-Inhibition durchgeführt. Der Strukturvergleich zeigt eine hohe Homologie beider Bindetaschen. Größere konformelle Änderungen werden lediglich für den von Ala94, Gly95, Val97 und Ile98 geformten Bindetaschenbereich beobachtet, was unterschiedliche Optimierungsstrategien für 1 erforderlich macht. Günstige Wechselwirkungsbereiche der Burkholderia pseudomallei MIP-Bindetasche finden sich einerseits für Donorgruppen oder hydrophobe Substituenten in para-Position des Benzylringes (Region A) von 1, andererseits für Akzeptor- bzw. Donorgruppen in para- bzw. meta-/para-Position des Trimethoxyphenylringes (Region B). Anhand von Docking-Studien konnten sowohl für Variationen in Region A als auch in Region B aussichtsreiche Kandidaten identifiziert werden. Initiale MIP-Inhibitionsmessungen der bis dato synthetisierten Derivate deuten auf erhöhte Hemmungen im Vergleich zu 1 hin. Der Ersatz des hydrophoben Trimethoxyphenylrestes von 1 durch einen Pyridinring führt auch hier zu vergleichbarer MIP-Inhibition bei verbesserter Löslichkeit. Derzeit sind weitere Synthesen und Testungen aussichtsreicher Liganden durch die Kooperationspartner geplant. Die Ergebnisse der Inhibitionsmessungen sollen deren Nutzen als MIP-Inhibitoren aufzeigen und wertvolle Informationen für weitere Zyklen des strukturbasierten Wirkstoffdesigns liefern.
In the course of the growth of the Internet and due to increasing availability of data, over the last two decades, the field of network science has established itself as an own area of research. With quantitative scientists from computer science, mathematics, and physics working on datasets from biology, economics, sociology, political sciences, and many others, network science serves as a paradigm for interdisciplinary research.
One of the major goals in network science is to unravel the relationship between topological graph structure and a network’s function. As evidence suggests, systems from the same fields, i.e. with similar function, tend to exhibit similar structure. However, it is still vague whether a similar graph structure automatically implies likewise function. This dissertation aims at helping to bridge this gap, while particularly focusing on the role of triadic structures.
After a general introduction to the main concepts of network science, existing work devoted to the relevance of triadic substructures is reviewed. A major challenge in modeling triadic structure is the fact that not all three-node subgraphs can be specified independently
of each other, as pairs of nodes may participate in multiple of those triadic subgraphs.
In order to overcome this obstacle, we suggest a novel class of generative network models based on so called Steiner triple systems. The latter are partitions of a graph’s vertices into pair-disjoint triples (Steiner triples). Thus, the configurations on Steiner triples can be specified independently of each other without overdetermining the network’s link
structure.
Subsequently, we investigate the most basic realization of this new class of models. We call it the triadic random graph model (TRGM). The TRGM is parametrized by a probability distribution over all possible triadic subgraph patterns. In order to generate a network instantiation of the model, for all Steiner triples in the system, a pattern is drawn from the distribution and adjusted randomly on the Steiner triple. We calculate the degree distribution of the TRGM analytically and find it to be similar to a Poissonian distribution. Furthermore, it is shown that TRGMs possess non-trivial triadic structure. We discover inevitable correlations in the abundance of certain triadic subgraph
patterns which should be taken into account when attributing functional relevance to particular motifs – patterns which occur significantly more frequently than expected at random. Beyond, the strong impact of the probability distributions on the Steiner triples on the occurrence of triadic subgraphs over the whole network is demonstrated. This interdependence allows us to design ensembles of networks with predefined triadic substructure. Hence, TRGMs help to overcome the lack of generative models needed for assessing the relevance of triadic structure.
We further investigate whether motifs occur homogeneously or heterogeneously distributed over a graph. Therefore, we study triadic subgraph structures in each node’s neighborhood individually. In order to quantitatively measure structure from an individual node’s perspective, we introduce an algorithm for node-specific pattern mining for both directed unsigned, and undirected signed networks. Analyzing real-world datasets, we find that there are networks in which motifs are distributed highly heterogeneously, bound to the proximity of only very few nodes. Moreover, we observe indication for the potential sensitivity of biological systems to a targeted removal of these critical vertices. In addition, we study whole graphs with respect to the homogeneity and homophily of their node-specific triadic structure. The former describes the similarity of subgraph distributions in the neighborhoods of individual vertices. The latter quantifies whether connected vertices
are structurally more similar than non-connected ones. We discover these features to be characteristic for the networks’ origins. Moreover, clustering the vertices of graphs regarding their triadic structure, we investigate structural groups in the neural network of C. elegans, the international airport-connection network, and the global network of diplomatic sentiments between countries. For the latter we find evidence for the instability of triangles considered socially unbalanced according to sociological theories.
Finally, we utilize our TRGM to explore ensembles of networks with similar triadic substructure in terms of the evolution of dynamical processes acting on their nodes. Focusing on oscillators, coupled along the graphs’ edges, we observe that certain triad motifs impose a clear signature on the systems’ dynamics, even when embedded in a larger
network structure.
Context-specific Consistencies in Information Extraction: Rule-based and Probabilistic Approaches
(2015)
Large amounts of communication, documentation as well as knowledge and information are stored in textual documents. Most often, these texts like webpages, books, tweets or reports are only available in an unstructured representation since they are created and interpreted by humans. In order to take advantage of this huge amount of concealed information and to include it in analytic processes, it needs to be transformed into a structured representation. Information extraction considers exactly this task. It tries to identify well-defined entities and relations in unstructured data and especially in textual documents.
Interesting entities are often consistently structured within a certain context, especially in semi-structured texts. However, their actual composition varies and is possibly inconsistent among different contexts. Information extraction models stay behind their potential and return inferior results if they do not consider these consistencies during processing. This work presents a selection of practical and novel approaches for exploiting these context-specific consistencies in information extraction tasks. The approaches direct their attention not only to one technique, but are based on handcrafted rules as well as probabilistic models.
A new rule-based system called UIMA Ruta has been developed in order to provide optimal conditions for rule engineers. This system consists of a compact rule language with a high expressiveness and strong development support. Both elements facilitate rapid development of information extraction applications and improve the general engineering experience, which reduces the necessary efforts and costs when specifying rules.
The advantages and applicability of UIMA Ruta for exploiting context-specific consistencies are illustrated in three case studies. They utilize different engineering approaches for including the consistencies in the information extraction task. Either the recall is increased by finding additional entities with similar composition, or the precision is improved by filtering inconsistent entities. Furthermore, another case study highlights how transformation-based approaches are able to correct preliminary entities using the knowledge about the occurring consistencies.
The approaches of this work based on machine learning rely on Conditional Random Fields, popular probabilistic graphical models for sequence labeling. They take advantage of a consistency model, which is automatically induced during processing the document. The approach based on stacked graphical models utilizes the learnt descriptions as feature functions that have a static meaning for the model, but change their actual function for each document. The other two models extend the graph structure with additional factors dependent on the learnt model of consistency. They include feature functions for consistent and inconsistent entities as well as for additional positions that fulfill the consistencies.
The presented approaches are evaluated in three real-world domains: segmentation of scientific references, template extraction in curricula vitae, and identification and categorization of sections in clinical discharge letters. They are able to achieve remarkable results and provide an error reduction of up to 30% compared to usually applied techniques.
This dissertation contributes to the empirical analysis of economic development. The continuing poverty in many Sub-Saharan-African countries as well as the declining trend in growth in the advanced economies that was initiated around the turn of the millennium raises a number of new questions which have received little attention in recent empirical studies. Is culture a decisive factor for economic development? Do larger financial markets trigger positive stimuli with regard to incomes, or is the recent increase in their size in advanced economies detrimental to economic growth? What causes secular stagnation, i.e. the reduction in growth rates of the advanced economies observable over the past 20 years? What is the role of inequality in the growth process, and how do governmental attempts to equalize the income distribution affect economic development? And finally: Is the process of democratization accompanied by an increase in living standards? These are the central questions of this doctoral thesis.
To facilitate the empirical analysis of the determinants of economic growth, this dissertation introduces a new method to compute classifications in the field of social sciences. The approach is based on mathematical algorithms of machine learning and pattern recognition. Whereas the construction of indices typically relies on arbitrary assumptions regarding the aggregation strategy of the underlying attributes, utilization of Support Vector Machines transfers the question of how to aggregate the individual components into a non-linear optimization problem.
Following a brief overview of the theoretical models of economic growth provided in the first chapter, the second chapter illustrates the importance of culture in explaining the differences in incomes across the globe. In particular, if inhabitants have a lower average degree of risk-aversion, the implementation of new technology proceeds much faster compared with countries with a lower tendency towards risk. However, this effect depends on the legal and political framework of the countries, their average level of education, and their stage of development.
The initial wealth of individuals is often not sufficient to cover the cost of investments in both education and new technologies. By providing loans, a developed financial sector may help to overcome this shortage. However, the investigations in the third chapter show that this mechanism is dependent on the development levels of the economies. In poor countries, growth of the financial sector leads to better education and higher investment levels. This effect diminishes along the development process, as intermediary activity is increasingly replaced by speculative transactions. Particularly in times of low technological innovation, an increasing financial sector has a negative impact on economic development. In fact, the world economy is currently in a phase of this kind. Since the turn of the millennium, growth rates in the advanced economies have experienced a multi-national decline, leading to an intense debate about "secular stagnation" initiated at the beginning of 2015. The fourth chapter deals with this phenomenon and shows that the growth potentials of new technologies have been gradually declining since the beginning of the 2000s.
If incomes are unequally distributed, some individuals can invest less in education and technological innovations, which is why the fifth chapter identifies an overall negative effect of inequality on growth. This influence, however, depends on the development level of countries. While the negative effect is strongly pronounced in poor economies with a low degree of equality of opportunity, this influence disappears during the development process. Accordingly, redistributive polices of governments exert a growth-promoting effect in developing countries, while in advanced economies, the fostering of equal opportunities is much more decisive.
The sixth chapter analyzes the growth effect of the political environment and shows that the ambiguity of earlier studies is mainly due to unsophisticated measurement of the degree of democratization. To solve this problem, the chapter introduces a new method based on mathematical algorithms of machine learning and pattern recognition. While the approach can be used for various classification problems in the field of social sciences, in this dissertation it is applied for the problem of democracy measurement. Based on different country examples, the chapter shows that the resulting SVMDI is superior to other indices in modeling the level of democracy. The subsequent empirical analysis emphasizes a significantly positive growth effect of democracy measured via SVMDI.
Active galactic nuclei (AGN) are among the brightest and most frequent sources on the extragalactic X-ray and gamma-ray sky. Their central supermassive blackhole generates an enormous luminostiy through accretion of the surrounding gas. A few AGN harbor highly collimated, powerful jets in which are observed across the entire electromagnetic spectrum. If their jet axis is seen in a small angle to our line-of-sight (these objects are then called blazars) jet emission can outshine any other emission component from the system. Synchrotron emission from electrons and positrons clearly prove the existence of a relativistic leptonic component in the jet plasma. But until today, it is still an open question whether heavier particles, especially protons, are accelerated as well. If this is the case, AGN would be prime candidates for extragalactic PeV neutrino sources that are observed on Earth. Characteristic signatures for protons can be hidden in the variable high-energy emission of these objects. In this thesis I investigated the broadband emission, particularly the high-energy X-ray and gamma-ray emission of jetted AGN to address open questions regarding the particle acceleration and particle content of AGN jets, or the evolutionary state of the AGN itself. For this purpose I analyzed various multiwavelength observations from optical to gamma-rays over a period of time using a combination of state-of-the-art spectroscopy and timing analysis. By nature, AGN are highly variable. Time-resolved spectral analysis provided a new dynamic view of these sources which helped to determine distinct emission processes that are difficult to disentangle from spectral or timing methods alone.
Firstly, this thesis tackles the problem of source classification in order to facilitate the search for interesting sources in large data archives and characterize new transient sources. I use spectral and timing analysis methods and supervised machine learning algorithms to design an automated source classification pipeline. The test and training sample were based on the third XMM-Newton point source catalog (3XMM-DR6). The set of input features for the machine learning algorithm was derived from an automated spectral modeling of all sources in the 3XMM-DR6, summing up to 137200 individual detections. The spectral features were complemented by results of a basic timing analysis as well as multiwavelength information provided by catalog cross-matches. The training of the algorithm and application to a test sample showed that the definition of the training sample was crucial: Despite oversampling minority source types with synthetic data to balance out the training sample, the algorithm preferably predicted majority source types for unclassified objects. In general, the training process showed that the combination of spectral, timing and multiwavelength features performed best with the lowest misclassification rate of \\sim2.4\\%.
The methods of time-resolved spectroscopy was then used in two studies to investigate the properties of two individual AGN, Mrk 421 and PKS 2004-447, in detail. Both objects belong to the class of gamma-ray emitting AGN. A very elusive sub-class are gamma-ray emitting Narrow Line Seyfert 1 (gNLS1) galaxies. These sources have been discovered as gamma-ray sources only recently in 2010 and a connection to young radio galaxies especially compact steep spectrum (CSS) radio sources has been proposed. The only gNLS1 on the Southern Hemisphere so far is PKS2004-447 which lies at the lower end of the luminosity distribution of gNLS1. The source is part of the TANAMI VLBI program and is regularly monitored at radio frequencies. In this thesis, I presented and analyzed data from a dedicated multiwavelength campaign of PKS 2004-447 which I and my collaborators performed during 2012 and which was complemented by individual observations between 2013 and 2016. I focussed on the detailed analysis of the X-ray emission and a first analysis of its broadband spectrum from radio to gamma-rays. Thanks to the dynamic SED I could show that earlier studies misinterpreted the optical spectrum of the source which had led to an underestimation of the high-energy emission and had ignited a discussion on the source class. I show that the overall spectral properties are consistent with dominating jet emission comprised of synchrotron radiation and inverse Compton scattering from accelerated leptons. The broadband emission is very similar to typical examples of a certain type of blazars (flat-spectrum radio quasars) and does not present any unusual properties in comparison. Interestingly, the VLBI data showed a compact jet structure and a steep radio spectrum consistent with a compact steep spectrum source. This classified PKS 2004-447 as a young radio galaxy, in which the jet is still developing.
The investigation of Mrk 421 introduced the blazar monitoring program which I and collaborator have started in 2014. By observing a blazar simultaneously from optical, X-ray and gamma-ray bands during a VHE outbursts, the program aims at providing extraordinary data sets to allow for the generation of a series of dynamical SEDs of high spectral and temporal resolution. The program makes use of the dense VHE monitoring by the FACT telescope. So far, there are three sources in our sample that we have been monitoring since 2014. I presented the data and the first analysis of one of the brightest and most variable blazar, Mrk 421, which had a moderate outbreak in 2015 and triggered our program for the first time. With spectral timing analysis, I confirmed a tight correlation between the X-ray and TeV energy bands, which indicated that these jet emission components are causally connected. I discovered that the variations of the optical band were both correlated and anti-correlated with the high-energy emission, which suggested an independent emission component. Furthermore, the dynamic SEDs showed two different flaring behaviors, which differed in the presence or lack of a peak shift of the low-energy emission hump. These results further supported the hypothesis that more than one emission region contributed to the broadband emission of Mrk 421 during the observations.
Overall,the studies presented in this thesis demonstrated that time-resolved spectroscopy is a powerful tool to classify both source types and emission processes of astronomical objects, especially relativistic jets in AGN, and thus provide a deeper understanding and new insights of their physics and properties.
Advanced Analytics in Operations Management and Information Systems: Methods and Applications
(2019)
The digital transformation of business and society presents enormous potentials for companies across all sectors. Fueled by massive advances in data generation, computing power, and connectivity, modern organizations have access to gigantic amounts of data. Companies seek to establish data-driven decision cultures to leverage competitive advantages in terms of efficiency and effectiveness. While most companies focus on descriptive tools such as reporting, dashboards, and advanced visualization, only a small fraction already leverages advanced analytics (i.e., predictive and prescriptive analytics) to foster data-driven decision-making today. Therefore, this thesis set out to investigate potential opportunities to leverage prescriptive analytics in four different independent parts.
As predictive models are an essential prerequisite for prescriptive analytics, the first two parts of this work focus on predictive analytics. Building on state-of-the-art machine learning techniques, we showcase the development of a predictive model in the context of capacity planning and staffing at an IT consulting company. Subsequently, we focus on predictive analytics applications in the manufacturing sector. More specifically, we present a data science toolbox providing guidelines and best practices for modeling, feature engineering, and model interpretation to manufacturing decision-makers. We showcase the application of this toolbox on a large data-set from a German manufacturing company.
Merely using the improved forecasts provided by powerful predictive models enables decision-makers to generate additional business value in some situations. However, many complex tasks require elaborate operational planning procedures. Here, transforming additional information into valuable actions requires new planning algorithms. Therefore, the latter two parts of this thesis focus on prescriptive analytics. To this end, we analyze how prescriptive analytics can be utilized to determine policies for an optimal searcher path problem based on predictive models. While rapid advances in artificial intelligence research boost the predictive power of machine learning models, a model uncertainty remains in most settings. The last part of this work proposes a prescriptive approach that accounts for the fact that predictions are imperfect and that the arising uncertainty needs to be considered. More specifically, it presents a data-driven approach to sales-force scheduling. Based on a large data set, a model to predictive the benefit of additional sales effort is trained. Subsequently, the predictions, as well as the prediction quality, are embedded into the underlying team orienteering problem to determine optimized schedules.
It is the aim of this thesis to present a visual body weight estimation, which is suitable for medical applications. A typical scenario where the estimation of the body weight is essential, is the emergency treatment of stroke patients: In case of an ischemic stroke, the patient has to receive a body weight adapted drug, to solve a blood clot in a vessel. The accuracy of the estimated weight influences the outcome of the therapy directly. However, the treatment has to start as early as possible after the arrival at a trauma room, to provide sufficient treatment. Weighing a patient takes time, and the patient has to be moved. Furthermore, patients are often not able to communicate a value for their body weight due to their stroke symptoms. Therefore, it is state of the art that physicians guess the body weight. A patient receiving a too low dose has an increased risk that the blood clot does not dissolve and brain tissue is permanently damaged. Today, about one-third gets an insufficient dosage. In contrast to that, an overdose can cause bleedings and further complications. Physicians are aware of this issue, but a reliable alternative is missing.
The thesis presents state-of-the-art principles and devices for the measurement and estimation of body weight in the context of medical applications. While scales are common and available at a hospital, the process of weighing takes too long and can hardly be integrated into the process of stroke treatment. Sensor systems and algorithms are presented in the section for related work and provide an overview of different approaches.
The here presented system -- called Libra3D -- consists of a computer installed in a real trauma room, as well as visual sensors integrated into the ceiling. For the estimation of the body weight, the patient is on a stretcher which is placed in the field of view of the sensors. The three sensors -- two RGB-D and a thermal camera -- are calibrated intrinsically and extrinsically. Also, algorithms for sensor fusion are presented to align the data from all sensors which is the base for a reliable segmentation of the patient.
A combination of state-of-the-art image and point cloud algorithms is used to localize the patient on the stretcher. The challenges in the scenario with the patient on the bed is the dynamic environment, including other people or medical devices in the field of view.
After the successful segmentation, a set of hand-crafted features is extracted from the patient's point cloud. These features rely on geometric and statistical values and provide a robust input to a subsequent machine learning approach. The final estimation is done with a previously trained artificial neural network.
The experiment section offers different configurations of the previously extracted feature vector. Additionally, the here presented approach is compared to state-of-the-art methods; the patient's own assessment, the physician's guess, and an anthropometric estimation. Besides the patient's own estimation, Libra3D outperforms all state-of-the-art estimation methods: 95 percent of all patients are estimated with a relative error of less than 10 percent to ground truth body weight. It takes only a minimal amount of time for the measurement, and the approach can easily be integrated into the treatment of stroke patients, while physicians are not hindered.
Furthermore, the section for experiments demonstrates two additional applications: The extracted features can also be used to estimate the body weight of people standing, or even walking in front of a 3D camera. Also, it is possible to determine or classify the BMI of a subject on a stretcher. A potential application for this approach is the reduction of the radiation dose of patients being exposed to X-rays during a CT examination.
During the time of this thesis, several data sets were recorded. These data sets contain the ground truth body weight, as well as the data from the sensors. They are available for the collaboration in the field of body weight estimation for medical applications.