TY - THES A1 - Loh, Frank T1 - Monitoring the Quality of Streaming and Internet of Things Applications T1 - Monitoring der Qualität von Video Streaming und Internet der Dingen Anwendungen N2 - The ongoing and evolving usage of networks presents two critical challenges for current and future networks that require attention: (1) the task of effectively managing the vast and continually increasing data traffic and (2) the need to address the substantial number of end devices resulting from the rapid adoption of the Internet of Things. Besides these challenges, there is a mandatory need for energy consumption reduction, a more efficient resource usage, and streamlined processes without losing service quality. We comprehensively address these efforts, tackling the monitoring and quality assessment of streaming applications, a leading contributor to the total Internet traffic, as well as conducting an exhaustive analysis of the network performance within a Long Range Wide Area Network (LoRaWAN), one of the rapidly emerging LPWAN solutions. N2 - Die fortlaufende und sich weiterentwickelnde Nutzung von Netzwerken stellt zwei entscheidende Herausforderungen für aktuelle und zukünftige Netzwerke dar, die Aufmerksamkeit erfordern: (1) die Aufgabe, den enormen und kontinuierlich wachsenden Datenverkehr effektiv zu verwalten, und (2) die Notwendigkeit, die durch die Einführung des Internets der Dinge resultierende große Anzahl von Endgeräten zu bewältigen. Neben diesen Herausforderungen besteht ein zwingender Bedarf an einer Reduzierung des Energieverbrauchs, einer effizienteren Ressourcennutzung und von optimierten Prozessen ohne Einbußen bei der Servicequalität. Wir gehen diese Bemühungen umfassend an und befassen uns mit der Überwachung und Qualitätsbewertung von Streaming-Anwendungen, die einen wesentlichen Beitrag zum gesamten Internetverkehr leisten, sowie mit der Durchführung einer generellen Analyse der Netzwerkleistung innerhalb eines Long Range Wide Area Network (LoRaWAN), einer der am schnellsten wachsenden LPWAN-Lösungen. T3 - Würzburger Beiträge zur Leistungsbewertung Verteilter Systeme - 01/24 KW - Leistungsbewertung KW - Simulation KW - LoRaWAN KW - Quality of Experience KW - Streaming KW - Leistungsbewertung KW - Simulation KW - LoRaWAN KW - Quality of Experience KW - Video Streaming Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-350969 SN - 1432-8801 N1 - Formal korrigierte, inhaltlich identische Version zur Dissertation unter https://doi.org/10.25972/OPUS-34783. ET - korrigierte Version ER - TY - THES A1 - Loh, Frank T1 - Monitoring the Quality of Streaming and Internet of Things Applications T1 - Monitoring der Qualität von Video Streaming und Internet der Dingen Anwendungen N2 - The ongoing and evolving usage of networks presents two critical challenges for current and future networks that require attention: (1) the task of effectively managing the vast and continually increasing data traffic and (2) the need to address the substantial number of end devices resulting from the rapid adoption of the Internet of Things. Besides these challenges, there is a mandatory need for energy consumption reduction, a more efficient resource usage, and streamlined processes without losing service quality. We comprehensively address these efforts, tackling the monitoring and quality assessment of streaming applications, a leading contributor to the total Internet traffic, as well as conducting an exhaustive analysis of the network performance within a Long Range Wide Area Network (LoRaWAN), one of the rapidly emerging LPWAN solutions. N2 - Die fortlaufende und sich weiterentwickelnde Nutzung von Netzwerken stellt zwei entscheidende Herausforderungen für aktuelle und zukünftige Netzwerke dar, die Aufmerksamkeit erfordern: (1) die Aufgabe, den enormen und kontinuierlich wachsenden Datenverkehr effektiv zu verwalten, und (2) die Notwendigkeit, die durch die Einführung des Internets der Dinge resultierende große Anzahl von Endgeräten zu bewältigen. Neben diesen Herausforderungen besteht ein zwingender Bedarf an einer Reduzierung des Energieverbrauchs, einer effizienteren Ressourcennutzung und von optimierten Prozessen ohne Einbußen bei der Servicequalität. Wir gehen diese Bemühungen umfassend an und befassen uns mit der Überwachung und Qualitätsbewertung von Streaming-Anwendungen, die einen wesentlichen Beitrag zum gesamten Internetverkehr leisten, sowie mit der Durchführung einer generellen Analyse der Netzwerkleistung innerhalb eines Long Range Wide Area Network (LoRaWAN), einer der am schnellsten wachsenden LPWAN-Lösungen. T3 - Würzburger Beiträge zur Leistungsbewertung Verteilter Systeme - 01/24 KW - Leistungsbewertung KW - Simulation KW - LoRaWAN KW - Quality of Experience KW - Streaming KW - Video Streaming KW - Energy Efficiency Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-347831 SN - 1432-8801 N1 - Eine formal korrigierte, inhaltlich identische Version dieser Dissertation ist unter https://doi.org/10.25972/OPUS-35096 erschienen. ER - TY - THES A1 - Eismann, Simon T1 - Performance Engineering of Serverless Applications and Platforms T1 - Performanz Engineering von Serverless Anwendungen und Plattformen N2 - Serverless computing is an emerging cloud computing paradigm that offers a highlevel application programming model with utilization-based billing. It enables the deployment of cloud applications without managing the underlying resources or worrying about other operational aspects. Function-as-a-Service (FaaS) platforms implement serverless computing by allowing developers to execute code on-demand in response to events with continuous scaling while having to pay only for the time used with sub-second metering. Cloud providers have further introduced many fully managed services for databases, messaging buses, and storage that also implement a serverless computing model. Applications composed of these fully managed services and FaaS functions are quickly gaining popularity in both industry and in academia. However, due to this rapid adoption, much information surrounding serverless computing is inconsistent and often outdated as the serverless paradigm evolves. This makes the performance engineering of serverless applications and platforms challenging, as there are many open questions, such as: What types of applications is serverless computing well suited for, and what are its limitations? How should serverless applications be designed, configured, and implemented? Which design decisions impact the performance properties of serverless platforms and how can they be optimized? These and many other open questions can be traced back to an inconsistent understanding of serverless applications and platforms, which could present a major roadblock in the adoption of serverless computing. In this thesis, we address the lack of performance knowledge surrounding serverless applications and platforms from multiple angles: we conduct empirical studies to further the understanding of serverless applications and platforms, we introduce automated optimization methods that simplify the operation of serverless applications, and we enable the analysis of design tradeoffs of serverless platforms by extending white-box performance modeling. N2 - Serverless Computing ist ein neues Cloud-Computing-Paradigma, das ein High-Level-Anwendungsprogrammiermodell mit nutzungsbasierter Abrechnung bietet. Es ermöglicht die Bereitstellung von Cloud-Anwendungen, ohne dass die zugrunde liegenden Ressourcen verwaltet werden müssen oder man sich um andere betriebliche Aspekte kümmern muss. FaaS-Plattformen implementieren Serverless Computing, indem sie Entwicklern die Möglichkeit geben, Code nach Bedarf als Reaktion auf Ereignisse mit kontinuierlicher Skalierung auszuführen, während sie nur für die genutzte Zeit mit sekundengenauer Abrechnung zahlen müssen. Cloud-Anbieter haben darüber hinaus viele vollständig verwaltete Dienste für Datenbanken, Messaging-Busse und Orchestrierung eingeführt, die ebenfalls ein Serverless Computing-Modell implementieren. Anwendungen, die aus diesen vollständig verwalteten Diensten und FaaS-Funktionen bestehen, werden sowohl in der Industrie als auch in der Wissenschaft immer beliebter. Aufgrund dieser schnellen Verbreitung sind jedoch viele Informationen zum Serverless Computing inkonsistent und oft veraltet, da sich das Serverless Paradigma weiterentwickelt. Dies macht das Performanz-Engineering von Serverless Anwendungen und Plattformen zu einer Herausforderung, da es viele offene Fragen gibt, wie zum Beispiel: Für welche Arten von Anwendungen ist Serverless Computing gut geeignet und wo liegen seine Grenzen? Wie sollten Serverless Anwendungen konzipiert, konfiguriert und implementiert werden? Welche Designentscheidungen wirken sich auf die Performanzeigenschaften von Serverless Plattformen aus und wie können sie optimiert werden? Diese und viele andere offene Fragen lassen sich auf ein uneinheitliches Verständnis von Serverless Anwendungen und Plattformen zurückführen, was ein großes Hindernis für die Einführung von Serverless Computing darstellen könnte. In dieser Arbeit adressieren wir den Mangel an Performanzwissen zu Serverless Anwendungen und Plattformen aus mehreren Blickwinkeln: Wir führen empirische Studien durch, um das Verständnis von Serverless Anwendungen und Plattformen zu fördern, wir stellen automatisierte Optimierungsmethoden vor, die das benötigte Wissen für den Betrieb von Serverless Anwendungen reduzieren, und wir erweitern die White-Box-Performanzmodellierungerung für die Analyse von Designkompromissen von Serverless Plattformen. KW - Leistungsbewertung KW - software performance KW - Cloud Computing Y1 - 2023 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-303134 ER - TY - THES A1 - Geißler, Stefan T1 - Performance Evaluation of Next-Generation Data Plane Architectures and their Components T1 - Leistungsbewertung von Data Plane Architekturen der Nächsten Generation sowie ihrer Einzelkomponenten N2 - In this doctoral thesis we cover the performance evaluation of next generation data plane architectures, comprised of complex software as well as programmable hardware components that allow fine granular configuration. In the scope of the thesis we propose mechanisms to monitor the performance of singular components and model key performance indicators of software based packet processing solutions. We present novel approaches towards network abstraction that allow the integration of heterogeneous data plane technologies into a singular network while maintaining total transparency between control and data plane. Finally, we investigate a full, complex system consisting of multiple software-based solutions and perform a detailed performance analysis. We employ simulative approaches to investigate overload control mechanisms that allow efficient operation under adversary conditions. The contributions of this work build the foundation for future research in the areas of network softwarization and network function virtualization. N2 - Diese Doktorarbeit behandelt die Leistungsbewertung von Data Plane Architekturen der nächsten Generation, die aus komplexen Softwarelösungen sowie programmierbaren Hardwarekomponenten bestehen. Hierbei werden Mechanismen entwickelt, die es ermöglichen, die Leistungsfähigkeit einzelner Komponenten zu messen und zentrale Leistungsindikatoren softwarebasierter Systeme zur Verarbeitung von Datenpaketen zu modellieren. Es werden neuartige Ansätze zur Netzabstraktion entworfen, die eine vollständig transparente Integration heterogener Technologien im selben Netz ermöglichen. Schließlich wird eine umfassende Leistungsbewertung eines komplexen Systems, das aus einer Vielzahl softwarebasierter Netzfunktionen besteht, durchgeführt. Anhand simulativer Modelle werden Überlastkontrollmechanismen entwickelt, die es dem System erlauben auch unter Überlast effizient zu arbeiten. Die Beiträge dieser Arbeit bilden die Grundlage weiterer Forschungen im Bereich der Softwarisierung von Netzen sowie der Virtualisierung von Netzfunktionen. T3 - Würzburger Beiträge zur Leistungsbewertung Verteilter Systeme - 02/21 KW - Leistungsbewertung KW - Simulation KW - Zeitdiskretes System KW - Implementierung KW - performance evaluation KW - simulation KW - discrete-time analysis KW - network softwarization KW - mobile networks Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-260157 SN - 1432-8801 ER - TY - THES A1 - Moldovan, Christian T1 - Performance Modeling of Mobile Video Streaming T1 - Leistungsmodellierung von mobilem Videostreaming N2 - In the past two decades, there has been a trend to move from traditional television to Internet-based video services. With video streaming becoming one of the most popular applications in the Internet and the current state of the art in media consumption, quality expectations of consumers are increasing. Low quality videos are no longer considered acceptable in contrast to some years ago due to the increased sizes and resolution of devices. If the high expectations of the users are not met and a video is delivered in poor quality, they often abandon the service. Therefore, Internet Service Providers (ISPs) and video service providers are facing the challenge of providing seamless multimedia delivery in high quality. Currently, during peak hours, video streaming causes almost 58\% of the downstream traffic on the Internet. With higher mobile bandwidth, mobile video streaming has also become commonplace. According to the 2019 Cisco Visual Networking Index, in 2022 79% of mobile traffic will be video traffic and, according to Ericsson, by 2025 video is forecasted to make up 76% of total Internet traffic. Ericsson further predicts that in 2024 over 1.4 billion devices will be subscribed to 5G, which will offer a downlink data rate of 100 Mbit/s in dense urban environments. One of the most important goals of ISPs and video service providers is for their users to have a high Quality of Experience (QoE). The QoE describes the degree of delight or annoyance a user experiences when using a service or application. In video streaming the QoE depends on how seamless a video is played and whether there are stalling events or quality degradations. These characteristics of a transmitted video are described as the application layer Quality of Service (QoS). In general, the QoS is defined as "the totality of characteristics of a telecommunications service that bear on its ability to satisfy stated and implied needs of the user of the service" by the ITU. The network layer QoS describes the performance of the network and is decisive for the application layer QoS. In Internet video, typically a buffer is used to store downloaded video segments to compensate for network fluctuations. If the buffer runs empty, stalling occurs. If the available bandwidth decreases temporarily, the video can still be played out from the buffer without interruption. There are different policies and parameters that determine how large the buffer is, at what buffer level to start the video, and at what buffer level to resume playout after stalling. These have to be finely tuned to achieve the highest QoE for the user. If the bandwidth decreases for a longer time period, a limited buffer will deplete and stalling can not be avoided. An important research question is how to configure the buffer optimally for different users and situations. In this work, we tackle this question using analytic models and measurement studies. With HTTP Adaptive Streaming (HAS), the video players have the capability to adapt the video bit rate at the client side according to the available network capacity. This way the depletion of the video buffer and thus stalling can be avoided. In HAS, the quality in which the video is played and the number of quality switches also has an impact on the QoE. Thus, an important problem is the adaptation of video streaming so that these parameters are optimized. In a shared WiFi multiple video users share a single bottleneck link and compete for bandwidth. In such a scenario, it is important that resources are allocated to users in a way that all can have a similar QoE. In this work, we therefore investigate the possible fairness gain when moving from network fairness towards application-layer QoS fairness. In mobile scenarios, the energy and data consumption of the user device are limited resources and they must be managed besides the QoE. Therefore, it is also necessary, to investigate solutions, that conserve these resources in mobile devices. But how can resources be conserved without sacrificing application layer QoS? As an example for such a solution, this work presents a new probabilistic adaptation algorithm that uses abandonment statistics for ts decision making, aiming at minimizing the resource consumption while maintaining high QoS. With current protocol developments such as 5G, bandwidths are increasing, latencies are decreasing and networks are becoming more stable, leading to higher QoS. This allows for new real time data intensive applications such as cloud gaming, virtual reality and augmented reality applications to become feasible on mobile devices which pose completely new research questions. The high energy consumption of such applications still remains an issue as the energy capacity of devices is currently not increasing as quickly as the available data rates. In this work we compare the optimal performance of different strategies for adaptive 360-degree video streaming. N2 - In den vergangenen zwei Jahrzehnten gab es einen starken Trend weg vom traditionellen Fernsehen hin zum Videostreaming über das Internet. Dabei macht Videostreaming zurzeit den größten Anteil des gesamten Internetverkehrs aus. Beim Herunterladen eines Internetvideos wird das Video vor dem Ausspielen in einem Puffer beim Client zwischengespeichert, um Netzfluktuationen zu kompensieren. Leert sich der Puffer, so muss das Video stoppen (Stalling), um Daten nachzuladen. Um dies zu verhindern, müssen Pufferstrategien und -Parameter optimal an Nutzerszenarien angepasst sein. Mit diesem Problem beschäftigen wir uns im ersten Kapitel dieser Arbeit unter Anwendung von Wartschlangenmodelle, numerische Simulationen und Messstudien. Zur Bewertung der Güte eines Videostreams nutzen wir ein Modell, das auf subjektiven Studien basiert. Mit HTTP Adaptive Streaming hat der Videoplayer die Fähigkeit, Videosegmente in einer an die Bandbreite angepasster Bitrate und somit auch angepasster Qualität anzufordern. Somit kann die Leerung des Puffers gebremst und Stalling verhindert werden. Allerdings hat neben Stalling auch die Videoqualität und die Anzahl der Qualitätswechsel Auswirkungen auf die Zufriedenheit der Zuschauer. Inwiefern diese Parameter optimiert werden können, untersuchen wir im zweiten Kapitel mit Hilfe von linearen und quadratischen Programmen sowie einem Warteschlangenmodell. Hierbei untersuchen wie auch die Fairness in Netzen mit mehreren Nutzern und 360-Grad Videos. Im dritten Kapitel untersuchen wir Möglichkeiten, Videostreaming ressourcenschonender zu gestalten. Hierzu untersuchen wir in einer Feldstudie die Möglichkeit Caches an WiFi-Hotspots einzusetzen und somit redundanten Verkehr zu reduzieren. Wir untersuchen das Verhalten von mobilen Videonutzern, indem wir eine Nutzerstudie auswerten. Außerdem stellen wir einen neuen Adaptionsalgorithmus vor, der abhängig vom Nutzerverhalten den Datenverbrauch und Stromverbrauch des Videostreams reduziert. T3 - Würzburger Beiträge zur Leistungsbewertung Verteilter Systeme - 01/20 KW - Videoübertragung KW - Quality of Experience KW - Dienstgüte KW - Leistungsbewertung KW - Mathematisches Modell KW - video streaming KW - performance modeling KW - optimization Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-228715 SN - 1432-8801 ER - TY - THES A1 - Lange, Stanislav T1 - Optimization of Controller Placement and Information Flow in Softwarized Networks T1 - Optimierungsverfahren für Controllerplatzierung und Informationsaustausch in softwarisierten Netzen N2 - The Software Defined Networking (SDN) paradigm offers network operators numerous improvements in terms of flexibility, scalability, as well as cost efficiency and vendor independence. However, in order to maximize the benefit from these features, several new challenges in areas such as management and orchestration need to be addressed. This dissertation makes contributions towards three key topics from these areas. Firstly, we design, implement, and evaluate two multi-objective heuristics for the SDN controller placement problem. Secondly, we develop and apply mechanisms for automated decision making based on the Pareto frontiers that are returned by the multi-objective optimizers. Finally, we investigate and quantify the performance benefits for the SDN control plane that can be achieved by integrating information from external entities such as Network Management Systems (NMSs) into the control loop. Our evaluation results demonstrate the impact of optimizing various parameters of softwarized networks at different levels and are used to derive guidelines for an efficient operation. N2 - Heutige Kommunikationsnetze müssen ein breites Spektrum an Applikationen mit sehr heterogenen Anforderungen unterstützen sowie mit einer kontinuierlich steigenden Anzahl an Nutzern und Endgeräten skalieren. Softwarisierte Netze, welche sich insbesondere durch Paradigmen wie Software Defined Networking (SDN) und Network Functions Virtualization (NFV) kennzeichnen, zielen auf eine Erhöhung der Flexibilität und Skalierbarkeit ab, um diesen Anforderungen auch in Zukunft gerecht zu werden. Um jedoch in vollem Umfang von den Vorteilen dieser Paradigmen zu profitieren, müssen neue Fragestellungen adressiert werden. Diese umfassen insbesondere die Platzierung neuer Entitäten im Netz sowie deren Integration in bestehende Architekturen und ihre Interaktion mit vorhandenen Komponenten. In dieser Dissertation werden Optimierungsverfahren entwickelt und bewertet, welche zu verschiedenen Zeitpunkten im Lebenszyklus softwarisierter Netze eingesetzt werden und ihre Performanz sowie Automatisierbarkeit steigern. Diese umfassen Verfahren für das Platzieren von Kontrollentitäten in SDN-basierten Netzen, welche eine effiziente Dimensionierung während der Planungsphase ermöglichen. Zudem werden diese Verfahren um Mechanismen erweitert, welche eine automatisierte Anpassung an dynamische Veränderungen ermöglichen und somit die Effizienz des Netzes aufrechterhalten. Zuletzt wird die Integration von Daten aus externen Informationsquellen wie Netzmanagementsystemen in SDN-Komponenten untersucht, um deren Entscheidungen und somit die Performanz im gesamten Netz zu optimieren. T3 - Würzburger Beiträge zur Leistungsbewertung Verteilter Systeme - 03/18 KW - Leistungsbewertung KW - Graph KW - Optimierung KW - Telekommunikationsnetz KW - Platzierungsalgorithmen KW - Softwarisierte Netze Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-174570 SN - 1432-8801 ER - TY - THES A1 - Walter, Jürgen Christian T1 - Automation in Software Performance Engineering Based on a Declarative Specification of Concerns T1 - Automatisierung im Software-Performance-Engineering basierend auf einer deklarativen Beschreibung von Performance-Anliegen N2 - Software performance is of particular relevance to software system design, operation, and evolution because it has a significant impact on key business indicators. During the life-cycle of a software system, its implementation, configuration, and deployment are subject to multiple changes that may affect the end-to-end performance characteristics. Consequently, performance analysts continually need to provide answers to and act based on performance-relevant concerns. To ensure a desired level of performance, software performance engineering provides a plethora of methods, techniques, and tools for measuring, modeling, and evaluating performance properties of software systems. However, the answering of performance concerns is subject to a significant semantic gap between the level on which performance concerns are formulated and the technical level on which performance evaluations are actually conducted. Performance evaluation approaches come with different strengths and limitations concerning, for example, accuracy, time-to-result, or system overhead. For the involved stakeholders, it can be an elaborate process to reasonably select, parameterize and correctly apply performance evaluation approaches, and to filter and interpret the obtained results. An additional challenge is that available performance evaluation artifacts may change over time, which requires to switch between different measurement-based and model-based performance evaluation approaches during the system evolution. At model-based analysis, the effort involved in creating performance models can also outweigh their benefits. To overcome the deficiencies and enable an automatic and holistic evaluation of performance throughout the software engineering life-cycle requires an approach that: (i) integrates multiple types of performance concerns and evaluation approaches, (ii) automates performance model creation, and (iii) automatically selects an evaluation methodology tailored to a specific scenario. This thesis presents a declarative approach —called Declarative Performance Engineering (DPE)— to automate performance evaluation based on a humanreadable specification of performance-related concerns. To this end, we separate the definition of performance concerns from their solution. The primary scientific contributions presented in this thesis are: A declarative language to express performance-related concerns and a corresponding processing framework: We provide a language to specify performance concerns independent of a concrete performance evaluation approach. Besides the specification of functional aspects, the language allows to include non-functional tradeoffs optionally. To answer these concerns, we provide a framework architecture and a corresponding reference implementation to process performance concerns automatically. It allows to integrate arbitrary performance evaluation approaches and is accompanied by reference implementations for model-based and measurement-based performance evaluation. Automated creation of architectural performance models from execution traces: The creation of performance models can be subject to significant efforts outweighing the benefits of model-based performance evaluation. We provide a model extraction framework that creates architectural performance models based on execution traces, provided by monitoring tools.The framework separates the derivation of generic information from model creation routines. To derive generic information, the framework combines state-of-the-art extraction and estimation techniques. We isolate object creation routines specified in a generic model builder interface based on concepts present in multiple performance-annotated architectural modeling formalisms. To create model extraction for a novel performance modeling formalism, developers only need to write object creation routines instead of creating model extraction software from scratch when reusing the generic framework. Automated and extensible decision support for performance evaluation approaches: We present a methodology and tooling for the automated selection of a performance evaluation approach tailored to the user concerns and application scenario. To this end, we propose to decouple the complexity of selecting a performance evaluation approach for a given scenario by providing solution approach capability models and a generic decision engine. The proposed capability meta-model enables to describe functional and non-functional capabilities of performance evaluation approaches and tools at different granularities. In contrast to existing tree-based decision support mechanisms, the decoupling approach allows to easily update characteristics of solution approaches as well as appending new rating criteria and thereby stay abreast of evolution in performance evaluation tooling and system technologies. Time-to-result estimation for model-based performance prediction: The time required to execute a model-based analysis plays an important role in different decision processes. For example, evaluation scenarios might require the prediction results to be available in a limited period of time such that the system can be adapted in time to ensure the desired quality of service. We propose a method to estimate the time-to-result for modelbased performance prediction based on model characteristics and analysis parametrization. We learn a prediction model using performancerelevant features thatwe determined using statistical tests. We implement the approach and demonstrate its practicability by applying it to analyze a simulation-based multi-step performance evaluation approach for a representative architectural performance modeling formalism. We validate each of the contributions based on representative case studies. The evaluation of automatic performance model extraction for two case study systems shows that the resulting models can accurately predict the performance behavior. Prediction accuracy errors are below 3% for resource utilization and mostly less than 20% for service response time. The separate evaluation of the reusability shows that the presented approach lowers the implementation efforts for automated model extraction tools by up to 91%. Based on two case studies applying measurement-based and model-based performance evaluation techniques, we demonstrate the suitability of the declarative performance engineering framework to answer multiple kinds of performance concerns customized to non-functional goals. Subsequently, we discuss reduced efforts in applying performance analyses using the integrated and automated declarative approach. Also, the evaluation of the declarative framework reviews benefits and savings integrating performance evaluation approaches into the declarative performance engineering framework. We demonstrate the applicability of the decision framework for performance evaluation approaches by applying it to depict existing decision trees. Then, we show how we can quickly adapt to the evolution of performance evaluation methods which is challenging for static tree-based decision support systems. At this, we show how to cope with the evolution of functional and non-functional capabilities of performance evaluation software and explain how to integrate new approaches. Finally, we evaluate the accuracy of the time-to-result estimation for a set of machinelearning algorithms and different training datasets. The predictions exhibit a mean percentage error below 20%, which can be further improved by including performance evaluations of the considered model into the training data. The presented contributions represent a significant step towards an integrated performance engineering process that combines the strengths of model-based and measurement-based performance evaluation. The proposed performance concern language in conjunction with the processing framework significantly reduces the complexity of applying performance evaluations for all stakeholders. Thereby it enables performance awareness throughout the software engineering life-cycle. The proposed performance concern language removes the semantic gap between the level on which performance concerns are formulated and the technical level on which performance evaluations are actually conducted by the user. N2 - Die Performanz von Software ist von herausgehobener Relevanz für das Design, den Betrieb und die Evolution von Softwaresystemen, da sie den Geschäftserfolg stark beinflusst. Während des Softwarelebenszyklus ändern sich die Implementierung und die Art der Bereitstellung mehrfach, was jeweils das Ende-zu-Ende Verhalten bezüglich der Performanz beeinflussen kann. Folglich muss sich kontinuierlich mit Fragestellungen der Leistungsbewertung beschäftigt werden. Um performantes Verhalten sicherzustellen gibt es im “Software Performance Engineering” bereits eine Vielzahl an Methoden, Techniken und Werkzeugen um Performanzeigenschaften von Softwaresystemen zu messen, zu modellieren und zu evaluieren. Jedoch unterliegt die Beantwortung von konkreten Fragestellungen einem Missverhältnis zwischen dem einfachen Formulieren von Fragestellungen und dem sehr technischen Level auf dem die Fragen beantwortet werden. Verfahren zur Bestimmung von Performanzmetriken haben unterschiedliche Stärken und Einschränkungen, u.a. bezüglich Genauigkeit, Lösungsgeschwindigkeit oder der erzeugten Last auf dem System. Für die beteiligten Personen ist es ein nicht-trivialer Prozess ein passendes Verfahren zur Performanzevaluation auszuwählen, es sinnvoll zu parametrisieren, auszuführen, sowie die Ergebnisse zu filtern und zu interpretieren. Eine zusätzliche Herausforderung ist, dass sich die Artefakte, um die Leistung eines Systemes zu evaluieren, im zeitlichen Verlauf ändern, was einenWechsel zwischen messbasierten und modellbasierten Verfahren im Rahmen der Systemevolution nötig macht. Bei der modellbasierten Analyse kann zudem der Aufwand für die Erstellung von Performance-Modellen den Nutzen überwiegen. Um die genannten Defizite zu überwinden und eine ganzheitliche, automatisierte Evaluierung der Leistung während des Software-Entwicklungszyklus zu erreichen ist ein Ansatz von Nöten, der: (i) unterschiedliche Arten von Performanzanliegen und Evaluationsmethoden integriert, (ii) die Erstellung von Performanzmodellen automatisiert und (iii) automatisch eine Methodik zur Evaluation zugeschnitten auf ein spezielles Analyseszenario auswählt. Diese Arbeit präsentiert einen beschreibenden Ansatz, Declarative Performance Engineering (DPE) genannt, um die Evaluation von Performanzfragestellungen basierend auf einem menschenlesbaren Spezifikation zu automatisieren. Zu diesem Zweck trennen wir die Spezifikation von Performanzanliegen von deren Beantwortung. Die wissenschaftlichen Hauptbeiträge dieser Arbeit sind: Eine beschreibende Sprache um performanzrelevante Fragestellungen auszudrücken und ein Framework um diese zu beantworten: Wir präsentieren eine Sprache, um Performanzanliegen unabhängig von der Evaluationsmethodik zu beschreiben. Neben der Spezifikation von funktionalen Aspekten können auch nicht-funktionale Abwägungsentscheidungen beschrieben werden. Um die spezifizierten Anliegen zu beantworten präsentieren wir eine Frameworkarchitektur und eine entsprechende Referenzimplementierung,um Anliegen automatisch zu beantworten. Das Framework bietet die Möglichkeit beliebige Evaluationsmethodiken zu integrieren und wird ergänzt durch Referenzimplementierungen zur messbasierten und modellbasierten Performanzevaluation. Automatische Extraktion von architekturellen Performanzemodellen aus Messdatenzur Anwendungsperformanz: Der signifikante Aufwand zur Erstellung von Performanzmodellen kann deren Vorteile überlagern. Wir schlagen einen Framework zur automatischen Erstellung vor, welches Modelle aus Messdaten extrahiert. Das präsentierte Framework trennt das Lernen von generischen Aspekten von Modellerstellungsroutinen. Um generische Aspekte zu lernen kombiniert unser Framework modernste Extraktionsund Schätztechniken. Wir isolieren Objekterstellungsroutinen, die in einer generischen Schnittstelle zur Modellerzeugung angegeben sind, basierend auf Konzepten die in mehreren Performanz-annotierten Architekturmodellen vorhanden sind. Um eine Modellextraktion für einen neuen Formalismus zu erstellen müssen Entwickler müssen nur die Erstellung von Objekterstellungsroutinen schreiben statt eine Modell-Extraktionssoftware von Grund auf neu zu schreiben. Automatisierte und erweiterbare Entscheidungsunterstützung für Leistungsbewertungsansätze: Wir präsentieren eine Methodik und Werkzeuge für die automatisierte Auswahl eines auf die Belange und Anwendungenszenarien der Benutzer zugeschnittenen Leistungsbewertungsansatzes. Zu diesem Zweck schlagen wir vor, die Komplexität der Auswahl eines Leistungsbewertungsansatzes für ein gegebenes Szenario zu entkoppeln. Dies geschieht durch Bereitstellung von Fähigkeitsmodellen für die Lösungsansätze und einen generische Entscheidungsmechanismus. Das vorgeschlagene Fähigkeits-Metamodell ermöglicht es, funktionale und nichtfunktionale Fähigkeiten von Leistungsbewertungsansätzen und Werkzeugen in verschiedenen Granularitäten zu modellieren. Im Gegensatz zu bestehenden baumbasierten Entscheidungensmechanismen ermöglicht unser Ansatz die einfache Aktualisierung von Merkmalen von Lösungsansätzen sowie das Hinzufügen neuer Bewertungskriterien und kann dadurch einfach aktuell gehalten werden. Eine Methode zur Schätzung der Analysezeit für die modellbasierte Leistungsvorhersage: Die Zeit, die für die Durchführung einer modellbasierten Analyse benötigt wird, spielt in verschiedenen Entscheidungsprozessen eine wichtige Rolle. Beispielsweise können Auswertungsszenarien erfordern, dass die Vorhersageergebnisse in einem begrenzten Zeitraum zur Verfügung stehen, so dass das System rechtzeitig angepasst werden kann, um die Dienstgüte sicherzustellen.Wir schlagen eine Methode vor, um die Zeit bis zum Ergebnis für modellbasierte Leistungsvorhersage basierend auf Modelleigenschaften und Analyseparametrisierung zu schätzen. Wir lernen ein Vorhersagemodell anhand von leistungsrelevanten Merkmalen, die wir mittels statistischer Tests ermittelt haben. Wir implementieren den Ansatz und demonstrieren seine Praktikabilität, indem wir ihn auf einen mehrstufiger Leistungsbewertungsansatz anwenden. Wir validieren jeden der Beiträge anhand repräsentativer Fallstudien. Die Evaluierung der Leistungsmodellextraktion für mehrere Fallstudiensysteme zeigt, dass die resultierenden Modelle das Leistungsverhalten genau vorhersagen können. Fehler bei der Vorhersagegenauigkeit liegen für die Ressourcennutzung unter 3% und meist weniger als 20% für die Service-Reaktionszeit. Die getrennte Bewertung derWiederverwendbarkeit zeigt, dass der Implementierungsaufwand zur Erstellung von Modellextraktionswerkzeugen um bis zu 91% gesenkt werden kann. Wir zeigen die Eignung unseres Framworks zur deklarativen Leistungsbewertung basierend auf zwei Fallstudien die mess- und model-basierte Leistungsbewertungstechniken zur Beantwortung verschiedenster Performance-Anliegen zugeschnitten auf Nutzerbedürfnisse anwenden. Anschließend diskutieren wir die Einsparungen durch den integrierten und automatisierten Ansatz. Des weiteren untersuchen wir die Vorteile der Integration vonweiteren Leistungsbewertungsansätzen in den deklarativen Ansatz.Wir demonstrieren die Anwendbarkeit unseres Entscheidungsframeworks für Leistungsbewertungsansätze, indem wir den Stand der Technik für Entscheidungsunterstützung abbilden. Anschließend zeigen wir die leichte Anpassbarkeit, was für baumbasierte Entscheidungsunterstützungssysteme eine signifikante Herausforderung darstellt. Hierbei zeigen wir wie man Änderungen funktionaler und nichtfunktionaler Fähigkeiten von Leistungsbewertungssoftware sowie neue Ansätze integriert. Abschließend bewerten wir die Genauigkeit der Zeit-zu-Ergebnis-Schätzung für eine Reihe von maschinellen Lernalgorithmen und verschiedenen Trainingsdatensätzen. Unser Vorhersagen zeigen einen mittleren prozentualen Fehler von weniger als 20%, die weiter verbessert werden können durch Berücksichtigung von Leistungsbewertungen des betrachteten Modells in den Trainingsdaten. Die vorgestellten Beiträge sind ein bedeutender Schritt hin zu einem integrierten Performance-Engineering-Prozess, der die Stärken von modellbasierter und messbasierter Leistungsbewertung kombiniert. Die vorgeschlagene Sprache um Performanzanliegen zu spezifizieren reduziert in Verbindung mit dem Beantwortungsframework die Komplexität der Anwendung von Leistungsbewertungen für alle Beteiligten deutlich und ermöglicht dadurch ein Leistungsbewusstsein im gesamten Softwarelebenszyklus. Damit entfernt die vorgeschlagene Sprache die Diskrepanz zwischen einem einfachen Fragen bezüglich der Leistung und der sehr technische Ebene auf der Leistungsbewertungen tatsächlich ausgeführt werden. KW - Software KW - Declarative Performance Engineering KW - Model-based Performance Prediction KW - Measurement-based Analysis KW - Decision Support KW - Leistungsbewertung KW - Software Performance Engineering Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-180904 ER - TY - THES A1 - Metter, Christopher Valentin T1 - Resilience, Availabilty, and Serviceability Evaluation in Software-defined Networks T1 - Auswertung der Ausfallsicherheit, Verfügbarkeit und Gebrauchstauglichkeit in Software-definierten Netzwerken N2 - With the introduction of Software-defined Networking (SDN) in the late 2000s, not only a new research field has been created, but a paradigm shift was initiated in the broad field of networking. The programmable network control by SDN is a big step, but also a stumbling block for many of the established network operators and vendors. As with any new technology the question about the maturity and the productionreadiness of it arises. Therefore, this thesis picks specific features of SDN and analyzes its performance, reliability, and availability in scenarios that can be expected in production deployments. The first SDN topic is the performance impact of application traffic in the data plane on the control plane. Second, reliability and availability concerns of SDN deployments are exemplary analyzed by evaluating the detection performance of a common SDN controller. Thirdly, the performance of P4, a technology that enhances SDN, or better its impact of certain control operations on the processing performance is evaluated. N2 - Mit der Einführung von Software-definierten Netzwerken (SDN) in den späten 2000ern wurde nicht nur ein neues Forschungsfeld begründet sondern auch ein Paradigmenwechsel im breiten Feld der Netzwerktechnik eingeleitet. Die programmierbare Kontrolle über das Netzwerk durch SDN ist eine großer Schritt, aber auch ein Stolperstein für viele der etablierten Netzwerk Operatoren und Hersteller. Wie mit jeder neuen Technologie stellt sich die Frage über die Reife und die Eignung für den Produktionseinsatz. Diese Arbeit wählt deswegen drei spezifische Eigenschaften von SDN und untersucht sie auf ihre Performanz, Ausfallsicherheit und Verfügbarkeit in Szenarien die so in Produktionsumgebungen zu erwarten sind. Das erste SDN Thema ist der Einfluss von Applikationsverkehr in der Data Plane auf die Performanz in der Control Plane. Als zweites Thema werden die Zuverlässigkeits- und Verfügbarkeitsbedenken von SDN Installationen exemplarisch durch die Evaluation der Erkennungsperformanz eines gängigen SDN Controllers analyisiert.Schließlich wird die Verarbeitungsperformanz von P4, einer Technolgie die SDN erweitert, anhand eines Beispiels evaluiert. T3 - Würzburger Beiträge zur Leistungsbewertung Verteilter Systeme - 04/18 KW - Leistungsbewertung KW - Telekommunikationsnetz KW - Netzwerk KW - Software-defined Networking KW - RAS Evaluation KW - Software Defined Networking Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-176788 SN - 1432-8801 ER - TY - THES A1 - Nguyen-Ngoc, Anh T1 - On Performance Assessment of Control Mechanisms and Virtual Components in SDN-based Networks T1 - Zur Leistungsbewertung von Regelungsmechanismen und virtuellen Komponenten in SDN-basierten Netzwerken N2 - This dissertation focuses on the performance evaluation of all components of Software Defined Networking (SDN) networks and covers whole their architecture. First, the isolation between virtual networks sharing the same physical resources is investigated with SDN switches of several vendors. Then, influence factors on the isolation are identified and evaluated. Second, the impact of control mechanisms on the performance of the data plane is examined through the flow rule installation time of SDN switches with different controllers. It is shown that both hardware-specific and controller instance have a specific influence on the installation time. Finally, several traffic flow monitoring methods of an SDN controller are investigated and a new monitoring approach is developed and evaluated. It is confirmed that the proposed method allows monitoring of particular flows as well as consumes fewer resources than the standard approach. Based on findings in this thesis, on the one hand, controller developers can refer to the work related to the control plane, such as flow monitoring or flow rule installation, to improve the performance of their applications. On the other hand, network administrators can apply the presented methods to select a suitable combination of controller and switches in their SDN networks, based on their performance requirements N2 - Diese Dissertation konzentriert sich auf die Leistungsbewertung aller Komponenten von SDN-Netzwerken (Software Defined Networking) und deckt deren gesamte Architektur ab. Zuerst wird die Isolation zwischen virtuellen Netzwerken, die dieselben physischen Ressourcen teilen, mit SDN-Switches verschiedener Hersteller untersucht. Dann werden Einflussfaktoren auf die Isolation identifiziert und ausgewertet. Anschließen wird die Auswirkung von Kontrollmechanismen auf die Leistung der Datenebene durch die Flussregel-Installationszeit von SDN-Switches mit unterschiedlichen Controllern untersucht. Es wird gezeigt, dass sowohl Hardware-spezifische als auch Controller-Instanz einen spezifischen Einfluss auf die Installationszeit haben. Abschließend werden verschiedene Methoden der Verkehrsflussüberwachung eines SDN-Controllers untersucht und ein neuer Monitoringansatz entwickelt und evaluiert. Es wird bestätigt, dass die vorgeschlagene Methode die Überwachung bestimmter Flüsse ermöglicht und weniger Ressourcen verbraucht als der Standardansatz. Basierend auf den Ergebnissen dieser Arbeit können Controller-Entwickler einerseits die Arbeiten zur Steuerungsebene, wie zum Beispiel die Flussüberwachung oder die Flussregelinstallation, zur Verbesserung der Leistung ihrer Anwendungen verwenden. Auf der anderen Seite können Netzwerkadministratoren die vorgestellte Methode anwenden, um basierend auf ihren Leistungsanforderungen eine geeignete Kombination aus Controller und Switches in ihren SDN-Netzwerken auszuwählen. T3 - Würzburger Beiträge zur Leistungsbewertung Verteilter Systeme - 02/18 KW - Leistungsbewertung KW - SDN KW - Netzwerk KW - OpenFlow KW - Software Defined Networking KW - SDN Switches KW - Performance Evaluation KW - SDN Controllers Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-169328 SN - 1432-8801 ER - TY - THES A1 - Dinh-Xuan, Lam T1 - Quality of Experience Assessment of Cloud Applications and Performance Evaluation of VNF-Based QoE Monitoring T1 - Quality of Experience-Bewertung von Cloud-Anwendungen und Leistungsbewertung von VNF-basiertem QoE-Monitoring N2 - In this thesis various aspects of Quality of Experience (QoE) research are examined. The work is divided into three major blocks: QoE Assessment, QoE Monitoring, and VNF Performance Evaluation. First, prominent cloud applications such as Google Docs and a cloud-based photo album are explored. The QoE is characterized and the influence of packet loss and delay is studied. Afterwards, objective QoE monitoring for HTTP Adaptive Video Streaming (HAS) in the cloud is investigated. Additionally, by using a Virtual Network Function (VNF) for QoE monitoring in the cloud, the feasibility of an interworking of Network Function Virtualization (NFV) and cloud paradigm is evaluated. To this end, a VNF that exploits deep packet inspection technique was used to parse the video traffic. An algorithm is then designed accordingly to estimate video quality and QoE based on network and application layer parameters. To assess the accuracy of the estimation, the VNF is measured in different scenarios under different network QoS and the virtual environment of the cloud architecture. The insights show that the different geographical deployments of the VNF influence the accuracy of the video quality and QoE estimation. Various Service Function Chain (SFC) placement algorithms have been proposed and compared in the context of edge cloud networks. On the one hand, this research is aimed at cloud service providers by providing methods for evaluating QoE for cloud applications. On the other hand, network operators can learn the pitfalls and disadvantages of using the NFV paradigm for such a QoE monitoring mechanism. N2 - In dieser Arbeit werden verschiedene Aspekte von Quality of Experience (QoE) und QoE-Monitoring untersucht. Die Arbeit teilt sich in drei große Blöcke auf: QoE Assessment, QoE Monitoring und Leistungsuntersuchung einer VNF. Zunächst werden prominente Cloud-Anwendungen wie Google Docs und ein Cloud-basiertes Photoalbum untersucht. Die QoE wird charakterisiert und es wird der Einfluss von Paketverlust und Delay studiert. Danach wird das objektive QoE-Monitoring für HTTP Adaptive Video Streaming (HAS) in der Cloud untersucht. Durch die Verwendung einer virtuellen Netzwerkfunktion (Virtual Network Function, VNF) für die QoE-Überwachung in der Cloud wurde außerdem die Durchführbarkeit eines Zusammenwirkens von Netzwerkfunktionsvirtualisierung (NFV) und Cloud-Paradigma bewertet. Zu diesem Zweck wurde der VNF, die die Deep-Packet-Inspection-Technik benutzt, zum Parsen des Videoverkehrs verwendet. Im Anschluss wurde ein Algorithmus entworfen, um die Videoqualität und die QoE basierend auf Netzwerk- und Anwendungsschichtparametern zu schätzen. Um die Genauigkeit der Schätzung zu bewerten, wurde die VNF in verschiedenen Szenarien unter verschiedener Netzwerk-QoS und der virtuellen Umgebung der Cloud-Architektur gemessen. Die Erkenntnisse zeigen, dass die unterschiedlichen geografischen Implementierungen der VNF die Genauigkeit der Schätzung der Videoqualität und QoE beeinflussen. Es wurden verschiedene Platzierungsalgorithmen der Service Function Chain (SFC) vorgeschlagen und im Kontext von Edge-Cloud-Netzwerken verglichen. Diese Forschungsarbeit zielt zum einen auf Cloud-Service-Provider ab, indem ihnen Methoden zur Bewertung der QoE für Cloud-Anwendungen zur Verfügung gestellt werden. Auf der anderen Seite können die Netzwerkbetreiber die Fallstricke und Nachteile der Anwendung des NFV-Paradigmas für einen solchen QoE-Überwachungsmechanismus erlernen. T3 - Würzburger Beiträge zur Leistungsbewertung Verteilter Systeme - 01/18 KW - Quality of Experience KW - QoE Monitoring KW - Netzwerk KW - Virtualisierung KW - Network Function Virtualization KW - Performance Evaluation KW - Leistungsbewertung Y1 - 2018 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-169182 SN - 1432-8801 ER -