TY - THES A1 - Hirth, Matthias Johannes Wilhem T1 - Modeling Crowdsourcing Platforms - A Use-Case Driven Approach T1 - Modellierung von Crowdsourcing-Plattformen anhand von Anwendungsfällen N2 - Computer systems have replaced human work-force in many parts of everyday life, but there still exists a large number of tasks that cannot be automated, yet. This also includes tasks, which we consider to be rather simple like the categorization of image content or subjective ratings. Traditionally, these tasks have been completed by designated employees or outsourced to specialized companies. However, recently the crowdsourcing paradigm is more and more applied to complete such human-labor intensive tasks. Crowdsourcing aims at leveraging the huge number of Internet users all around the globe, which form a potentially highly available, low-cost, and easy accessible work-force. To enable the distribution of work on a global scale, new web-based services emerged, so called crowdsourcing platforms, that act as mediator between employers posting tasks and workers completing tasks. However, the crowdsourcing approach, especially the large anonymous worker crowd, results in two types of challenges. On the one hand, there are technical challenges like the dimensioning of crowdsourcing platform infrastructure or the interconnection of crowdsourcing platforms and machine clouds to build hybrid services. On the other hand, there are conceptual challenges like identifying reliable workers or migrating traditional off-line work to the crowdsourcing environment. To tackle these challenges, this monograph analyzes and models current crowdsourcing systems to optimize crowdsourcing workflows and the underlying infrastructure. First, a categorization of crowdsourcing tasks and platforms is developed to derive generalizable properties. Based on this categorization and an exemplary analysis of a commercial crowdsourcing platform, models for different aspects of crowdsourcing platforms and crowdsourcing mechanisms are developed. A special focus is put on quality assurance mechanisms for crowdsourcing tasks, where the models are used to assess the suitability and costs of existing approaches for different types of tasks. Further, a novel quality assurance mechanism solely based on user-interactions is proposed and its feasibility is shown. The findings from the analysis of existing platforms, the derived models, and the developed quality assurance mechanisms are finally used to derive best practices for two crowdsourcing use-cases, crowdsourcing-based network measurements and crowdsourcing-based subjective user studies. These two exemplary use-cases cover aspects typical for a large range of crowdsourcing tasks and illustrated the potential benefits, but also resulting challenges when using crowdsourcing. With the ongoing digitalization and globalization of the labor markets, the crowdsourcing paradigm is expected to gain even more importance in the next years. This is already evident in the currently new emerging fields of crowdsourcing, like enterprise crowdsourcing or mobile crowdsourcing. The models developed in the monograph enable platform providers to optimize their current systems and employers to optimize their workflows to increase their commercial success. Moreover, the results help to improve the general understanding of crowdsourcing systems, a key for identifying necessary adaptions and future improvements. N2 - Computer haben menschliche Arbeitskräfte mittlerweile in vielen Bereichen des täglichen Lebens ersetzt. Dennoch gibt es immer noch eine große Anzahl von Aufgaben, die derzeit nicht oder nur teilweise automatisierbar sind. Hierzu gehören auch solche, welche als sehr einfach erachtet werden, beispielsweise das Kategorisieren von Bildinhalten oder subjektive Bewertungen. Traditionell wurden diese Aufgaben vorwiegend von eigens angestellten Mitarbeitern oder über Outsourcing gelöst. In den vergangenen Jahren wurde hierfür jedoch immer häufiger Crowdsourcing verwendet, wobei die große Anzahl an weltweiten Internetnutzern als hoch verfügbare, kostengünstige und einfach zu erreichende Arbeiterschaft eingesetzt wird. Um eine weltweite Verteilung von Arbeit zu ermöglichen hat sich eine neue Art von Internetdienstleistern entwickelt, die sogenannten Crowdsourcingplattformen. Diese dienen als Vermittler zwischen Arbeitgebern, welche Aufgaben auf den Plattformen einstellen und Arbeitnehmer, welche diese Aufgaben bearbeiten. Hierbei ergeben sich zwei Arten von Herausforderungen. Einerseits entstehen Herausforderungen technischer Art, wie etwa Fragen bezüglich der Dimensionierung der Plattforminfrastruktur oder der Realisierung von Programmierschnittstellen zur Verbindung von Crowdsourcingplattformen mit anderen Cloudanbietern. Andererseits ergeben sich konzeptionelle Herausforderungen, wie etwa die Identifikation vertrauenswürdiger Arbeitnehmer oder Methoden zur Migration von traditionellen Arbeitsaufgaben in Crowdsourcing-basierte Arbeit. In diesem Monograph werden beide Arten von Herausforderungen adressiert. Hierzu werden aktuelle Crowdsourcingsysteme analysiert und modelliert, um basieren auf den gewonnenen Erkenntnissen, Arbeitsabläufe im Crowdsourcing und die den Systemen zu Grunde liegende Infrastruktur zu optimieren. Zunächst wird hierfür eine Kategorisierung von Crowdsourcing Aufgaben und Plattformen entwickelt um generalisierbare Eigenschaften abzuleiten. Basierend auf dieser Kategorisierung und einer beispielhaften Analyse einer kommerziellen Crowdsourcingplattform werden Modelle entwickelt, die verschiedene Aspekte der Plattformen sowie der eingesetzten Mechanismen abbilden. Hierbei wird ein besonderer Fokus auf die Verlässlichkeit von Qualitätssicherungsmechanismen, deren Kosten und Einsetzbarkeit für verschiedene Aufgabentypen gelegt. Ferner wird ein neuer Qualitätssicherungsmechanismus vorgestellt und evaluiert, welcher lediglich auf den Interaktionen der Crowdsourcingarbeitnehmer mit der Nutzeroberfläche basiert. Die Erkenntnisse, aus der Analyse existierender Plattformen, den abgeleiteten Modellen und dem entwickelten Qualitätssicherungsmechanismus fließen schließlich in konkrete Designempfehlungen für zwei exemplarische Crowdsourcinganwendungsfälle ein. Die beiden gewählten Anwendungsfälle decken Aspekte einer Vielzahl von Crowdsourcingaufgaben ab und zeigen sowohl die Vorteile als auch die Herausforderungen beim Einsatz von Crowdsourcing. Aufgrund der zunehmenden Digitalisierung und Globalisierung des Arbeitsmarkes ist es zu erwarten, dass Crowdsourcing in den nächsten Jahren noch weiter an Bedeutung gewinnt. Dies zeigt sich bereits daran, dass Crowdsourcingansätze mittlerweile vermehrt in Unternehmen oder im mobilen Umfeld eingesetzt werden. Die Modelle aus diesem Monograph, ermöglichen Plattformbetreibern eine Optimierung ihrer Systeme und Arbeitgebern eine Optimierung ihrer Arbeitsabläufe. Weiterhin helfen die gewonnenen Erkenntnisse das prinzipielle Verständnis von Crowdsourcingsystemen zu verbessern, was wiederum eine Grundvoraussetzung für das Erkennen von Anpassungsbedarf und Optimierungspotential ist. T3 - Würzburger Beiträge zur Leistungsbewertung Verteilter Systeme - 02/16 KW - Open Innovation KW - Leistungsbewertung KW - Optimiertung KW - Modellierung KW - Studie KW - Crowdsourcing KW - Quality of Experience KW - Modelling KW - Performance Evaluation KW - Optimization KW - Modellierung KW - Nutzerstudie KW - Crowdsourcing Y1 - 2016 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-140726 SN - 1432-8801 ER - TY - THES A1 - Borchert, Kathrin Johanna T1 - Estimating Quality of Experience of Enterprise Applications - A Crowdsourcing-based Approach T1 - Abschätzung der Quality of Experience von Geschäftsanwendungen - Ein crowdsourcing-basierter Ansatz N2 - Nowadays, employees have to work with applications, technical services, and systems every day for hours. Hence, performance degradation of such systems might be perceived negatively by the employees, increase frustration, and might also have a negative effect on their productivity. The assessment of the application's performance in order to provide a smooth operation of the application is part of the application management. Within this process it is not sufficient to assess the system performance solely on technical performance parameters, e.g., response or loading times. These values have to be set into relation to the perceived performance quality on the user's side - the quality of experience (QoE). This dissertation focuses on the monitoring and estimation of the QoE of enterprise applications. As building models to estimate the QoE requires quality ratings from the users as ground truth, one part of this work addresses methods to collect such ratings. Besides the evaluation of approaches to improve the quality of results of tasks and studies completed on crowdsourcing platforms, a general concept for monitoring and estimating QoE in enterprise environments is presented. Here, relevant design dimension of subjective studies are identified and their impact of the QoE is evaluated and discussed. By considering the findings, a methodology for collecting quality ratings from employees during their regular work is developed. The method is realized by implementing a tool to conduct short surveys and deployed in a cooperating company. As a foundation for learning QoE estimation models, this work investigates the relationship between user-provided ratings and technical performance parameters. This analysis is based on a data set collected in a user study in a cooperating company during a time span of 1.5 years. Finally, two QoE estimation models are introduced and their performance is evaluated. N2 - Heutzutage sind Geschäftsanwendungen und technische Systeme aus dem Arbeitsalltag vieler Menschen nicht mehr wegzudenken. Kommt es bei diesen zu Performanzproblemen, wie etwa Verzögerungen im Netzwerk oder Überlast im Datenzentrum, kann sich dies negativ auf die Effizienz und Produktivität der Mitarbeiter auswirken. Daher ist es wichtig aus Sicht der Betreiber die Performanz der Anwendungen und Systeme zu überwachen. Hierbei ist es allerdings nicht ausreichend die Qualität lediglich anhand von technischen Performanzparametern wie Antwortzeiten zu beurteilen. Stattdessen sollten diese Werte in Relation zu der von den Mitarbeitern wahrgenommenen Performanz oder Quality of Experience (QoE) gesetzt werden. Diese Dissertation beschäftigt sich mit dem Monitoring und der Abschätzung der QoE von Geschäftsanwendungen. Neben der Präsentation eines generellen Konzepts zum Monitoring und der Abschätzung der QoE im Geschäftsumfeld, befasst sich die Arbeit mit Aspekten der Erfassung von Qualitätsbewertungen durch die Nutzer. Dies umfasst einerseits die Evaluation von Ansätzen zur Verbesserung der Qualität von Aufgaben- und Studienergebnissen auf Crowdsourcing-Plattformen. Andererseits werden relevante Dimensionen des Designs von Studien zur Untersuchung der QoE von Geschäftsanwendungen aufgezeigt und deren Einfluss auf die QoE diskutiert und evaluiert. Letztendlich wird eine Methodik zur Erfassung von Qualitätsbewertungen durch Mitarbeiter während ihrer regulären Arbeit vorgestellt, welche implementiert und in einem kooperierenden Unternehmen ausgerollt wurde. Als Grundlage der Entwicklung eines QoE Abschätzungsmodells, untersucht diese Arbeit den Zusammenhang zwischen Bewertungen durch die Nutzer und technischen Performanzparametern. Die Untersuchungen erfolgen auf einem Datensatz, welcher in einer Studie über 1.5 Jahre in einem kooperierenden Unternehmen gesammelt wurde. Des Weiteren werden zwei Methoden zur Abschätzung der QoE präsentiert und deren Performanz evaluiert. T3 - Würzburger Beiträge zur Leistungsbewertung Verteilter Systeme - 02/20 KW - Quality of Experience KW - Crowdsourcing KW - Monitoring KW - Enterprise-Resource-Planning KW - Quality of Experience KW - Crowdsourcing KW - User studies KW - Enterprise application KW - QoE estimation KW - Quality of Experience KW - Crowdsourcing KW - Nutzerstudien KW - Geschäftsanwendung KW - QoE-Abschätzung KW - Monitoring Y1 - 2020 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-216978 SN - 1432-8801 ER -