Refine
Has Fulltext
- yes (6)
Is part of the Bibliography
- yes (6)
Document Type
- Doctoral Thesis (6)
Keywords
- Entscheidungsunterstützungssystem (6) (remove)
Recent computing advances are driving the integration of artificial intelligence (AI)-based systems into nearly every facet of our daily lives. To this end, AI is becoming a frontier for enabling algorithmic decision-making by mimicking or even surpassing human intelligence. Thereupon, these AI-based systems can function as decision support systems (DSSs) that assist experts in high-stakes use cases where human lives are at risk. All that glitters is not gold, due to the accompanying complexity of the underlying machine learning (ML) models, which apply mathematical and statistical algorithms to autonomously derive nonlinear decision knowledge. One particular subclass of ML models, called deep learning models, accomplishes unsurpassed performance, with the drawback that these models are no longer explainable to humans. This divergence may result in an end-user’s unwillingness to utilize this type of AI-based DSS, thus diminishing the end-user’s system acceptance.
Hence, the explainable AI (XAI) research stream has gained momentum, as it develops techniques to unravel this black-box while maintaining system performance. Non-surprisingly, these XAI techniques become necessary for justifying, evaluating, improving, or managing the utilization of AI-based DSSs. This yields a plethora of explanation techniques, creating an XAI jungle from which end-users must choose. In turn, these techniques are preliminarily engineered by developers for developers without ensuring an actual end-user fit. Thus, it renders unknown how an end-user’s mental model behaves when encountering such explanation techniques.
For this purpose, this cumulative thesis seeks to address this research deficiency by investigating end-user perceptions when encountering intrinsic ML and post-hoc XAI explanations. Drawing on this, the findings are synthesized into design knowledge to enable the deployment of XAI-based DSSs in practice. To this end, this thesis comprises six research contributions that follow the iterative and alternating interplay between behavioral science and design science research employed in information systems (IS) research and thus contribute to the overall research objectives as follows: First, an in-depth study of the impact of transparency and (initial) trust on end-user acceptance is conducted by extending and validating the unified theory of acceptance and use of technology model. This study indicates both factors’ strong but indirect effects on system acceptance, validating further research incentives. In particular, this thesis focuses on the overarching concept of transparency. Herein, a systematization in the form of a taxonomy and pattern analysis of existing user-centered XAI studies is derived to structure and guide future research endeavors, which enables the empirical investigation of the theoretical trade-off between performance and explainability in intrinsic ML algorithms, yielding a less gradual trade-off, fragmented into three explainability groups. This includes an empirical investigation on end-users’ perceived explainability of post-hoc explanation types, with local explanation types performing best. Furthermore, an empirical investigation emphasizes the correlation between comprehensibility and explainability, indicating almost significant (with outliers) results for the assumed correlation. The final empirical investigation aims at researching XAI explanation types on end-user cognitive load and the effect of cognitive load on end-user task performance and task time, which also positions local explanation types as best and demonstrates the correlations between cognitive load and task performance and, moreover, between cognitive load and task time. Finally, the last research paper utilizes i.a. the obtained knowledge and derives a nascent design theory for XAI-based DSSs. This design theory encompasses (meta-) design requirements, design principles, and design features in a domain-independent and interdisciplinary fashion, including end-users and developers as potential user groups. This design theory is ultimately tested through a real-world instantiation in a high-stakes maintenance scenario.
From an IS research perspective, this cumulative thesis addresses the lack of research on perception and design knowledge for an ensured utilization of XAI-based DSS. This lays the foundation for future research to obtain a holistic understanding of end-users’ heuristic behaviors during decision-making to facilitate the acceptance of XAI-based DSSs in operational practice.
Innovative possibilities for data collection, networking, and evaluation are unleashing previously untapped potential for industrial production. However, harnessing this potential also requires a change in the way we work. In addition to expanded automation, human-machine cooperation is becoming more important: The machine achieves a reduction in complexity for humans through artificial intelligence. In fractions of a second large amounts of data of high decision quality are analyzed and suggestions are offered. The human being, for this part, usually makes the ultimate decision. He validates the machine’s suggestions and, if necessary, (physically) executes them.
Both entities are highly dependent on each other to accomplish the task in the best possible way. Therefore, it seems particularly important to understand to what extent such cooperation can be effective. Current developments in the field of artificial intelligence show that research in this area is particularly focused on neural network approaches. These are considered to be highly powerful but have the disadvantage of lacking transparency. Their inherent computational processes and the respective result reasoning remain opaque to humans. Some researchers assume that human users might therefore reject the system’s suggestions. The research domain of explainable artificial intelligence (XAI) addresses this problem and tries to develop methods to realize systems that are highly efficient and explainable.
This work is intended to provide further insights relevant to the defined goal of XAI. For this purpose, artifacts are developed that represent research achievements regarding the systematization, perception, and adoption of artificially intelligent decision support systems from a user perspective. The focus is on socio-technical insights with the aim to better understand which factors are important for effective human-machine cooperation. The elaborations predominantly represent extended grounded research. Thus, the artifacts imply an extension of knowledge in order to develop and/ or test effective XAI methods and techniques based on this knowledge. Industry 4.0, with a focus on maintenance, is used as the context for this development.
Das Thema dieser Dissertation lautet „Konzeption und Evaluation eines webbasierten Patienteninformationsprogrammes zur Überprüfung internistischer Verdachtsdiagnosen“. Zusammen mit dem Institut für Informatik wurde das wissensbasierte second-opinion-System SymptomCheck entwickelt. Das Programm dient zur Überprüfung von Verdachtsdiagnosen. Es wurden Wissensbasen erstellt, in denen Symptome, Befunde und Untersuchungen nach einem Bewertungsschema beurteilt werden. Folgend wurde eine online erreichbare Startseite erstellt, auf der Nutzer vornehmlich internistische Verdachtsdiagnosen überprüfen können. Das Programm wurde in zwei Studien bezüglich seiner Sensitivität und Spezifität sowie der Benutzerfreundlichkeit getestet. In der ersten Studie wurden die Verdachtsdiagnosen ambulanter Patienten mit den ärztlich gestellten Diagnosen verglichen, eine zweite an die Allgemeinbevölkerung gerichtete Onlinestudie galt vor allem der Bewertung der Benutzerfreundlichkeit. Soweit bekannt ist dies die erste Studie in der ein selbst entwickeltes Programm selbstständig an echten Patienten getestet wurde.
Das Thema dieser Dissertation lautet „SymptomCheck - ein Programm zur Symptom-orientierten Ableitung eines Diagnosevorschlags“. Der Rahmen dieser Dissertation umfasst die ausführliche, eigenständige Konzeption von SymptomCheck, dessen Untersuchung auf Benutzerfreundlichkeit und eine Überprüfung auf allgemeine Validität bezüglich der Verdachtsgenerierung. Hierbei wurde die Entwicklung der Wissensbasis mit dem dafür eigens konzipierten Bewertungsschema entwickelt. Desweiteren wurde eine alltagstaugliche Benutzeroberfläche generiert, die ein breites Personenspektrum adressiert. In einer Pilotstudie I wurde das Programm auf die oben erwähnten Aspekte hin untersucht und dessen Mängel überarbeitet. Die endgültige Version von SymptomCheck wurde sodann sowohl in einer Online-Evaluation wie auch einer weiteren klinischen Anwendung getestet (Pilotstudie II). Während bei der Online-Evaluation der Fokus auf der Untersuchung der Benutzungsqualität lag, wurde in der Pilotstudie II mit stationären Patienten vor allem die Präzision der Verdachtsgenerierung untersucht.
Die vorliegende Arbeit ist demnach vermutlich die erste, die ein selbstentwickeltes Online-Programm im Rahmen einer Online-Evaluation an Probanden und im Rahmen einer klinischen Studie an echten Patienten testete. SymptomCheck ist somit der erste vielversprechende Schritt, ein für den Alltagsgebrauch entwickeltes, breit gefächertes Selbstdiagnoseprogramm klinisch zu validieren.
Advanced Analytics in Operations Management and Information Systems: Methods and Applications
(2019)
The digital transformation of business and society presents enormous potentials for companies across all sectors. Fueled by massive advances in data generation, computing power, and connectivity, modern organizations have access to gigantic amounts of data. Companies seek to establish data-driven decision cultures to leverage competitive advantages in terms of efficiency and effectiveness. While most companies focus on descriptive tools such as reporting, dashboards, and advanced visualization, only a small fraction already leverages advanced analytics (i.e., predictive and prescriptive analytics) to foster data-driven decision-making today. Therefore, this thesis set out to investigate potential opportunities to leverage prescriptive analytics in four different independent parts.
As predictive models are an essential prerequisite for prescriptive analytics, the first two parts of this work focus on predictive analytics. Building on state-of-the-art machine learning techniques, we showcase the development of a predictive model in the context of capacity planning and staffing at an IT consulting company. Subsequently, we focus on predictive analytics applications in the manufacturing sector. More specifically, we present a data science toolbox providing guidelines and best practices for modeling, feature engineering, and model interpretation to manufacturing decision-makers. We showcase the application of this toolbox on a large data-set from a German manufacturing company.
Merely using the improved forecasts provided by powerful predictive models enables decision-makers to generate additional business value in some situations. However, many complex tasks require elaborate operational planning procedures. Here, transforming additional information into valuable actions requires new planning algorithms. Therefore, the latter two parts of this thesis focus on prescriptive analytics. To this end, we analyze how prescriptive analytics can be utilized to determine policies for an optimal searcher path problem based on predictive models. While rapid advances in artificial intelligence research boost the predictive power of machine learning models, a model uncertainty remains in most settings. The last part of this work proposes a prescriptive approach that accounts for the fact that predictions are imperfect and that the arising uncertainty needs to be considered. More specifically, it presents a data-driven approach to sales-force scheduling. Based on a large data set, a model to predictive the benefit of additional sales effort is trained. Subsequently, the predictions, as well as the prediction quality, are embedded into the underlying team orienteering problem to determine optimized schedules.
Im Umfeld von Unternehmenssoftware, Planung und Entscheidung in Wertschöpfungsnetzen sind verschiedene Schlagwörter weit verbreitet. Technologisch getriebene Themen wie Real-Time-Enterprise-Management, Big Data, Business Intelligence, Corporate Performance Ma-nagement und die dazugehörige Software werden in diversen Anwendungskontexten verwen-det. In Unternehmen jedoch werden die klassischen betriebswirtschaftlichen Aufgaben wie Unternehmens-, Absatz- und Produktionsplanung rein methodisch und funktional durchge-führt. Eine abteilungsübergreifende Prozessbetrachtung kann nicht als gegeben betrachtet werden. Das Zusammentreffen von technologischem Fortschritt durch Standardanwendungs-software verbunden mit innovativen Datenspeicher- und Informationsverarbeitungsmethoden und den organisatorischen Strukturen in global agierenden Produktionsunternehmen, bewirkt einen nie da gewesenen Anstieg der Komplexität. Folglich müssen sich die Organisation und Informationssysteme im Sinne der Integration aneinander annähern, um Koordinations-schwierigkeiten bei bereichsübergreifenden Arbeitsabläufen und deren Informationsflüssen zu reduzieren.
Die zunehmende Automatisierung inner- und zwischenbetrieblicher Planungsabläufe sowie der Anstieg der Informationsquellen für zukünftige Geschäftsentscheidungen hat eine große Datenmenge zur Folge. Um den unbestrittenen Mehrwert von richtiger Information am richti-gen Ort zur richtigen Zeit für Unternehmen nutzbar zu machen und die daraus abgeleiteten Entscheidungen umzusetzen, bedarf es einer präzisen Beschreibung der relevanten Geschäfts-prozesse und der spezifischen Informationen. Deshalb verändern sich die Planungs- und Ent-scheidungsprozesse durch die Konsolidierung moderner Informationstechnologie massiv. Hierfür wird ein innovativer und praxiserprobter Ansatz entwickelt:
Unter integrierter Planung- und Entscheidung (IPE) ist die Standardisierung der dezentralen Entscheidungsfindung unter Einbeziehung aller relevanten Informationen im Absatz-, Pro-duktionsgrob- und Finanzplanungsprozess zu verstehen. Basis ist die zentrale Informations-administration.
Der Autor entwickelt ein Vorgehensmodell zur Standardisierung des integrierten Planungs- und Entscheidungsprozesses, das alle wesentlichen Funktionen und Abteilungen eines produ-zierenden Unternehmens verbindet. Dabei werden die relevanten Informationen identifiziert und in ein ganzheitliches IPE-Rahmenwerk eingebettet. Dies zeigt das Zusammenspiel der allgemeinen informationstechnologischen und organisatorischen Anforderungen mit den auf-gabenbezogenen Zielsetzungen im taktischen Planungs- und Entscheidungsprozess auf. Das Modell löst die Planungsproblematik im Anwendungsfall eines multinationalen Unterneh-mens.
Anwender erhalten mit der Arbeit einen praxisgerechten Leitfaden zur Einführung standardi-sierter Planungs- und Entscheidungsprozesse. Dabei wird die Automatisierung insofern be-rücksichtigt, dass das Vorgehensmodell auch für Unternehmen mit heterogenen Informations-systemlandschaften Nutzen stiftet. Darüber hinaus, kann das IPE-Modell für Software-Firmen als Ausgangspunkt zur Weiterentwicklung von Standardanwendungssoftware im taktischen Managementbereich dienen.