Christoph Sonnenberg

• The current dissertation addresses the analysis of technology-enhanced learning processes by using Process Mining techniques. For this purpose, students’ coded think-aloud data served as the measurement of the learning process, in order to assess the potential of this analysis method for evaluating the impact of instructional support. The increasing use of digital media in higher education and further educational sectors enables new potentials. However, it also poses new challenges to students, especially regarding the self-regulation ofThe current dissertation addresses the analysis of technology-enhanced learning processes by using Process Mining techniques. For this purpose, students’ coded think-aloud data served as the measurement of the learning process, in order to assess the potential of this analysis method for evaluating the impact of instructional support. The increasing use of digital media in higher education and further educational sectors enables new potentials. However, it also poses new challenges to students, especially regarding the self-regulation of their learning process. To help students with optimally making progress towards their learning goals, instructional support is provided during learning. Besides the use of questionnaires and tests for the assessment of learning, researchers make use increasingly of process data to evaluate the effects of provided support. The analysis of observed behavioral traces while learning (e.g., log files, eye movements, verbal reports) allows detailed insights into the student’s activities as well as the impact of interventions on the learning process. However, new analytical challenges emerge, especially when going beyond the analysis of pure frequencies of observed events. For example, the question how to deal with temporal dynamics and sequences of learning activities arises. Against this background, the current dissertation concentrates on the application of Process Mining techniques for the detailed analysis of learning processes. In particular, the focus is on the additional value of this approach in comparison to a frequency-based analysis, and therefore on the potential of Process Mining for the evaluation of instructional support. An extensive laboratory study with 70 university students, which was conducted to investigate the impact of a support measure, served as the basis for pursuing the research agenda of this dissertation. Metacognitive prompts supported students in the experimental group (n = 35) during a 40-minute hypermedia learning session; whereas the control group (n = 35) received no support. Approximately three weeks later, all students participated in another learning session; however, this time all students learned without any help. The participants were instructed to verbalize their learning activities concurrently while learning. In the three analyses of this dissertation, the coded think aloud data were examined in detail by using frequency-based methods as well as Process Mining techniques. The first analysis addressed the comparison of the learning activities between the experimental and control groups during the first learning session. This study concentrated on the research questions whether metacognitive prompting increases the number of metacognitive learning activities, whether a higher number of these learning activities corresponds with learning outcome (mediation), and which differences regarding the sequential structure of learning activities can be revealed. The second analysis investigated the impact of the individual prompts as well as the conditions of their effectiveness on the micro level. In addition to Process Mining, we used a data mining approach to compare the findings of both analysis methods. More specifically, we classified the prompts by their effectiveness, and we examined the learning activities preceding and following the presentation of instructional support. Finally, the third analysis considered the long-term effects of metacognitive prompting on the learning process during another learning session without support. It was the key objective of this study to examine which fostered learning activities and process patterns remained stable during the second learning session. Overall, all three analyses indicated the additional value of Process Mining in comparison to a frequency-based analysis. Especially when conceptualizing the learning process as a dynamic sequence of multiple activities, Process Mining allows identifying regulatory loops and crucial routing points of the process. These findings might contribute to optimizing intervention strategies. However, before drawing conclusions for the design of instructional support based on the revealed process patterns, additional analyses need to investigate the generalizability of results. Moreover, the application of Process Mining remains challenging because guidelines for analytical decisions and parameter settings in technology-enhanced learning context are currently missing. Therefore, future studies need to examine further the potential of Process Mining as well as related analysis methods to provide researchers with concrete recommendations for use. Nevertheless, the application of Process Mining techniques can already contribute to advance the understanding of the impact of instructional support through the use of fine-grained process data.…
• Die vorliegende Dissertation beschäftigt sich mit der Analyse technologieunterstützter Lernprozesse unter Verwendung von Process Mining Methoden. Dabei werden kodierte Protokolle des lauten Denkens als Prozessmaß genutzt, um eine Bewertung des Potentials dieses Analyseansatzes für die Evaluation der Effekte instruktionaler Hilfe vornehmen zu können. Die zunehmende Verbreitung digitaler Medien in der Hochschulbildung und weiteren Ausbildungssektoren schafft neue Potentiale, allerdings auch neue Anforderungen an den Lerner, insbesondere an dieDie vorliegende Dissertation beschäftigt sich mit der Analyse technologieunterstützter Lernprozesse unter Verwendung von Process Mining Methoden. Dabei werden kodierte Protokolle des lauten Denkens als Prozessmaß genutzt, um eine Bewertung des Potentials dieses Analyseansatzes für die Evaluation der Effekte instruktionaler Hilfe vornehmen zu können. Die zunehmende Verbreitung digitaler Medien in der Hochschulbildung und weiteren Ausbildungssektoren schafft neue Potentiale, allerdings auch neue Anforderungen an den Lerner, insbesondere an die Regulation seines Lernprozesses. Um ihn dabei zu unterstützen seinen Lernfortschritt optimal zu gestalten, wird ihm während des Lernens instruktionale Hilfe angeboten. Neben der Evaluation mittels Fragebögen und Testverfahren wird die Wirksamkeit der angebotenen Unterstützung zunehmend durch Prozessdaten bewertet. Die Analyse von beobachteten Verhaltensspuren während des Lernens (z.B. Logfiles, Blickbewegungen, Verbalprotokolle) ermöglicht einen detaillierten Einblick in die Lernhandlungen und die Folgen von Unterstützungsmaßnahmen. Allerdings stellen sich auch eine Reihe von neuen analytischen Herausforderungen, wie der Umgang mit zeitlichen Dynamiken und Sequenzen von Lernhandlungen, insbesondere wenn man über Häufigkeitsanalysen der beobachteten Ereignisse hinausgehen möchte. Vor diesem Hintergrund beschäftigt sich die vorliegende Arbeit mit der Anwendung von Process Mining Methoden zur detaillierten Betrachtung von Lernprozessen. Insbesondere der Mehrwert dieses Ansatzes gegenüber einer reinen Häufigkeitsanalyse und somit die Potentiale von Process Mining für die Evaluation von Fördermaßen sollen herausgestellt werden. Als Grundlage für die Bearbeitung der Fragestellung diente eine umfangreiche Laborstudie mit 70 Universitätsstudierenden, die durchgeführt wurde um die Effekte einer instruktionalen Fördermaßnahme zu prüfen. Die Probanden der Experimentalgruppe (n = 35) erhielten in einer 40-minütigen Hypermedia-Lernsitzung eine Förderung durch metakognitive Prompts, während die Kontrollgruppe (n = 35) ohne Hilfe lernte. In einer weiteren Lernsitzung drei Wochen später bearbeiteten alle Teilnehmer eine weitere Lerneinheit, diesmal ohne Unterstützung für alle Probanden. Während des Lernens wurden alle Teilnehmer instruiert, ihre Lernhandlungen kontinuierlich zu verbalisieren. Die kodierten Verbalprotokolle wurden in den drei Analysen dieser Dissertation detailliert mit Häufigkeits- und Process Mining Analysen untersucht. Die erste Analyse konzentrierte sich auf den Vergleich der Lernhandlungen der Experimental- und Kontrollgruppe während der ersten Sitzung. Es wurde den Fragen nachgegangen, ob metakognitive Prompts die Lerner dazu anregen mehr metakognitive Lernhandlungen auszuführen, ob eine höhere Anzahl dieser Lernhandlungen mit dem Lernerfolg zusammenhängt (Mediation) und welche Unterschiede sich in den Abfolgen der Lernhandlungen finden lassen. In der zweiten Analyse wurden die Effekte der einzelnen Prompts sowie die Bedingungen für ihre Wirksamkeit auf einer sehr detaillierten Ebene betrachtet. Zusätzlich zu Process Mining wurde auch eine Data Mining Methode eingesetzt, um deren Befunde zu vergleichen. Im Detail fanden eine Klassifikation der Prompts anhand ihrer Effektivität und eine Untersuchung der kodierten Lernaktivitäten vor und nach der Präsentation instruktionaler Hilfe statt. Schließlich untersuchte die dritte Analyse die langfristigen Effekte metakognitiver Prompts auf den Lernprozess in einer weiteren Lernsitzung ohne Unterstützung. Hier stand die Frage im Mittelpunkt, welche geförderten Lernaktivitäten und Prozessmuster während der zweiten Lernsitzung stabil blieben. Insgesamt belegen die Ergebnisse aller drei durchgeführten Analysen den Mehrwert von Process Mining im Vergleich zu reinen häufigkeitsbasierten Analysemethoden. Insbesondere unter Betrachtung des Lernprozesses als dynamische Abfolge von mehreren Lernhandlungen, ermöglicht Process Mining die Identifikation von Regulationsschleifen und zentralen Verzweigungen des Prozesses. Diese Befunde könnten zur Optimierung von Interventionen verwendet werden. Bevor aus den aufgedeckten Prozessmustern Schlussfolgerungen für die Gestaltung instruktionaler Hilfe gezogen werden können, müssen allerdings weitere Analysen erst noch die Generalisierbarkeit der Befunde belegen. Darüber hinaus bleibt die Anwendung von Process Mining herausfordernd, da derzeit keine Richtlinien für analytische Entscheidungen und Parametereinstellungen für technologieunterstützte Lernkontexte vorhanden sind. Darum müssen in Zukunft weitere Studien das Potential von Process Mining und verwandten Analysemethoden betrachten, um Forschern konkrete Anwendungsempfehlungen zur Verfügung stellen zu können. Generell kann Process Mining aber bereits jetzt dazu beitragen, das Verständnis der Auswirkungen instruktionaler Hilfe auf der Prozessebene voran zu treiben.…