TY - JOUR A1 - Sonnenberg, Christoph A1 - Bannert, Maria T1 - Discovering the Effects of Metacognitive Prompts on the Sequential Structure of SRL-Processes Using Process Mining Techniques JF - Journal of Learning Analystics N2 - According to research examining self‐regulated learning (SRL), we regard individual regulation as a specific sequence of regulatory activities. Ideally, students perform various learning activities, such as analyzing, monitoring, and evaluating cognitive and motivational aspects during learning. Metacognitive prompts can foster SRL by inducing regulatory activities, which, in turn, improve the learning outcome. However, the specific effects of metacognitive support on the dynamic characteristics of SRL are not understood. Therefore, the aim of our study was to analyze the effects of metacognitive prompts on learning processes and outcomes during a computer‐based learning task. Participants of the experimental group (EG, n=35) were supported by metacognitive prompts, whereas participants of the control group (CG, n=35) received no support. Data regarding learning processes were obtained by concurrent think‐aloud protocols. The EG exhibited significantly more metacognitive learning events than did the CG. Furthermore, these regulatory activities correspond positively with learning outcomes. Process mining techniques were used to analyze sequential patterns. Our findings indicate differences in the process models of the EG and CG and demonstrate the added value of taking the order of learning activities into account by discovering regulatory patterns. KW - HeuristicsMiner algorithm KW - self‐regulated learning KW - metacognitive prompting KW - process analysis KW - process mining KW - think‐aloud data Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-152362 UR - http://learning-analytics.info/journals/index.php/JLA/article/view/4090 SN - 1929‐7750 N1 - Dieser Artikel ist auch Bestandteil der Dissertation: Sonnenberg, Christoph: Analyzing Technology-Enhanced Learning Processes: What Can Process Mining Techniques Contribute to the Evaluation of Instructional Support?. - Würzburg, Univ., Diss., 2017. - [online]. URN: urn:nbn:de:bvb:20-opus-152354 VL - 2 IS - 1 ER - TY - JOUR A1 - Sonnenberg, Christoph A1 - Bannert, Maria T1 - Evaluating the Impact of Instructional Support Using Data Mining and Process Mining: A Micro-Level Analysis of the Effectiveness of Metacognitive Prompts JF - Journal of Educational Data Mining N2 - In computer-supported learning environments, the deployment of self-regulatory skills represents an essential prerequisite for successful learning. Metacognitive prompts are a promising type of instructional support to activate students’ strategic learning activities. However, despite positive effects in previous studies, there are still a large number of students who do not benefit from provided support. Therefore, it may be necessary to consider explicitly the conditions under which a prompt is beneficial for a student, i.e., so-called adaptive scaffolding. The current study aims to (i) classify the effectiveness of prompts on regulatory behavior, (ii) investigate the correspondence of the classification with learning outcome, and (iii) discover the conditions under which prompts induce regulatory activities (i.e., the proper temporal positioning of prompts). The think-aloud data of an experiment in which metacognitive prompts supported the experimental group (n = 35) was used to distinguish between effective and non-effective prompts. Students’ activities preceding the prompt presentation were analyzed using data mining and process mining techniques. The results indicate that approximately half of the presented prompts induced metacognitive learning activities as expected. Moreover, the number of induced monitoring activities correlates positively with transfer performance. Finally, the occurrence of orientation and monitoring activities, which are not well-embedded in the course of learning, increases the effectiveness of a presented prompt. In general, our findings demonstrate the benefits of investigating metacognitive support using process data, which can provide implications for the design of effective instructional support. KW - process mining KW - think-aloud data KW - metacognitive prompting KW - micro-level analysis KW - instructional support KW - self-regulated learning Y1 - 2016 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-152375 UR - http://www.educationaldatamining.org/JEDM/index.php/JEDM/article/view/JEDM2016-8-2-3 N1 - Dieser Artikel ist auch Bestandteil der Dissertation: Sonnenberg, Christoph: Analyzing Technology-Enhanced Learning Processes: What Can Process Mining Techniques Contribute to the Evaluation of Instructional Support?. - Würzburg, Univ., Diss., 2017. - [online]. URN: urn:nbn:de:bvb:20-opus-152354 VL - 8 IS - 2 ER - TY - THES A1 - Sonnenberg, Christoph T1 - Analyzing Technology-Enhanced Learning Processes: What Can Process Mining Techniques Contribute to the Evaluation of Instructional Support? T1 - Eine Analyse technologieunterstützter Lernprozesse: Welchen Beitrag kann Process Mining für die Bewertung instruktionaler Hilfe leisten? N2 - The current dissertation addresses the analysis of technology-enhanced learning processes by using Process Mining techniques. For this purpose, students’ coded think-aloud data served as the measurement of the learning process, in order to assess the potential of this analysis method for evaluating the impact of instructional support. The increasing use of digital media in higher education and further educational sectors enables new potentials. However, it also poses new challenges to students, especially regarding the self-regulation of their learning process. To help students with optimally making progress towards their learning goals, instructional support is provided during learning. Besides the use of questionnaires and tests for the assessment of learning, researchers make use increasingly of process data to evaluate the effects of provided support. The analysis of observed behavioral traces while learning (e.g., log files, eye movements, verbal reports) allows detailed insights into the student’s activities as well as the impact of interventions on the learning process. However, new analytical challenges emerge, especially when going beyond the analysis of pure frequencies of observed events. For example, the question how to deal with temporal dynamics and sequences of learning activities arises. Against this background, the current dissertation concentrates on the application of Process Mining techniques for the detailed analysis of learning processes. In particular, the focus is on the additional value of this approach in comparison to a frequency-based analysis, and therefore on the potential of Process Mining for the evaluation of instructional support. An extensive laboratory study with 70 university students, which was conducted to investigate the impact of a support measure, served as the basis for pursuing the research agenda of this dissertation. Metacognitive prompts supported students in the experimental group (n = 35) during a 40-minute hypermedia learning session; whereas the control group (n = 35) received no support. Approximately three weeks later, all students participated in another learning session; however, this time all students learned without any help. The participants were instructed to verbalize their learning activities concurrently while learning. In the three analyses of this dissertation, the coded think aloud data were examined in detail by using frequency-based methods as well as Process Mining techniques. The first analysis addressed the comparison of the learning activities between the experimental and control groups during the first learning session. This study concentrated on the research questions whether metacognitive prompting increases the number of metacognitive learning activities, whether a higher number of these learning activities corresponds with learning outcome (mediation), and which differences regarding the sequential structure of learning activities can be revealed. The second analysis investigated the impact of the individual prompts as well as the conditions of their effectiveness on the micro level. In addition to Process Mining, we used a data mining approach to compare the findings of both analysis methods. More specifically, we classified the prompts by their effectiveness, and we examined the learning activities preceding and following the presentation of instructional support. Finally, the third analysis considered the long-term effects of metacognitive prompting on the learning process during another learning session without support. It was the key objective of this study to examine which fostered learning activities and process patterns remained stable during the second learning session. Overall, all three analyses indicated the additional value of Process Mining in comparison to a frequency-based analysis. Especially when conceptualizing the learning process as a dynamic sequence of multiple activities, Process Mining allows identifying regulatory loops and crucial routing points of the process. These findings might contribute to optimizing intervention strategies. However, before drawing conclusions for the design of instructional support based on the revealed process patterns, additional analyses need to investigate the generalizability of results. Moreover, the application of Process Mining remains challenging because guidelines for analytical decisions and parameter settings in technology-enhanced learning context are currently missing. Therefore, future studies need to examine further the potential of Process Mining as well as related analysis methods to provide researchers with concrete recommendations for use. Nevertheless, the application of Process Mining techniques can already contribute to advance the understanding of the impact of instructional support through the use of fine-grained process data. N2 - Die vorliegende Dissertation beschäftigt sich mit der Analyse technologieunterstützter Lernprozesse unter Verwendung von Process Mining Methoden. Dabei werden kodierte Protokolle des lauten Denkens als Prozessmaß genutzt, um eine Bewertung des Potentials dieses Analyseansatzes für die Evaluation der Effekte instruktionaler Hilfe vornehmen zu können. Die zunehmende Verbreitung digitaler Medien in der Hochschulbildung und weiteren Ausbildungssektoren schafft neue Potentiale, allerdings auch neue Anforderungen an den Lerner, insbesondere an die Regulation seines Lernprozesses. Um ihn dabei zu unterstützen seinen Lernfortschritt optimal zu gestalten, wird ihm während des Lernens instruktionale Hilfe angeboten. Neben der Evaluation mittels Fragebögen und Testverfahren wird die Wirksamkeit der angebotenen Unterstützung zunehmend durch Prozessdaten bewertet. Die Analyse von beobachteten Verhaltensspuren während des Lernens (z.B. Logfiles, Blickbewegungen, Verbalprotokolle) ermöglicht einen detaillierten Einblick in die Lernhandlungen und die Folgen von Unterstützungsmaßnahmen. Allerdings stellen sich auch eine Reihe von neuen analytischen Herausforderungen, wie der Umgang mit zeitlichen Dynamiken und Sequenzen von Lernhandlungen, insbesondere wenn man über Häufigkeitsanalysen der beobachteten Ereignisse hinausgehen möchte. Vor diesem Hintergrund beschäftigt sich die vorliegende Arbeit mit der Anwendung von Process Mining Methoden zur detaillierten Betrachtung von Lernprozessen. Insbesondere der Mehrwert dieses Ansatzes gegenüber einer reinen Häufigkeitsanalyse und somit die Potentiale von Process Mining für die Evaluation von Fördermaßen sollen herausgestellt werden. Als Grundlage für die Bearbeitung der Fragestellung diente eine umfangreiche Laborstudie mit 70 Universitätsstudierenden, die durchgeführt wurde um die Effekte einer instruktionalen Fördermaßnahme zu prüfen. Die Probanden der Experimentalgruppe (n = 35) erhielten in einer 40-minütigen Hypermedia-Lernsitzung eine Förderung durch metakognitive Prompts, während die Kontrollgruppe (n = 35) ohne Hilfe lernte. In einer weiteren Lernsitzung drei Wochen später bearbeiteten alle Teilnehmer eine weitere Lerneinheit, diesmal ohne Unterstützung für alle Probanden. Während des Lernens wurden alle Teilnehmer instruiert, ihre Lernhandlungen kontinuierlich zu verbalisieren. Die kodierten Verbalprotokolle wurden in den drei Analysen dieser Dissertation detailliert mit Häufigkeits- und Process Mining Analysen untersucht. Die erste Analyse konzentrierte sich auf den Vergleich der Lernhandlungen der Experimental- und Kontrollgruppe während der ersten Sitzung. Es wurde den Fragen nachgegangen, ob metakognitive Prompts die Lerner dazu anregen mehr metakognitive Lernhandlungen auszuführen, ob eine höhere Anzahl dieser Lernhandlungen mit dem Lernerfolg zusammenhängt (Mediation) und welche Unterschiede sich in den Abfolgen der Lernhandlungen finden lassen. In der zweiten Analyse wurden die Effekte der einzelnen Prompts sowie die Bedingungen für ihre Wirksamkeit auf einer sehr detaillierten Ebene betrachtet. Zusätzlich zu Process Mining wurde auch eine Data Mining Methode eingesetzt, um deren Befunde zu vergleichen. Im Detail fanden eine Klassifikation der Prompts anhand ihrer Effektivität und eine Untersuchung der kodierten Lernaktivitäten vor und nach der Präsentation instruktionaler Hilfe statt. Schließlich untersuchte die dritte Analyse die langfristigen Effekte metakognitiver Prompts auf den Lernprozess in einer weiteren Lernsitzung ohne Unterstützung. Hier stand die Frage im Mittelpunkt, welche geförderten Lernaktivitäten und Prozessmuster während der zweiten Lernsitzung stabil blieben. Insgesamt belegen die Ergebnisse aller drei durchgeführten Analysen den Mehrwert von Process Mining im Vergleich zu reinen häufigkeitsbasierten Analysemethoden. Insbesondere unter Betrachtung des Lernprozesses als dynamische Abfolge von mehreren Lernhandlungen, ermöglicht Process Mining die Identifikation von Regulationsschleifen und zentralen Verzweigungen des Prozesses. Diese Befunde könnten zur Optimierung von Interventionen verwendet werden. Bevor aus den aufgedeckten Prozessmustern Schlussfolgerungen für die Gestaltung instruktionaler Hilfe gezogen werden können, müssen allerdings weitere Analysen erst noch die Generalisierbarkeit der Befunde belegen. Darüber hinaus bleibt die Anwendung von Process Mining herausfordernd, da derzeit keine Richtlinien für analytische Entscheidungen und Parametereinstellungen für technologieunterstützte Lernkontexte vorhanden sind. Darum müssen in Zukunft weitere Studien das Potential von Process Mining und verwandten Analysemethoden betrachten, um Forschern konkrete Anwendungsempfehlungen zur Verfügung stellen zu können. Generell kann Process Mining aber bereits jetzt dazu beitragen, das Verständnis der Auswirkungen instruktionaler Hilfe auf der Prozessebene voran zu treiben. KW - Selbstgesteuertes Lernen KW - Prozessanalyse KW - Process Mining KW - Metacognitive Prompting KW - Instructional Support KW - Technology-Enhanced Learning KW - Self-Regulated Learning KW - Metakognition KW - Lautes Denken Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-152354 ER -