TY - JOUR A1 - Frey, Anna A1 - Leutritz, Tobias A1 - Backhaus, Joy A1 - Hörnlein, Alexander A1 - König, Sarah T1 - Item format statistics and readability of extended matching questions as an effective tool to assess medical students JF - Scientific Reports N2 - Testing based on multiple choice questions (MCQ) is one of the most established forms of assessment, not only in the medical field. Extended matching questions (EMQ) represent a specific type of MCQ designed to require higher levels of cognition, such as problem-solving. The purpose of this evaluation was to assess the suitability and efficiency of EMQ as an assessment method. EMQ were incorporated into the end-of-semester examination in internal medicine, in which 154 students participated, and compared with three established MCQ types. Item and examination quality were investigated, as well as readability and processing time. EMQ were slightly more difficult to score; however, both item discrimination and discrimination index were higher when compared to other item types. EMQ were found to be significantly longer and required more processing time, but readability was improved. Students judged EMQ as clearly challenging, but attributed significantly higher clinical relevance when compared to established MCQ formats. Using the Spearman-Brown prediction, only ten EMQ items would be needed to reproduce the Cronbach’s alpha value of 0.75 attained for the overall examination. EMQ proved to be both efficient and suitable when assessing medical students, demonstrating powerful characteristics of reliability. Their expanded use in favor of common MCQ could save examination time without losing out on statistical quality. KW - multiple choice questions KW - extended matching questions KW - medical students Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-300485 VL - 12 IS - 1 ER - TY - JOUR A1 - Mandel, Alexander A1 - Hörnlein, Alexander A1 - Ifland, Marianus A1 - Lüneburg, Edeltraud A1 - Deckert, Jürgen A1 - Puppe, Frank T1 - Aufwandsanalyse für computerunterstützte Multiple-Choice Papierklausuren T1 - Cost analysis for computer supported multiple-choice paper examinations JF - GMS Journal for Medical Education N2 - Introduction: Multiple-choice-examinations are still fundamental for assessment in medical degree programs. In addition to content related research, the optimization of the technical procedure is an important question. Medical examiners face three options: paper-based examinations with or without computer support or completely electronic examinations. Critical aspects are the effort for formatting, the logistic effort during the actual examination, quality, promptness and effort of the correction, the time for making the documents available for inspection by the students, and the statistical analysis of the examination results. Methods: Since three semesters a computer program for input and formatting of MC-questions in medical and other paper-based examinations is used and continuously improved at Wuerzburg University. In the winter semester (WS) 2009/10 eleven, in the summer semester (SS) 2010 twelve and in WS 2010/11 thirteen medical examinations were accomplished with the program and automatically evaluated. For the last two semesters the remaining manual workload was recorded. Results: The cost of the formatting and the subsequent analysis including adjustments of the analysis of an average examination with about 140 participants and about 35 questions was 5-7 hours for exams without complications in the winter semester 2009/2010, about 2 hours in SS 2010 and about 1.5 hours in the winter semester 2010/11. Including exams with complications, the average time was about 3 hours per exam in SS 2010 and 2.67 hours for the WS 10/11. Discussion: For conventional multiple-choice exams the computer-based formatting and evaluation of paper-based exams offers a significant time reduction for lecturers in comparison with the manual correction of paper-based exams and compared to purely electronically conducted exams it needs a much simpler technological infrastructure and fewer staff during the exam." N2 - Einleitung: Multiple-Choice-Klausuren spielen immer noch eine herausragende Rolle für fakultätsinterne medizinische Prüfungen. Neben inhaltlichen Arbeiten stellt sich die Frage, wie die technische Abwicklung optimiert werden kann. Für Dozenten in der Medizin gibt es zunehmend drei Optionen zur Durchführung von MC-Klausuren: Papierklausuren mit oder ohne Computerunterstützung oder vollständig elektronische Klausuren. Kritische Faktoren sind der Aufwand für die Formatierung der Klausur, der logistische Aufwand bei der Klausurdurchführung, die Qualität, Schnelligkeit und der Aufwand der Klausurkorrektur, die Bereitstellung der Dokumente für die Einsichtnahme, und die statistische Analyse der Klausurergebnisse. Methoden: An der Universität Würzburg wird seit drei Semestern ein Computerprogramm zur Eingabe und Formatierung der MC-Fragen in medizinischen und anderen Papierklausuren verwendet und optimiert, mit dem im Wintersemester (WS) 2009/2010 elf, im Sommersemester (SS) 2010 zwölf und im WS 2010/11 dreizehn medizinische Klausuren erstellt und anschließend die eingescannten Antwortblätter automatisch ausgewertet wurden. In den letzten beiden Semestern wurden die Aufwände protokolliert. Ergebnisse: Der Aufwand der Formatierung und der Auswertung einschl. nachträglicher Anpassung der Auswertung einer Durchschnittsklausur mit ca. 140 Teilnehmern und ca. 35 Fragen ist von 5-7 Stunden für Klausuren ohne Komplikation im WS 2009/2010 über ca. 2 Stunden im SS 2010 auf ca. 1,5 Stunden im WS 2010/11 gefallen. Einschließlich der Klausuren mit Komplikationen bei der Auswertung betrug die durchschnittliche Zeit im SS 2010 ca. 3 Stunden und im WS 10/11 ca. 2,67 Stunden pro Klausur. Diskussion: Für konventionelle Multiple-Choice-Klausuren bietet die computergestützte Formatierung und Auswertung von Papierklausuren einen beträchtlichen Zeitvorteil für die Dozenten im Vergleich zur manuellen Korrektur von Papierklausuren und benötigt im Vergleich zu rein elektronischen Klausuren eine deutlich einfachere technische Infrastruktur und weniger Personal bei der Klausurdurchführung. KW - Multiple-Choice Prüfungen KW - Automatisierte Prüfungskorrektur KW - Aufwandsanalyse KW - Educational Measurement (I2.399) KW - Self-Evaluation Programs (I2.399.780) KW - Multiple-Choice Examination KW - Cost Analysis Y1 - 2011 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-134386 VL - 28 IS - 4 ER - TY - JOUR A1 - Hörnlein, Alexander A1 - Mandel, Alexander A1 - Ifland, Marianus A1 - Lüneberg, Edeltraud A1 - Deckert, Jürgen A1 - Puppe, Frank T1 - Akzeptanz medizinischer Trainingsfälle als Ergänzung zu Vorlesungen T1 - Acceptance of medical training cases as supplement to lectures JF - GMS Zeitschrift für Medizinische Ausbildung N2 - Introduction: Medical training cases (virtual patients) are in widespread use for student education. Most publications report about development and experiences in one course with training cases. In this paper we compare the acceptance of different training case courses with different usages deployed as supplement to lectures of the medical faculty of Wuerzburg university during a period of three semesters. Methods: The training cases were developed with the authoring tool CaseTrain and are available for students via the Moodle-based eLearning platform WueCampus at Wuerzburg university. Various data about usage and acceptance is automatically collected. Results: From WS (winter semester) 08/09 till WS 09/10 19 courses with about 200 cases were available. In each semester, about 550 different medical students from Würzburg and 50 students from other universities processed about 12000 training cases and filled in about 2000 evaluation forms. In different courses, the usage varied between less than 50 and more than 5000 processed cases. Discussion: Although students demand training cases as supplement to all lectures, the data show that the usage does not primarily depend on the quality of the available training cases. Instead, the training cases of nearly all case collections were processed extremely often shortly before the examination. It shows that the degree of usage depends primarily on the perceived relevance of the training cases for the examination." N2 - Einleitung: Medizinische Trainingsfälle sind in der studentischen Ausbildung inzwischen weit verbreitet. In den meisten Publikationen wird über die Entwicklung und die Erfahrungen in einem Kurs mit Trainingsfällen berichtet. In diesem Beitrag vergleichen wir die Akzeptanz von verschiedenen Trainingsfallkursen, die als Ergänzung zu zahlreichen Vorlesungen der Medizinischen Fakultät der Universität Würzburg mit sehr unterschiedlichen Nutzungsraten eingesetzt wurden, über einen Zeitraum von drei Semestern. Methoden: Die Trainingsfälle wurden mit dem Autoren- und Ablaufsystem CaseTrain erstellt und über die Moodle-basierte Würzburger Lernplattform WueCampus den Studierenden verfügbar gemacht. Dabei wurden umfangreiche Daten über die Nutzung und Akzeptanz erhoben. Ergebnisse: Im Zeitraum vom WS 08/09 bis zum WS 09/10 waren 19 Kurse mit insgesamt ca. 200 Fällen für die Studierenden verfügbar, die pro Semester von ca. 550 verschiedenen Medizinstudenten der Universität Würzburg und weiteren 50 Studierenden anderer bayerischer Universitäten genutzt wurden. Insgesamt wurden pro Semester ca. 12000 Mal Trainingsfälle vollständig durchgespielt zu denen ca. 2000 Evaluationen von den Studierenden ausgefüllt wurden. In den verschiedenen Kursen variiert die Nutzung zwischen unter 50 Bearbeitungen in wenig frequentierten Fallsammlungen und über 5000 Bearbeitungen in stark frequentierten Fallsammlungen. Diskussion: Auch wenn Studierende wünschen, dass zu allen Vorlesungen Trainingsfälle angeboten werden, zeigen die Daten, dass der Umfang der Nutzung nicht primär von der Qualität der verfügbaren Trainingsfälle abhängt. Dagegen werden die Trainingsfälle in fast allen Fallsammlungen kurz vor den Klausuren extrem häufig bearbeitet. Dies zeigt, dass die Nutzung von Trainingsfällen im Wesentlichen von der wahrgenommenen Klausurrelevanz der Fälle abhängt. KW - Blended Learning KW - Trainingsfall KW - Problembasiertes Lernen KW - Akzeptanz-Evaluation KW - Autorensystem KW - CaseTrain KW - Teaching KW - Patient Simulation KW - Problem Based Learning KW - Acceptance Evaluation KW - Authoring Tools Y1 - 2011 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-133569 VL - 28 IS - 3 ER -