004 Datenverarbeitung; Informatik
Refine
Has Fulltext
- yes (12)
Is part of the Bibliography
- yes (12)
Document Type
- Journal article (12) (remove)
Keywords
- automation (2)
- deep learning (2)
- endoscopy (2)
- fully convolutional neural networks (2)
- gastroenterology (2)
- historical document analysis (2)
- machine learning (2)
- ontology (2)
- Aufwandsanalyse (1)
- Automatisierte Prüfungskorrektur (1)
- Brüder Grimm Privatbibliothek (1)
- Convolutional Neural Network (1)
- Cost Analysis (1)
- Educational Measurement (I2.399) (1)
- Entscheidungsfindung (1)
- Erkennung handschriftlicher Artefakte (1)
- Ethik (1)
- Grimm brothers personal library (1)
- Künstliche Intelligenz (1)
- Multiple-Choice Examination (1)
- Multiple-Choice Prüfungen (1)
- Self-Evaluation Programs (I2.399.780) (1)
- annotation (1)
- artificial intelligence (1)
- background knowledge (1)
- baseline detection (1)
- convolutional neural network (1)
- data warehouse (1)
- deep metric learning (1)
- eHealth (1)
- electronic health records (1)
- fault detection (1)
- few-shot learning (1)
- handwritten artefact recognition (1)
- hospital data (1)
- image classification (1)
- information extraction (1)
- key-insight extraction (1)
- layout recognition (1)
- medical records (1)
- medieval manuscripts (1)
- model-based diagnosis (1)
- multiple myeloma (1)
- nano-satellite (1)
- natural language processing (1)
- neume notation (1)
- object detection (1)
- optical music recognition (1)
- radiology (1)
- real world evidence (1)
- regelbasierte Nachbearbeitung (1)
- rule based post processing (1)
- statistics and numerical data (1)
- table extraction (1)
- table understanding (1)
- text line detection (1)
- transformer (1)
Institute
Einleitung:
Multiple-Choice-Klausuren spielen immer noch eine herausragende Rolle für fakultätsinterne medizinische Prüfungen. Neben inhaltlichen Arbeiten stellt sich die Frage, wie die technische Abwicklung optimiert werden kann. Für Dozenten in der Medizin gibt es zunehmend drei Optionen zur Durchführung von MC-Klausuren: Papierklausuren mit oder ohne Computerunterstützung oder vollständig elektronische Klausuren. Kritische Faktoren sind der Aufwand für die Formatierung der Klausur, der logistische Aufwand bei der Klausurdurchführung, die Qualität, Schnelligkeit und der Aufwand der Klausurkorrektur, die Bereitstellung der Dokumente für die Einsichtnahme, und die statistische Analyse der Klausurergebnisse.
Methoden:
An der Universität Würzburg wird seit drei Semestern ein Computerprogramm zur Eingabe und Formatierung der MC-Fragen in medizinischen und anderen Papierklausuren verwendet und optimiert, mit dem im Wintersemester (WS) 2009/2010 elf, im Sommersemester (SS) 2010 zwölf und im WS 2010/11 dreizehn medizinische Klausuren erstellt und anschließend die eingescannten Antwortblätter automatisch ausgewertet wurden. In den letzten beiden Semestern wurden die Aufwände protokolliert.
Ergebnisse:
Der Aufwand der Formatierung und der Auswertung einschl. nachträglicher Anpassung der Auswertung einer Durchschnittsklausur mit ca. 140 Teilnehmern und ca. 35 Fragen ist von 5-7 Stunden für Klausuren ohne Komplikation im WS 2009/2010 über ca. 2 Stunden im SS 2010 auf ca. 1,5 Stunden im WS 2010/11 gefallen. Einschließlich der Klausuren mit Komplikationen bei der Auswertung betrug die durchschnittliche Zeit im SS 2010 ca. 3 Stunden und im WS 10/11 ca. 2,67 Stunden pro Klausur.
Diskussion:
Für konventionelle Multiple-Choice-Klausuren bietet die computergestützte Formatierung und Auswertung von Papierklausuren einen beträchtlichen Zeitvorteil für die Dozenten im Vergleich zur manuellen Korrektur von Papierklausuren und benötigt im Vergleich zu rein elektronischen Klausuren eine deutlich einfachere technische Infrastruktur und weniger Personal bei der Klausurdurchführung.
Background
Information extraction techniques that get structured representations out of unstructured data make a large amount of clinically relevant information about patients accessible for semantic applications. These methods typically rely on standardized terminologies that guide this process. Many languages and clinical domains, however, lack appropriate resources and tools, as well as evaluations of their applications, especially if detailed conceptualizations of the domain are required. For instance, German transthoracic echocardiography reports have not been targeted sufficiently before, despite of their importance for clinical trials. This work therefore aimed at development and evaluation of an information extraction component with a fine-grained terminology that enables to recognize almost all relevant information stated in German transthoracic echocardiography reports at the University Hospital of Würzburg.
Methods
A domain expert validated and iteratively refined an automatically inferred base terminology. The terminology was used by an ontology-driven information extraction system that outputs attribute value pairs. The final component has been mapped to the central elements of a standardized terminology, and it has been evaluated according to documents with different layouts.
Results
The final system achieved state-of-the-art precision (micro average.996) and recall (micro average.961) on 100 test documents that represent more than 90 % of all reports. In particular, principal aspects as defined in a standardized external terminology were recognized with f 1=.989 (micro average) and f 1=.963 (macro average). As a result of keyword matching and restraint concept extraction, the system obtained high precision also on unstructured or exceptionally short documents, and documents with uncommon layout.
Conclusions
The developed terminology and the proposed information extraction system allow to extract fine-grained information from German semi-structured transthoracic echocardiography reports with very high precision and high recall on the majority of documents at the University Hospital of Würzburg. Extracted results populate a clinical data warehouse which supports clinical research.