006 Spezielle Computerverfahren
Refine
Is part of the Bibliography
- yes (19) (remove)
Document Type
- Journal article (11)
- Doctoral Thesis (4)
- Conference Proceeding (3)
- Master Thesis (1)
Keywords
- Virtual Reality (3)
- Virtuelle Realität (3)
- virtual reality (3)
- Augmented Reality (2)
- Digital Humanities (2)
- Extended Reality (2)
- Social VR (2)
- 3D model generation (1)
- Autonomer Roboter (1)
- Bildverarbeitung (1)
Institute
- Institut für Informatik (13)
- Institut Mensch - Computer - Medien (2)
- Institut für Psychologie (2)
- Institut für deutsche Philologie (2)
- Graduate School of Life Sciences (1)
- Graduate School of Science and Technology (1)
- Institut für Geographie und Geologie (1)
- Institut für Philosophie (1)
- Klinik und Poliklinik für Mund-, Kiefer- und Plastische Gesichtschirurgie (1)
- Pathologisches Institut (1)
Sonstige beteiligte Institutionen
This paper deals with the effect of exploiting background knowledge for improving an OMR (Optical Music Recognition) deep learning pipeline for transcribing medieval, monophonic, handwritten music from the 12th–14th century, whose usage has been neglected in the literature. Various types of background knowledge about overlapping notes and text, clefs, graphical connections (neumes) and their implications on the position in staff of the notes were used and evaluated. Moreover, the effect of different encoder/decoder architectures and of different datasets for training a mixed model and for document-specific fine-tuning based on an extended OMR pipeline with an additional post-processing step were evaluated. The use of background models improves all metrics and in particular the melody accuracy rate (mAR), which is based on the insert, delete and replace operations necessary to convert the generated melody into the correct melody. When using a mixed model and evaluating on a different dataset, our best model achieves without fine-tuning and without post-processing a mAR of 90.4%, which is raised by nearly 30% to 93.2% mAR using background knowledge. With additional fine-tuning, the contribution of post-processing is even greater: the basic mAR of 90.5% is raised by more than 50% to 95.8% mAR.
Obesity is a serious disease that can affect both physical and psychological well-being. Due to weight stigmatization, many affected individuals suffer from body image disturbances whereby they perceive their body in a distorted way, evaluate it negatively, or neglect it. Beyond established interventions such as mirror exposure, recent advancements aim to complement body image treatments by the embodiment of visually altered virtual bodies in virtual reality (VR). We present a high-fidelity prototype of an advanced VR system that allows users to embody a rapidly generated personalized, photorealistic avatar and to realistically modulate its body weight in real-time within a carefully designed virtual environment. In a formative multi-method approach, a total of 12 participants rated the general user experience (UX) of our system during body scan and VR experience using semi-structured qualitative interviews and multiple quantitative UX measures. Using body weight modification tasks, we further compared three different interaction methods for real-time body weight modification and measured our system’s impact on the body image relevant measures body awareness and body weight perception. From the feedback received, demonstrating an already solid UX of our overall system and providing constructive input for further improvement, we derived a set of design guidelines to guide future development and evaluation processes of systems supporting body image interventions.
OCR4all—An open-source tool providing a (semi-)automatic OCR workflow for historical printings
(2019)
Optical Character Recognition (OCR) on historical printings is a challenging task mainly due to the complexity of the layout and the highly variant typography. Nevertheless, in the last few years, great progress has been made in the area of historical OCR, resulting in several powerful open-source tools for preprocessing, layout analysis and segmentation, character recognition, and post-processing. The drawback of these tools often is their limited applicability by non-technical users like humanist scholars and in particular the combined use of several tools in a workflow. In this paper, we present an open-source OCR software called OCR4all, which combines state-of-the-art OCR components and continuous model training into a comprehensive workflow. While a variety of materials can already be processed fully automatically, books with more complex layouts require manual intervention by the users. This is mostly due to the fact that the required ground truth for training stronger mixed models (for segmentation, as well as text recognition) is not available, yet, neither in the desired quantity nor quality. To deal with this issue in the short run, OCR4all offers a comfortable GUI that allows error corrections not only in the final output, but already in early stages to minimize error propagations. In the long run, this constant manual correction produces large quantities of valuable, high quality training material, which can be used to improve fully automatic approaches. Further on, extensive configuration capabilities are provided to set the degree of automation of the workflow and to make adaptations to the carefully selected default parameters for specific printings, if necessary. During experiments, the fully automated application on 19th Century novels showed that OCR4all can considerably outperform the commercial state-of-the-art tool ABBYY Finereader on moderate layouts if suitably pretrained mixed OCR models are available. Furthermore, on very complex early printed books, even users with minimal or no experience were able to capture the text with manageable effort and great quality, achieving excellent Character Error Rates (CERs) below 0.5%. The architecture of OCR4all allows the easy integration (or substitution) of newly developed tools for its main components by standardized interfaces like PageXML, thus aiming at continual higher automation for historical printings.
Die vorliegende Arbeit lässt sich dem Bereich der quantitativen Literaturanalyse zuordnen und verfolgt das Ziel, mittels computergestützter Verfahren zu untersuchen, inwieweit sich Romane hinsichtlich ihrer Figurenkonstellation ähneln. Dazu wird die Figurenkonstellation, als wichtiges strukturgebendes Ordnungsprinzip eines Romans, als soziales Netzwerk der Figuren operationalisiert. Solche Netzwerke können unter Anwendung von Verfahren des Natural Language Processing automatisch aus dem Text erstellt werden.
Als Datengrundlage dient ein Korpus von deutschsprachigen Romanen aus dem 19. Jahrhundert, das mit automatischen Verfahren zur Figurenerkennung und Koreferenzauflösung prozessiert und manuell nachkorrigiert wurde, um eine möglichst saubere Datenbasis zu schaffen.
Ausgehend von der intensiven vergleichenden Betrachtung der Figurenkonstellationen von Fontanes "Effi Briest" und Flauberts "Madame Bovary" wurde in einer manuell erstellten Distanzmatrix die menschliche Intuition solcher Ähnlichkeit zwischen allen Romanen des Korpus festgehalten, basierend auf der Lektüre von Zusammenfassungen der Romane. Diese Daten werden als Evaluationsgrundlage genutzt.
Mit Hilfe von Methoden der sozialen Netzwerkanalyse können strukturelle Eigenschaften dieser Netzwerke als Features erhoben werden. Diese wurden anschließend zur Berechnung der Kosinusdistanz zwischen den Romanen verwendet.
Obwohl die automatisch erstellten Netzwerke die Figurenkonstellationen der Romane im Allgemeinen gut widerspiegeln und die Netzwerkfeatures sinnvoll interpretierbar sind, war die Korrelation mit der Evaluationsgrundlage niedrig. Dies legt die Vermutung nahe, dass neben der Struktur der Figurenkonstellation auch wiederkehrende Themen und Motive die Erstellung der Evaluationsgrundlage unterbewusst beeinflusst haben.
Daher wurde Topic Modeling angewendet, um wichtige zwischenmenschliche Motive zu modellieren, die für die Figurenkonstellation von Bedeutung sein können. Die Netzwerkfeatures und die Topic-Verteilung wurden in Kombination zur Distanzberechnung herangezogen. Außerdem wurde versucht, jeder Kante des Figurennetzwerks ein Topic zuzuordnen, das diese Kante inhaltlich beschreibt. Hier zeigte sich, dass einerseits Topics, die sehr spezifisch für bestimmte Texte sind, und andererseits Topics, die über alle Texte hinweg stark vertreten sind, das Ergebnis bestimmen, sodass wiederum keine, bzw. nur eine sehr schwache Korrelation mit der Evaluationsgrundlage gefunden werden konnte.
Der Umstand, dass keine Verbindung zwischen den berechneten Distanzen und der Evaluationsgrundlage gefunden werden konnte, obwohl die einzelnen Features sinnvoll interpretierbar sind, lässt Zweifel an der Evaluationsmatrix aufkommen. Diese scheint stärker als zu Beginn angenommen unterbewusst von thematischen und motivischen Ähnlichkeiten zwischen den Romanen beeinflusst zu sein. Auch die Qualität der jeweiligen Zusammenfassung hat hier einen nicht unwesentlichen Einfluss. Daher wäre eine weniger subjektiv geprägte Möglichkeit der Auswertung von Nöten, beispielsweise durch die parallele Einschätzung mehrerer Annotatoren. Auch die weitere Verbesserung von NLP-Verfahren für literarische Texte in deutscher Sprache ist ein Desideratum für anknüpfende Forschungsansätze.
Software frameworks for Realtime Interactive Systems (RIS), e.g., in the areas of Virtual, Augmented, and Mixed Reality (VR, AR, and MR) or computer games, facilitate a multitude of functionalities by coupling diverse software modules. In this context, no uniform methodology for coupling these modules does exist; instead various purpose-built solutions have been proposed. As a consequence, important software qualities, such as maintainability, reusability, and adaptability, are impeded.
Many modern systems provide additional support for the integration of Artificial Intelligence (AI) methods to create so called intelligent virtual environments. These methods exacerbate the above-mentioned problem of coupling software modules in the thus created Intelligent Realtime Interactive Systems (IRIS) even more. This, on the one hand, is due to the commonly applied specialized data structures and asynchronous execution schemes, and the requirement for high consistency regarding content-wise coupled but functionally decoupled forms of data representation on the other.
This work proposes an approach to decoupling software modules in IRIS, which is based on the abstraction of architecture elements using a semantic Knowledge Representation Layer (KRL). The layer facilitates decoupling the required modules, provides a means for ensuring interface compatibility and consistency, and in the end constitutes an interface for symbolic AI methods.
Eine wichtige Grundlage für die quantitative Analyse von Erzähltexten, etwa eine Netzwerkanalyse der Figurenkonstellation, ist die automatische Erkennung von Referenzen auf Figuren in Erzähltexten, ein Sonderfall des generischen NLP-Problems der Named Entity Recognition. Bestehende, auf Zeitungstexten trainierte Modelle sind für literarische Texte nur eingeschränkt brauchbar, da die Einbeziehung von Appellativen in die Named Entity-Definition und deren häufige Verwendung in Romantexten zu einem schlechten Ergebnis führt. Dieses Paper stellt eine anhand eines manuell annotierten Korpus auf deutschsprachige Romane des 19. Jahrhunderts angepasste NER-Komponente vor.
In this work, a novel method for estimating the relative pose of a known object is presented, which relies on an application-specific data fusion process. A PMD-sensor in conjunction with a CCD-sensor is used to perform the pose estimation. Furthermore, the work provides a method for extending the measurement range of the PMD sensor along with the necessary calibration methodology. Finally, extensive measurements on a very accurate Rendezvous and Docking testbed are made to evaluate the performance, what includes a detailed discussion of lighting conditions.