Refine
Has Fulltext
- yes (21)
Is part of the Bibliography
- yes (21) (remove)
Year of publication
Document Type
- Doctoral Thesis (11)
- Journal article (6)
- Report (4)
Keywords
- Evaluation (21) (remove)
Institute
- Institut für Pädagogik (6)
- Institut für Psychologie (2)
- Institut für Psychotherapie und Medizinische Psychologie (2)
- Zentrum für Sprachen (2)
- Institut Mensch - Computer - Medien (1)
- Institut für Informatik (1)
- Institut für Virologie und Immunbiologie (1)
- Institut für deutsche Philologie (1)
- Klinik und Poliklinik für Anästhesiologie (ab 2004) (1)
- Klinik und Poliklinik für Nuklearmedizin (1)
Sonstige beteiligte Institutionen
Hintergrund
Ein neues Rahmenkonzept hat die flexible Ableitung und Nutzung von rheumatologischen Schulungsprogrammen für unterschiedliche Versorgungsbereiche ermöglicht. Auf dieser Grundlage wurde eine 5‑stündige Basisschulung für Patienten mit rheumatoider Arthritis (RA) entwickelt, es wurden rheumatologische Fachärzte und Psychologen trainiert, und dann wurde die Wirksamkeit nach dem Wirkmodell der Patientenschulung evaluiert.
Methoden
Mit dem Studiendesign einer extern randomisierten Wartekontrollgruppenstudie mit 3 Messzeitpunkten wurde geprüft, wie sich die 5‑stündige Basisschulung auf das Erkrankungs- und Behandlungswissen sowie auf die Gesundheitskompetenz von RA-Patienten (n = 249) auswirkt. Weitere Fragen betrafen Einstellungsparameter, Kommunikationskompetenz, Erkrankungsauswirkungen und die Zufriedenheit mit der Schulung. Die Auswertungen erfolgten auf Intention-to-treat-Basis mit Kovarianzanalysen für die Hauptzielgrößen unter Berücksichtigung des Ausgangswertes.
Ergebnisse
Die Analysen zeigen, dass die Basisschulung RA wirksam ist. Noch 3 Monate nach der Schulung verfügten die Schulungsteilnehmer über mehr Wissen und Gesundheitskompetenz als die Wartekontrollgruppe mit kleinem bis mittelgroßem Effekt (d = 0,37 bzw. 0,38). In den Nebenzielgrößen zeigten sich mit Ausnahme der Krankheitskommunikation keine weiteren Schulungseffekte.
Diskussion
Die Basisschulung bietet eine gute Grundlage, auf der weitere Interventionen zur Verbesserung von Einstellungs- und Erkrankungsparametern aufbauen können. Sie eignet sich damit als zentraler Baustein für die rheumatologische Versorgung auf verschiedenen Ebenen.
Als quantitative Textanalysemethode ist das LDA Topic Modeling in den letzten Jahren in den Digital Humanities weit verbreitet worden, um zahlreiche unstrukturierte Textdaten zu untersuchen. Wenn man LDA Topic Modeling anwendet, muss man mit vielen Faktoren umgehen, die das Ergebnis der Modellierung beeinflussen können. In dieser Dissertation wurde das LDA Topic Modeling, genauer gesagt sechs entscheidende Faktoren, durch Experimente evaluiert, nämlich die Anzahl der Topics, der Hyperparameter Alpha, die Hyperparameter-Optimierung, der Hyperparameter Beta, die Iteration des Gibbs-Samplings und das Chunk-Length. Der Einfluss der sechs Faktoren wurde anhand eines deutschen Zeitungskorpus und eines deutschen Romankorpus aus zwei Perspektiven, der Dokumentklassifikation und der Topic-Kohärenz, untersucht. Ziel ist es, die Frage zu beantworten, unter welchen Umständen das LDA Topic Modeling stabil ist und damit einen Einblick in die Sensitivität der Methode gegenüber Parametereinstellungen zu geben.
Untersuchungsgegenstand der vorliegenden Arbeit ist die Evaluationspraxis, welche als Bindeglied zwischen pädagogischer Theorie und Praxis verstanden wird. Es wird eine theoretische Betrachtung eines umfangreichen Evaluationsprojekts vorgenommen. Hierfür wird zunächst eine Sekundäranalyse bestehender empirischer Daten einer sechsjährigen Evaluation durchgeführt und anschließend die Evaluationspraxis aus einer Metaperspektive kritisch betrachtet.
Ausgehend von der Theorie sozialer Systeme nach Luhmann (1984) werden drei Fragestellungen fokussiert, welche sich auf den Transfer und die Implementation von Evaluationsbefunden beziehen. Zunächst wird geprüft, ob sich die systemtheoretische Differenzierung von kognitiver und normativer Modalisierung von Erwartungen datengestützt nachweisen lässt. Daraufhin werden Veränderungen der Erwartungsstile über die Zeit betrachtet. Abschließend werden systemspezifische Logiken und deren Einfluss auf den Evaluationsprozess einerseits und die Nutzung von Evaluationsbefunden andererseits fokussiert.
Zur Untersuchung der Forschungsfragen wird das empirische Material der sechsjährigen Evaluation des kommunalen Förderprogramms „Mannheimer Unterstützungssystem Schule“ herangezogen. Die qualitativen Daten der wissenschaftlichen Begleitung werden anhand der qualitativen Inhaltsanalyse nach Mayring (2015) ausgewertet, bestehende quantitative Ergebnisse werden ergänzend einbezogen.
Die zentralen Befunde der Arbeit zeigen, dass über die Zusammenführung der Theorie sozialer Systeme nach Luhmann (1984) und empirischem Datenmaterial wesentliche Prozesse und Strukturen der Evaluationspraxis in gewissem Maß systematisch entflochten werden können. Als zwei entscheidende Faktoren gelingender Evaluation stellen sich dabei zum einen der Erwartungsstil der Systeme und zum anderen die strukturelle Kopplung zwischen evaluierendem und evaluiertem System heraus.
Intuitive Benutzung wird in dieser Arbeit definiert als das Ausmaß, mit dem ein Produkt mental effizient und effektiv genutzt wird, was mit einem starken metakognitiven Gefühl von Flüssigkeit einhergeht. Aktuelle Methoden verfügen nicht über eine ausreichend hohe zeitliche Anwendungseffizienz, um im Industrieprojekt 3D-GUIde effektiv zur Evaluation von Interaktionspatterns für 3D-Creation-Oriented-User-Interfaces (3D-CUIs) eingesetzt werden zu können. Diese Interaktionspatterns beschreiben strukturiert, wie 3D-CUIs als User Interfaces zur Erstellung von dreidimensionalen Inhalten gestaltet werden müssen, um intuitive Benutzung zu unterstützen. In dieser Arbeit werden daher zwei neue Evaluationsmethoden vorgeschlagen: 1) IntuiBeat-F als formative Evaluationsmethode und 2) IntuiBeat-S als summative Evaluationsmethode. Basierend auf Default-Interventionist-Theorien und bestehenden Definitionen intuitiver Benutzung werden die mentale Beanspruchung als zentrales objektives, das metakognitive Gefühl von Flüssigkeit als zentrales subjektives und die Effektivität als zentrales pragmatisches mit intuitiver Benutzung assoziiertes Merkmal identifiziert. Die Evaluation intuitiver Benutzung mithilfe von IntuiBeat-F und IntuiBeat-S ist vielversprechend, da es sich bei beiden Methoden um Inhibition basierende Rhythmuszweitaufgaben handelt und diese somit mentale Beanspruchung objektiv erfassen können. Das Potential beider Methoden wird im Hinblick auf vorherige Forschungsarbeiten zur zeitlich effizienten Evaluation von 3D-CUIs aus der Mensch-Computer-Interaktion und der Psychologie diskutiert. Aus dieser Diskussion werden empirische Forschungsfragen abgeleitet. Die erste Forschungsfrage untersucht die wissenschaftliche Güte von IntuiBeat-S. Im ersten, zweiten und dritten Experiment werden Paare von 3D-CUIs miteinander summativ verglichen (d.h. weniger vs. stärker intuitiv benutzbare User Interfaces). Dabei wird die wissenschaftliche Güte von IntuiBeat-S hinsichtlich der Hauptgütekriterien Objektivität, Reliabilität und Validität beurteilt. Die Ergebnisse zeigen, dass IntuiBeat-S eine hohe wissenschaftliche Güte bei der summativen Evaluation besitzt. Zudem macht es bei der Anwendung von IntuiBeat-S keinen Unterschied, ob der Rhythmus über die Ferse oder den Fußballen eingeben wird, und ob als Stichproben Studierende mit höherer oder geringerer Vorerfahrung bezüglich der Nutzung von 3D-CUIs verwendet werden. Die zweite Forschungsfrage untersucht die wissenschaftliche Güte von IntuiBeat-F. Im vierten, fünften, sechsten und siebten Experiment werden 3D-CUIs einzeln formativ evaluiert (d.h. entweder ein weniger oder stärker intuitiv benutzbares User Interface). Dabei wird die wissenschaftliche Güte von IntuiBeat-F hinsichtlich der Hauptgütekriterien Gründlichkeit, Gültigkeit und Zuverlässigkeit beurteilt. Die Ergebnisse zeigen, dass IntuiBeat-F eine hohe wissenschaftliche Güte bei der formativen Evaluation besitzt. Diese liegt bei strikter Anwendung der Methode (d.h. Berücksichtigung ausschließlich mit der Methode entdeckter Nutzungsprobleme) zwar höher, ist aber bei wenig strikter Anwendung der Methode (d.h. Berücksichtigung auch unabhängig von der Methode entdeckter Nutzungsprobleme) noch ausreichend hoch. Jedoch konnte erst die Entwicklung und Einführung einer zusätzlichen Analysesoftware im Zuge des sechsten und siebten Experiments die wissenschaftliche Güte von IntuiBeat-F hinsichtlich aller drei Hauptgütekriterien demonstrieren, da ohne deren Unterstützung IntuiBeat-F vom Evaluator nicht ausreichend gründlich angewendet wird. Die dritte Forschungsfrage untersucht, wie hoch die zeitliche Anwendungseffizienz beider Methoden als wichtiger Aspekt praktischer Güte im Vergleich zu bereits vorhandenen Evaluationsmethoden für intuitive Benutzung ist. Bezüglich der summativen Evaluation wird im zweiten Experiment eine höhere zeitliche Anwendungseffizienz von IntuiBeat-S im Vergleich zum aktuellen summativen Benchmark, der CHAI-Methode, sowohl bei der Evaluation von weniger als auch bei der von stärker intuitiv benutzbaren 3D-CUIs demonstriert. Auch bezüglich der formativen Evaluation konnten die Ergebnisse der letzten vier Experimente zeigen, dass die zeitliche Anwendungseffizienz von IntuiBeat-F im Vergleich zum aktuellen formativen Benchmark, dem Nutzertest mit retrospektivem Think-Aloud- Protokoll, sowohl bei der Evaluation von weniger als auch stärker intuitiv benutzbaren 3D-CUIs höher liegt. Dieser Unterschied bleibt bestehend, egal ob eine zusätzliche Analysesoftware vom Evaluator verwendet wird oder nicht. Als Ergebnis aller Experimente lässt sich feststellen, dass die wissenschaftliche Güte und die zeitliche Anwendungseffizienz beider Methoden zur Evaluation intuitiver Benutzung von 3D-CUIs mehr als zufriedenstellend beurteilt werden kann. Die Arbeit wird mit einer Diskussion des geleisteten Forschungsbeitrags geschlossen. Dabei werden Anregungen für künftige Forschung aus theoretischer (z.B. Berücksichtigung des Gefühls von Flüssigkeit bei der Evaluation), praktischer (z.B. Untersuchung der Anwendbarkeit beider Methoden in anderen Domänen) und methodischer (z.B. Beurteilung der praktischen Güte beider Methoden anhand anderer Kriterien) Perspektive gegeben.
Da bei Patienten mit Nebenniereninsuffizienz (NNI) trotz etablierter Substitutionstherapie eine erhöhte Mortalität nachgewiesen wurde, kommt der Prävention von Nebennierenkisen (NNK) eine starke Bedeutung zu. Mithilfe des in der vorliegenden Arbeit evaluierten Schulungsprogrammes konnte die Grundlage für eine künftig optimierte Krisenpräventionsarbeit für Patienten mit NNI in Deutschland geschaffen werden. Kern der Studie war eine standardisierte 90-120-minütige Gruppenschulung, die in acht Zentren durchgeführt wurde. Mittels Fragebogenerhebung zu drei verschiedenen Zeitpunkten (vorher, direkt nachher, 6-9 Monate nachher) wurde der Wissenstand sowie subjektive Einschätzungen der Patienten zum Umgang mit ihrer Erkrankung evaluiert. Die Patienten schnitten nach Teilnahme an einer standardisierten Schulungsveranstaltung im Wissenstest deutlich besser ab und schätzten den eigenen Informationsstatus sowie das subjektive Sicherheitsgefühl als höher ein. Außerdem stieg die Anzahl der Personen, die sich in einer Notfallsituation die Eigeninjektion von Hydrocortison zutrauen würden, signifikant. Damit zeigt das hier vorgestellte interaktive Training einen eindrucksvollen, positiven Effekt auf den Alltag von NNI-Patienten, die dieses zu jedem untersuchten Zeitpunkt in jeweils > 90 % der Fälle als Lebensqualität-verbessernd einstuften. Obwohl sich die Gesamtpunktzahlen im Wissenstest zwischen dem Zeitpunkt direkt nach einer Schulung und nach 6-9 Monaten nicht signifikant unterschieden, war zumindest in den subjektiven Einschätzungsfragen (beispielsweise bzgl. des Informationsstatus, des Sicherheitsgefühls und des Eigeninjektions-Zutrauens) ein statistisch bedeutsamer Rückgang zu verzeichnen. Dies sollte, auch in Zusammenschau mit der Literatur, als Hinweis dafür aufgefasst werden, dass eine einzelne Schulung pro Patient nicht ausreichend ist. Die zumindest jährliche Wiederholung der geschulten Inhalte wäre deshalb zu empfehlen.
Programmansätze und deren Einsatz in vorschulisch, schulisch und außerschulisch bildenden Kontexten erfreuen sich der zunehmenden Beliebtheit. Ein breites und nicht nachlassendes Interesse in Forschung und Praxis kommt insbesondere vorschulischen Trainingskonzepten zuteil, denen das Potenzial zugesprochen wird, später auftretenden Schwierigkeiten beim Erwerb der Schriftsprache wirksam vorzubeugen.
Das Würzburger Trainingsprogramm »Hören, lauschen, lernen« stellt einen konzeptionell auf schriftspracherwerbstheoretischen Annahmen fundierten und mit mehreren evaluierenden Studien erprobten Trainingsansatz dar. Dieser bezweckt, Kindern den Erwerb des Lesens und Schreibens zu erleichtern. Dem Anspruch, späteren Lese-Rechtschreibschwierigkeiten effektiv vorzubeugen, unterliegt die vorschulische Förderung bereichsspezifischer Kompetenzen des Schriftspracherwerbs, insbesondere der Kompetenz phonologische Bewusstheit. Die Förderung wird optimal ausgeschöpft, sofern Empfehlungen einer qualitativen Implementierung umgesetzt werden, die als Manualtreue, Durchführungsintensität, Programmdifferenzierung, Programmkomplexität, Implementierungsstrategien, Vermittlungsqualität und Teilnehmerreaktion spezifiziert sind.
Zunehmend diskutiert sind in der Trainingsforschung, neben der theoretischen Fundierung und dem zu erbringenden Nachweis an empirischer Evidenz von Programmansätzen, Kriterien der Praxistauglichkeit. Daher befasst sich die vorliegende Arbeit mit der Frage der Programmrobustheit gegenüber Trainereffekten. Es nahmen 300 Kinder an dem Würzburger Trainingsprogramm teil und wurden 64 Kindern gegenübergestellt, die dem regulären Kindergartenprogramm folgten. Angeleitet durch das erzieherische Personal fand das 5-monatig andauernde Training innerhalb des Vorschuljahres statt. Die kindliche Entwicklung in den bereichsspezifischen Kompetenzen der phonologischen Bewusstheit und der Graphem-Phonem-Korrespondenz wurde vor und nach der Trainingsmaßnahme sowie zum Schulübertritt und in den Kompetenzen des Rechtschreibens und Lesens zum Ende des ersten Schuljahres untersucht. Es ließen sich unmittelbar und langfristig Trainingseffekte des eingesetzten Programmes nachweisen; indessen blieb ein Transfererfolg aus.
Der Exploration von Trainereffekten unterlag eine Eruierung der Praxistauglichkeit des Trainingsprogrammes anhand der erfolgten Implementierung durch das anleitende erzieherische Personal. Aus der ursprünglich mit 300 Kindern aus 44 involvierten Kindergärten bestehenden Datenbasis wurden drei Subgruppen mit insgesamt 174 Kindern aus 17 Kindergärten identifiziert, bei denen deutliche Diskrepanzen zu unmittelbaren, langfristigen und transferierenden Effekten des Trainingsprogrammes auftraten. Exploriert wurden Unterschiede in der Durchführung, um Rückschlüsse auf qualitative Aspekte der Programmimplementierung zu ziehen. Die Befunde des Extremgruppenvergleichs deuteten an, dass weniger Aspekte der Manualtreue und Durchführungsintensität ausschlaggebend für die Programmwirksamkeit waren; vielmehr schien für die Wirksamkeit des Trainingsprogrammes die Implementierung in der Art und Weise, wie die Trainingsinhalte den Kindern durch das erzieherische Personal vermittelt waren, entscheidend zu sein. Befunde zur eruierten Teilnehmerreaktion, die auf differenzielle Fördereffekte verweisen, stellten die Trainingswirksamkeit insbesondere für Kinder heraus, bei denen prognostisch ein Risiko unterstellt war, später auftretende Schwierigkeiten mit der Schriftsprache zu entwickeln. Ferner zeichnete sich ab, dass neben der Qualität der Programmimplementierung scheinbar auch Unterschiede in der schulischen Instruktionsmethode des Lesens und Schreibens einen nivellierenden Einfluss auf den Transfererfolg des Programmes ausübten. Theoretische und praktische Implikationen für den Einsatz des Trainingsprogrammes wurden diskutiert.
Wissenschaftliche Begleitung des Würzburger Bildungsfonds
In Deutschland gilt der Zusammenhang zwischen Bildungserfolg und Elternhaus als besonders stark. Hier will der Würzburger Bildungsfonds ansetzen und durch finanzielle Unterstützung ausgewählter Schulen benachteiligten Kindern eine Chance auf zusätzliche Förderung ermöglichen. Die wissenschaftliche Begleitung des Würzburger Bildungsfonds zielt darauf ab, Gelingensbedingungen und bestehende Potentiale aufzudecken.
Methodik und Fragestellung
Die Informationen wurden durch Experteninterviews erhoben, wobei die Erfahrungen und Eindrücke der projektzuständigen Vertreter/-innen der teilnehmenden Schulen nach dem ersten Förderjahr im Fokus standen. Aufdieser Basis wurde die leitende Frage nach der besonderen Eignung des Würzburger Bildungsfonds als Fördermöglichkeit aus verschiedenen Perspektiven betrachtet. Gestaltung, Mehrwert und bestehende Potentiale waren hier ebenso von Bedeutung, wie administrative Aufgaben. Weiterhin wurde auf die Zusammenarbeit der Bürgerstiftung Würzburg und Umgebung mit den einzelnen Schulen ein besonderes Augenmerk gelegt.
Mehr Chancen für Kinder – Gute Passung zwischen Konzept und Schulen
Als positiv erwiesen sich mit Blick auf das erste Förderjahr die Flexibilität bzw. das hohe Maß an Eigenverantwortlichkeit und Handlungsfreiheit im Umgang mit dem unmittelbar verfügbaren Förderbudget. Den Schulen wurde über das Schuljahr hinweg die Möglichkeit gegeben, entsprechend der sehr individuellen Zusammensetzung ihrer jeweiligen Schülerschaft bedarfsgerechte Projekte zu entwickeln bzw. ihre Schüler/-innen allgemein bedarfsgerecht -und wenn nötig auch unverzüglich - zu unterstützen. Als bedeutender Aspekt erwies sich zudem die einfache administrative Handhabung. Insgesamt wurde und wird das Projekt „Würzburger Bildungsfonds“ damit als sinnvoll und wirksam in Bezug auf dessen Ziel – der Unterstützung benachteiligter Kinder – bewertet und dafür besonders geschätzt.
Virtualization allows the creation of virtual instances of physical devices, such as network and processing units. In a virtualized system, governed by a hypervisor, resources are shared among virtual machines (VMs). Virtualization has been receiving increasing interest as away to reduce costs through server consolidation and to enhance the flexibility of physical infrastructures. Although virtualization provides many benefits, it introduces new security challenges; that is, the introduction of a hypervisor introduces threats since hypervisors expose new attack surfaces.
Intrusion detection is a common cyber security mechanism whose task is to detect malicious activities in host and/or network environments. This enables timely reaction in order to stop an on-going attack, or to mitigate the impact of a security breach. The wide adoption of virtualization has resulted in the increasingly common practice of deploying conventional intrusion detection systems (IDSs), for example, hardware IDS appliances or common software-based IDSs, in designated VMs as virtual network functions (VNFs). In addition, the research and industrial communities have developed IDSs specifically designed to operate in virtualized environments (i.e., hypervisorbased IDSs), with components both inside the hypervisor and in a designated VM. The latter are becoming increasingly common with the growing proliferation of virtualized data centers and the adoption of the cloud computing paradigm, for which virtualization is as a key enabling technology.
To minimize the risk of security breaches, methods and techniques for evaluating IDSs in an accurate manner are essential. For instance, one may compare different IDSs in terms of their attack detection accuracy in order to identify and deploy the IDS that operates optimally in a given environment, thereby reducing the risks of a security breach. However, methods and techniques for realistic and accurate evaluation of the attack detection accuracy of IDSs in virtualized environments (i.e., IDSs deployed as VNFs or hypervisor-based IDSs) are lacking. That is, workloads that exercise the sensors of an evaluated IDS and contain attacks targeting hypervisors are needed. Attacks targeting hypervisors are of high severity since they may result in, for example, altering the hypervisors’s memory and thus enabling the execution of malicious code with hypervisor privileges. In addition, there are no metrics and measurement methodologies
for accurately quantifying the attack detection accuracy of IDSs in virtualized environments with elastic resource provisioning (i.e., on-demand allocation or deallocation of virtualized hardware resources to VMs). Modern hypervisors allow for hotplugging virtual CPUs and memory on the designated VM where the intrusion detection engine of hypervisor-based IDSs, as well as of IDSs deployed as VNFs, typically operates. Resource hotplugging may have a significant impact on the attack detection accuracy of an evaluated IDS, which is not taken into account by existing metrics for quantifying IDS attack detection accuracy. This may lead to inaccurate measurements, which, in turn, may result in the deployment of misconfigured or ill-performing IDSs, increasing
the risk of security breaches.
This thesis presents contributions that span the standard components of any system
evaluation scenario: workloads, metrics, and measurement methodologies. The scientific contributions of this thesis are:
A comprehensive systematization of the common practices and the state-of-theart on IDS evaluation. This includes: (i) a definition of an IDS evaluation design space allowing to put existing practical and theoretical work into a common context in a systematic manner; (ii) an overview of common practices in IDS evaluation reviewing evaluation approaches and methods related to each part of the design space; (iii) and a set of case studies demonstrating how different IDS evaluation approaches are applied in practice. Given the significant amount of existing practical and theoretical work related to IDS evaluation, the presented systematization is beneficial for improving the general understanding of the topic by providing an overview of the current state of the field. In addition, it is beneficial for identifying and contrasting advantages and disadvantages of different IDS evaluation methods and practices, while also helping to identify specific requirements and best practices for evaluating current and future IDSs.
An in-depth analysis of common vulnerabilities of modern hypervisors as well as a set of attack models capturing the activities of attackers triggering these vulnerabilities. The analysis includes 35 representative vulnerabilities of hypercall handlers (i.e., hypercall vulnerabilities). Hypercalls are software traps from a kernel of a VM to the hypervisor. The hypercall interface of hypervisors, among device drivers and VM exit events, is one of the attack surfaces that hypervisors expose. Triggering a hypercall vulnerability may lead to a crash of the hypervisor or to altering the hypervisor’s memory. We analyze the origins
of the considered hypercall vulnerabilities, demonstrate and analyze possible attacks that trigger them (i.e., hypercall attacks), develop hypercall attack models(i.e., systematized activities of attackers targeting the hypercall interface), and discuss future research directions focusing on approaches for securing hypercall interfaces.
A novel approach for evaluating IDSs enabling the generation of workloads that contain attacks targeting hypervisors, that is, hypercall attacks. We propose an approach for evaluating IDSs using attack injection (i.e., controlled execution of attacks during regular operation of the environment where an IDS under test is deployed). The injection of attacks is performed based on attack models that capture realistic attack scenarios. We use the hypercall attack models developed as part of this thesis for injecting hypercall attacks.
A novel metric and measurement methodology for quantifying the attack detection accuracy of IDSs in virtualized environments that feature elastic resource provisioning. We demonstrate how the elasticity of resource allocations in such environments may impact the IDS attack detection accuracy and show that using existing metrics in such environments may lead to practically challenging and inaccurate measurements. We also demonstrate the practical use of the metric we propose through a set of case studies, where we evaluate common conventional IDSs deployed as VNFs.
In summary, this thesis presents the first systematization of the state-of-the-art on IDS evaluation, considering workloads, metrics and measurement methodologies as integral parts of every IDS evaluation approach. In addition, we are the first to examine the hypercall attack surface of hypervisors in detail and to propose an approach using attack injection for evaluating IDSs in virtualized environments. Finally, this thesis presents the first metric and measurement methodology for quantifying the attack detection accuracy of IDSs in virtualized environments that feature elastic resource provisioning.
From a technical perspective, as part of the proposed approach for evaluating IDSsthis thesis presents hInjector, a tool for injecting hypercall attacks. We designed hInjector to enable the rigorous, representative, and practically feasible evaluation of IDSs using attack injection. We demonstrate the application and practical usefulness of hInjector, as well as of the proposed approach, by evaluating a representative hypervisor-based IDS designed to detect hypercall attacks. While we focus on evaluating the capabilities of IDSs to detect hypercall attacks, the proposed IDS evaluation approach can be generalized and applied in a broader context. For example, it may be directly used to also evaluate security mechanisms of hypervisors, such as hypercall access control (AC) mechanisms. It may also be applied to evaluate the capabilities
of IDSs to detect attacks involving operations that are functionally similar to hypercalls,
for example, the input/output control (ioctl) calls that the Kernel-based Virtual Machine (KVM) hypervisor supports. For IDSs in virtualized environments featuring elastic resource provisioning, our approach for injecting hypercall attacks can be applied in combination with the attack detection accuracy metric and measurement methodology we propose. Our approach for injecting hypercall attacks, and our metric and measurement methodology, can also be applied independently beyond the scenarios considered in this thesis. The wide spectrum of security mechanisms in virtualized environments whose evaluation can directly benefit from the contributions of this thesis (e.g., hypervisor-based IDSs, IDSs deployed as VNFs, and AC mechanisms) reflects the practical implication of the thesis.
Brain-computer interfaces (BCIs) are devices that translate signals from the brain into control commands for applications. Within the last twenty years, BCI applications have been developed for communication, environmental control, entertainment, and substitution of motor functions. Since BCIs provide muscle independent communication and control of the environment by circumventing motor pathways, they are considered as assistive technologies for persons with neurological and neurodegenerative diseases leading to motor paralysis, such as amyotrophic lateral sclerosis (ALS), muscular dystrophy, spinal muscular atrophy and stroke (Kübler, Kotchoubey, Kaiser, Wolpaw, & Birbaumer, 2001). Although most researcher mention persons with severe motor impairment as target group for their BCI systems, most studies include healthy participants and studies including potential BCI end-users are sparse. Thus, there is a substantial lack of studies that investigate whether results obtained in healthy participants can be transferred to patients with neurodegenerative diseases. This clearly shows that BCI research faces a translational gap between intense BCI research and bringing BCI applications to end-users outside the lab (Kübler, Mattia, Rupp, & Tangermann, 2013). Translational studies are needed that investigate whether BCIs can be successfully used by severely disabled end-users and whether those end-users would accept BCIs as assistive devices. Another obvious discrepancy exists between a plethora of short-term studies and a sparse number of long-term studies. BCI research thus also faces a reliability gap (Kübler, Mattia, et al., 2013). Most studies present only one BCI session, however the few studies that include several testing sessions indicate high inter- and intra-individual variance in the end-users’ performance due to non-stationarity of signals. Long-term studies, however, are needed to demonstrate whether a BCI can be reliably used as assistive device over a longer period of time in the daily-life of a person. Therefore there is also a great need for reliability studies.
The purpose of the present thesis was to address these research gaps and to bring BCIs closer to end-users in need, especially into their daily-lives, following a user-centred design (UCD). The UCD was suggested as theoretical framework for bringing BCIs to end-users by Kübler and colleagues (Kübler et al., 2014; Zickler et al., 2011). This approach aims at the close and iterative interaction between BCI developers and end-users with the final goal to develop BCI systems that are accepted as assistive devices by end-users. The UCD focuses on usability, that is, how well a BCI technology matches the purpose and meets the needs and requirements of the targeted end-users and was standardized with the ISO 9241-210.
Within the UCD framework, usability of a device can be defined with regard to its effectiveness, efficiency and satisfaction. These aspects were operationalized by Kübler and colleagues to evaluate BCI-controlled applications. As suggested by Vaughan and colleagues, the number of BCI sessions, the total usage duration and the impact of the BCI on the life of the person can be considered as indicators of usefulness of the BCI in long-term daily-life use (Vaughan, Sellers, & Wolpaw, 2012). These definitions and metrics for usability and usefulness were applied for evaluating BCI applications as assistive devices in controlled settings and independent use. Three different BCI applications were tested and evaluated by in total N=10 end-users: In study 1 a motor-imagery (MI) based BCI for gaming was tested by four end-users with severe motor impairment. In study 2, a hybrid P300 event-related (ERP) based BCI for communication was tested by four severely motor restricted end-users with severe motor impairment. Study 1 and 2 are short-term studies conducted in a controlled-setting. In study 3 a P300-ERP BCI for creative expression was installed for long-term independent use at the homes of two end-users in the locked-in state. Both end-users are artists who had gradually lost the ability to paint after being diagnosed with ALS.
Results reveal that BCI controlled devices are accepted as assistive devices. Main obstacles for daily-life use were the not very aesthetic design of the EEG-cap and electrodes (cap is eye-catching and looks medical), low comfort (cables disturb, immobility, electrodes press against head if lying on a head cushion), complicated and time-consuming adjustment, low efficiency and low effectiveness, and not very high reliability (many influencing factors). While effectiveness and efficiency in the MI based BCI were lower compared to applications using the P300-ERP as input channel, the MI controlled gaming application was nevertheless better accepted by the end-users and end-users would rather like to use it compared to the communication applications. Thus, malfunctioning and errors, low speed, and the EEG cap are rather tolerated in gaming applications, compared to communication devices. Since communication is essential for daily-life, it has to be fast and reliable. BCIs for communication, at the current state of the art, are not considered competitive with other assistive devices, if other devices, such as eye-gaze, are still an option. However BCIs might be an option when controlling an application for entertainment in daily-life, if communication is still available. Results demonstrate that BCI is adopted in daily-life if it matches the end-users needs and requirements. Brain Painting serves as best representative, as it matches the artists’ need for creative expression. Caveats such as uncomfortable cap, dependence on others for set-up, and experienced low control are tolerated and do not prevent BCI use on a daily basis. Also end-users in real need of means for communication, such as persons in the locked-in state with unreliable eye-movement or no means for independent communication, do accept obstacles of the BCI, as it is the last or only solution to communicate or control devices. Thus, these aspects are “no real obstacles” but rather “challenges” that do not prevent end-users to use the BCI in their daily-lives. For instance, one end-user, who uses a BCI in her daily-life, stated: “I don’t care about aesthetic design of EEG cap and electrodes nor amplifier”. Thus, the question is not which system is superior to the other, but which system is best for an individual user with specific symptoms, needs, requirements, existing assistive solutions, support by caregivers/family etc.; it is thereby a question of indication. These factors seem to be better “predictors” for adoption of a BCI in daily-life, than common usability criterions such as effectiveness or efficiency. The face valid measures of daily-life demonstrate that BCI-controlled applications can be used in daily-life for more than 3 years, with high satisfaction for the end-users, without experts being present and despite a decrease in the amplitude of the P300 signal. Brain Painting re-enabled both artists to be creatively active in their home environment and thus improved their feelings of happiness, usefulness, self-esteem, well-being, and consequently quality of life and supports social inclusion. This thesis suggests that BCIs are valuable tools for people in the locked-in state.
Mit diesem Abschlussbericht liegen die Ergebnisse der Begleitevaluation zur dritten Programmphase des „Mannheimer Unterstützungssystems Schule“ vor. Bei dieser Evaluation wird der Schwerpunkt auf ausgewählte MAUS-Schulen gelegt, die über ein spezifisches Profil in der Umsetzung des Konzepts verfügen. Dieses Profil wurde aus umfangreichen qualitativen Interviews der zweiten Programmphase von MAUS gewonnen.
Der Fokus auf ausgewählte Schulen erlaubt einen vertiefenden Blick in Gelingensbedingungen und Herausforderungen bei der Durchführung eines solchen Förderangebots. Befragt wurden ausgewählte Lehrkräfte, FörderlehrerInnen, Eltern und SchülerInnen mittels qualitativer Interviews. Zusätzlich wurde eine Stichprobe der Förderlehrkräfte anhand eines standardisierten Online-Fragebogens befragt.
Insgesamt ist festzuhalten, dass sich spezifische Gelingensbedingungen und Ansatzpunkte für eine Optimierung und Transferierbarkeit des Unterstützungssystems herauskristallisieren.