TY - JOUR A1 - Käthner, Ivo A1 - Kübler, Andrea A1 - Halder, Sebastian T1 - Rapid P300 brain-computer interface communication with a head-mounted display JF - Frontiers in Neuroscience N2 - Visual ERP (P300) based brain-computer interfaces (BCIs) allow for fast and reliable spelling and are intended as a muscle-independent communication channel for people with severe paralysis. However, they require the presentation of visual stimuli in the field of view of the user. A head-mounted display could allow convenient presentation of visual stimuli in situations, where mounting a conventional monitor might be difficult or not feasible (e.g., at a patient's bedside). To explore if similar accuracies can be achieved with a virtual reality (VR) headset compared to a conventional flat screen monitor, we conducted an experiment with 18 healthy participants. We also evaluated it with a person in the locked-in state (LIS) to verify that usage of the headset is possible for a severely paralyzed person. Healthy participants performed online spelling with three different display methods. In one condition a 5 x 5 letter matrix was presented on a conventional 22 inch TFT monitor. Two configurations of the VR headset were tested. In the first (glasses A), the same 5 x 5 matrix filled the field of view of the user. In the second (glasses B), single letters of the matrix filled the field of view of the user. The participant in the LIS tested the VR headset on three different occasions (glasses A condition only). For healthy participants, average online spelling accuracies were 94% (15.5 bits/min) using three flash sequences for spelling with the monitor and glasses A and 96% (16.2 bits/min) with glasses B. In one session, the participant in the LIS reached an online spelling accuracy of 100% (10 bits/min) using the glasses A condition. We also demonstrated that spelling with one flash sequence is possible with the VR headset for healthy users (mean: 32.1 bits/min, maximum reached by one user: 71.89 bits/min at 100% accuracy). We conclude that the VR headset allows for rapid P300 BCI communication in healthy users and may be a suitable display option for severely paralyzed persons. KW - speller performance KW - face perception KW - stimulus KW - rapid BCI KW - locked-in state KW - P300 KW - head-mounted display KW - brain-computer interface Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-148520 VL - 9 IS - 207 ER - TY - THES A1 - Real, Ruben T1 - Living with severe motor impairments – from consciousness to quality of life T1 - Leben mit schweren motorischen Einschränkungen – Bewusstsein und Lebensqualität N2 - The impact of acquired severe motor impairments is pervasive and may lead to a complete loss of communication and voluntary motor control, rendering the patient behaviourally unresponsive. In routine clinical care it may thus be unclear, whether some of these patients are even conscious. Given that finding a cure is unlikely, care focuses on providing the best possible quality of life (QoL), and knowing its predictors might contribute to that aim. Patients who still can communicate often report a high QoL, and several predictors have been identified. However, many instruments used to assess QoL require at least residual verbal and motor abilities. Thus, a method to assess QoL independent of these requirements is desirable. In addition, many instruments assume QoL to be temporarily stable, and little information is available on predictors of instantaneous QoL, i.e. QoL as it fluctuates from moment to moment throughout the day. N2 - Die Auswirkungen erworbener motorischer Einschränkungen sind verheerend, und können bis hin zu einem völligen Verlust der Kommunikationsfähigkeit und Willkürmotorik führen. In der klinischen Praxis bedeutet dies, dass bei einigen Patienten unklar ist, ob sie überhaupt bei Bewusstsein sind. Da bei vielen dieser Erkrankungen eine Heilung derzeit unwahrscheinlich ist, steht die Förderung einer möglichst hohen Lebensqualität (LQ) im Fokus der Behandlung. Unabdingbare Voraussetzung hierzu ist eine genaue Kenntnis möglicher Prädiktoren der LQ. Bei Patienten, mit denen noch kommuniziert werden kann, konnten einer Reihe von Prädiktoren der --meist hohen-- LQ identifiziert werden. Alle bislang verwendeten Instrumente erfordern jedoch zumindest residuale motorische und verbale Fähigkeiten, so dass ein Verfahren zur Erfassung der LQ, welches nicht oder kaum auf diese Fähigkeiten angewiesen ist, wünschenswert ist. Des Weiteren unterstellen viele Instrumente zur Erfassung der LQ eine Zeitstabilität der LQ, so dass vergleichsweise weniger Informationen über Prädiktoren der momentanen LQ vorliegen, beispielsweise Fluktuationen der LQ im Tagesverlauf. KW - Myatrophische Lateralsklerose KW - Lebensqualität KW - N400 KW - P300 KW - Ereigniskorreliertes Potenzial KW - Amyotrophe Lateralsklerose KW - Apallisches Syndrom KW - Elektroencephalographie Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-138562 ER - TY - THES A1 - Käthner, Ivo R. J. T1 - Auditory and visual brain-computer interfaces as communication aids for persons with severe paralysis T1 - Akustische und visuelle Gehirn-Computer Schnittstellen als Kommunikationshilfen für Menschen mit schweren Muskellähmungen N2 - Brain-computer interfaces (BCIs) could provide a muscle-independent communication channel to persons with severe paralysis by translating brain activity into device commands. As a means of communication, in particular BCIs based on event-related potentials (ERPs) as control signal have been researched. Most of these BCIs rely on visual stimulation and have been investigated with healthy participants in controlled laboratory environments. In proof-of-principle studies targeted end users gained control over BCI systems; however, these systems are not yet established as an assistive technology for persons who would most benefit from them. The main aim of this thesis is to advance the usability of ERP-BCIs for target users. To this end, five studies with BCIs have been conducted that enabled users to communicate by focusing their attention on external stimuli. Two studies were conducted in order to demonstrate the advantages and to further improve the practical application of visual BCIs. In the first study, mental workload was experimentally manipulated during prolonged BCI operation. The study showed the robustness of the visual ERP-BCI since users maintained a satisfactory level of control despite constant distraction in the form of background noise. Moreover, neurophysiological markers that could potentially serve as indicators of high mental workload or fatigue were revealed. This is a first step towards future applications in which the BCI could adapt to the mental state of the user (e.g. pauses if high mental workload is detected to prevent false selections). In the second study, a head-mounted display (HMD), which assures that stimuli are presented in the field of view of the user, was evaluated. High accuracies and information transfer rates, similar to a conventional display, were achieved by healthy participants during a spelling task. Furthermore, a person in the locked-in state (LIS) gained control over the BCI using the HMD. The HMD might be particularly suited for initial communication attempts with persons in the LIS in situations, where mounting a conventional monitor is difficult or not feasible. Visual ERP-BCIs could prove valuable for persons with residual control over eye muscles and sufficient vision. However, since a substantial number of target users have limited control over eye movements and/or visual impairments, BCIs based on non-visual modalities are required. Therefore, a main aspect of this thesis was to improve an auditory paradigm that should enable motor impaired users to spell by focusing attention on different tones. The two conducted studies revealed that healthy participants were able to achieve high spelling performance with the BCI already in the first session and stress the importance of the choice of the stimulus material. The employed natural tones resulted in an increase in performance compared to a previous study that used artificial tones as stimuli. Furthermore, three out of five users with a varying degree of motor impairments could gain control over the system within the five conducted sessions. Their performance increased significantly from the first to the fifth session - an effect not previously observed for visual ERP-BCIs. Hence, training is particularly important when testing auditory multiclass BCIs with potential users. A prerequisite for user satisfaction is that the BCI technology matches user requirements. In this context, it is important to compare BCIs with already established assistive technology. Thus, the fifth study of this dissertation evaluated gaze dependent methods (EOG, eye tracking) as possible control signals for assistive technology and a binary auditory BCI with a person in the locked-in state. The study participant gained control over all tested systems and rated the ease of use of the BCI as the highest among the tested alternatives, but also rated it as the most tiring due to the high amount of attention that was needed for a simple selection. Further efforts are necessary to simplify operation of the BCI. The involvement of end users in all steps of the design and development process of BCIs will increase the likelihood that they can eventually be used as assistive technology in daily life. The work presented in this thesis is a substantial contribution towards the goal of re-enabling communication to users who cannot rely on motor activity to convey their thoughts. N2 - Gehirn-Computer Schnittstellen (engl. brain-computer interfaces, BCIs) könnten Menschen mit schweren Muskellähmungen muskelunabhängige Kommunikation ermöglichen, indem sie Gehirnaktivität in Steuerungsbefehle übersetzen. Zu Kommunikationszwecken wurden insbesondere BCIs erforscht, die auf ereigniskorrelierten Potenzialen (EKPs) als Steuerungssignal beruhen. Die Mehrzahl dieser BCIs basiert auf visuellen Paradigmen und wurde unter kontrollierten Laborbedingungen mit gesunden Versuchsteilnehmern untersucht. In Machbarkeitsstudien konnten auch Menschen mit schweren Muskellähmungen Kontrolle erlangen. Jedoch sind BCIs noch nicht im Alltag als Hilfsmittel für diejenigen etabliert, die am meisten von ihnen profitieren würden. Die Gebrauchstauglichkeit für diese Zielgruppe zu erhöhen, ist das Hauptziel der vorliegenden Arbeit. Zu diesem Zweck wurden fünf Studien mit BCIs durchgeführt, die Nutzern durch die Aufmerksamkeitsfokussierung auf externe Reize ermöglichen zu kommunizieren. Um die Vorteile der visuellen Paradigmen zu zeigen und die praktische Anwendbarkeit weiter zu verbessern, wurden zwei Studien durchgeführt. In der ersten Studie wurde die mentale Arbeitsbelastung während längerer Benutzung eines BCI experimentell manipuliert. Die Studie demonstrierte die Robustheit des EKP-BCI. Nutzer konnten trotz konstanter Ablenkung durch Hintergrundgeräusche ein zufriedenstellendes Kontrollniveau aufrechterhalten. Darüber hinaus wurden neurophysiologische Marker gefunden, die als Indikatoren hoher mentaler Arbeitsbelastung oder Ermüdung dienen können. Dies ist ein erster Schritt hin zu Anwendungen, bei denen sich das BCI dem mentalen Zustand des Benutzers anpasst (z.B. indem die Anwendung pausiert, wenn hohe Arbeitsbelastung detektiert wird, um Falschauswahlen zu verhindern). In der zweiten Studie wurde ein Head- Mounted Display (HMD) evaluiert, welches sicherstellt, dass alle Stimuli im Gesichtsfeld des Nutzers angezeigt werden. Dabei wurden von gesunden Versuchsteilnehmern hohe Genauigkeiten und Informationstransferraten beim Schreiben von Wörtern erzielt, vergleichbar mit denen eines herkömmlichen Bildschirms. Zusätzlich erlangte ein Nutzer im Locked-in-Zustand Kontrolle über das BCI mittels des HMD. Das HMD könnte sich insbesondere für initiale Kommunikationsversuche für Personen im Locked-in-Zustand eignen, wenn sich das Aufstellen eines konventionellen Bildschirms als schwierig oder unmöglich erweist. Visuelle EKP-BCIs könnten sich insgesamt als wertvoll für Personen herausstellen, die noch ihre Augenbewegungen kontrollieren können und über ausreichend Sehkraft verfügen. Da eine nicht unerhebliche Zahl von potenziellen Endbenutzern jedoch eingeschränkte Kontrolle über Augenbewegungen und/oder Sehbeeinträchtigungen hat, sind BCIs notwendig, die auf nicht-visuellen Modalitäten beruhen. Im Rahmen dieser Arbeit lag ein Fokus deshalb auf der Weiterentwicklung eines akustischen Paradigmas, welches Nutzern mit motorischen Einschränkungen das Buchstabieren durch die Aufmerksamkeitsfokussierung auf verschiedene Töne ermöglichen soll. Die beiden hierzu durchgeführten Studien zeigten, dass gesunde Versuchsteilnehmer bereits in der ersten Sitzung hohe Buchstabiergenauigkeiten erzielen konnten. Zudem unterstreichen diese Studien die Wichtigkeit der Wahl der Stimuli. Die in den beiden Studien verwendeten natürlichen Geräusche, führten zu einer Leistungsverbesserung verglichen mit einer vorausgegangenen Studie, die künstliche Töne verwendete. Darüber hinaus konnten drei von fünf Nutzern mit Muskellähmungen innerhalb von fünf Sitzungen Kontrolle über das System erlangen. Für die drei Nutzer war die Leistung in der fünften Sitzung dabei deutlich höher als in der ersten. Ein solcher Trainingseffekt wurde mit visuellen Paradigmen in vorausgegangenen Studien bisher nicht berichtet. Dieses Ergebnis betont daher die Bedeutsamkeit von Training während der Erprobung von akustischen Multi-Klassen-BCIs mit Endbenutzern. Eine Grundvoraussetzung für Nutzerzufriedenheit ist, dass die BCI Technologie den Bedürfnissen der Nutzer entspricht. In diesem Zusammenhang ist es wichtig, BCIs mit bereits etablierten Hilfsmitteln zu vergleichen. Daher wurden in der fünften Studie dieser Dissertation sowohl blickabhängige Methoden (EOG, Eye-Tracking) als auch ein akustisches BCI zur binären Kommunikation mit einem Nutzer im Locked-in-Zustand evaluiert. Der Studienteilnehmer erlangte über alle getesteten Systeme die Kontrolle und bewertete den Bedienkomfort des BCI am höchsten verglichen mit den anderen getesteten Methoden. Das BCI wurde jedoch aufgrund der hohen Konzentration, die für die Auswahl eines einzelnen Befehls benötigt wurde, als die ermüdendste bewertet. Weitere Entwicklungen sind notwendig, um die Bedienung des BCI noch stärker zu vereinfachen. Die Einbeziehung von Endbenutzern in alle Schritte des Entwicklungsprozesses eines BCI wird die Wahrscheinlichkeit erhöhen, dass es schließlich als Hilfsmittel im Alltag genutzt werden kann. Die vorliegende Dissertation leistet wesentliche Beiträge, um dieses Ziel zu erreichen: Nämlich Nutzern, welche sich nicht mittels motorischer Aktivität ausdrücken können, eine neue Form der Kommunikation zu ermöglichen. KW - Gehirn-Computer Schnittstelle KW - Elektronencephalographie KW - Kommunikationshilfe KW - Brain-computer interface KW - BCI KW - EEG KW - P300 KW - ALS KW - LIS KW - AAC Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-135477 ER - TY - JOUR A1 - Simon, Nadine A1 - Käthner, Ivo A1 - Ruf, Carolin A. A1 - Pasqualotto, Emanuele A1 - Kübler, Andrea A1 - Halder, Sebastian T1 - An auditory multiclass brain-computer interface with natural stimuli: Usability evaluation with healthy participants and a motor impaired end user JF - Frontiers in Human Neuroscience N2 - Brain-computer interfaces (BCIs) can serve as muscle independent communication aids. Persons, who are unable to control their eye muscles (e.g., in the completely locked-in state) or have severe visual impairments for other reasons, need BCI systems that do not rely on the visual modality. For this reason, BCIs that employ auditory stimuli were suggested. In this study, a multiclass BCI spelling system was implemented that uses animal voices with directional cues to code rows and columns of a letter matrix. To reveal possible training effects with the system, 11 healthy participants performed spelling tasks on 2 consecutive days. In a second step, the system was tested by a participant with amyotrophic lateral sclerosis (ALS) in two sessions. In the first session, healthy participants spelled with an average accuracy of 76% (3.29 bits/min) that increased to 90% (4.23 bits/min) on the second day. Spelling accuracy by the participant with ALS was 20% in the first and 47% in the second session. The results indicate a strong training effect for both the healthy participants and the participant with ALS. While healthy participants reached high accuracies in the first session and second session, accuracies for the participant with ALS were not sufficient for satisfactory communication in both sessions. More training sessions might be needed to improve spelling accuracies. The study demonstrated the feasibility of the auditory BCI with healthy users and stresses the importance of training with auditory multiclass BCIs, especially for potential end-users of BCI with disease. KW - P300 KW - EEG KW - auditory BCI KW - brain-computer interface KW - communication KW - ALS Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-126450 VL - 8 IS - 1039 ER - TY - JOUR A1 - Kleih, Sonja C. A1 - Herweg, Andreas A1 - Kaufmann, Tobias A1 - Staiger-Sälzer, Pit A1 - Gerstner, Natascha A1 - Kübler, Andrea T1 - The WIN-speller: a new intuitive auditory brain-computer interface spelling application JF - Frontiers in Neuroscience N2 - The objective of this study was to test the usability of a new auditory Brain-Computer Interface (BCI) application for communication. We introduce a word based, intuitive auditory spelling paradigm the WIN-speller. In the WIN-speller letters are grouped by words, such as the word KLANG representing the letters A, G, K, L, and N. Thereby, the decoding step between perceiving a code and translating it to the stimuli it represents becomes superfluous. We tested 11 healthy volunteers and four end-users with motor impairment in the copy spelling mode. Spelling was successful with an average accuracy of 84% in the healthy sample. Three of the end-users communicated with average accuracies of 80% or higher while one user was not able to communicate reliably. Even though further evaluation is required, the WIN-speller represents a potential alternative for BCI based communication in end-users. KW - Brain-Computer Interface (BCI) KW - communication KW - P300 KW - motor-impaired end-user KW - auditory Y1 - 2015 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:20-opus-125972 VL - 9 ER -