Tobias Kaufmann

• Objective: Brain Computer Interfaces (BCI) provide a muscle independent interaction channel making them particularly valuable for individuals with severe motor impairment. Thus, different BCI systems and applications have been proposed as assistive technology (AT) solutions for such patients. The most prominent system for communication utilizes event-related potentials (ERP) obtained from the electroencephalogram (EEG) to allow for communication on a character-by-character basis. Yet in their current state of technology, daily life use cases ofObjective: Brain Computer Interfaces (BCI) provide a muscle independent interaction channel making them particularly valuable for individuals with severe motor impairment. Thus, different BCI systems and applications have been proposed as assistive technology (AT) solutions for such patients. The most prominent system for communication utilizes event-related potentials (ERP) obtained from the electroencephalogram (EEG) to allow for communication on a character-by-character basis. Yet in their current state of technology, daily life use cases of such systems are rare. In addition to the high EEG preparation effort, one of the main reasons is the low information throughput compared to other existing AT solutions. Furthermore, when testing BCI systems in patients, a performance drop is usually observed compared to healthy users. Patients often display a low signal-to-noise ratio of the recorded EEG and detection of brain responses may be aggravated due to internally (e.g. spasm) or externally induced artifacts (e.g. from ventilation devices). Consequently, practical BCI systems need to cope with mani-fold inter-individual differences. Whilst these high demands lead to increasing complexity of the technology, daily life use of BCI systems requires straightforward setup including an easy-to-use graphical user interface that nonprofessionals can handle without expert support. Research questions of this thesis: This dissertation project aimed at bringing forward BCI technology toward a possible integration into end-users' daily life. Four basic research questions were addressed: (1) Can we identify performance predictors so that we can provide users with individual BCI solutions without the need of multiple, demanding testing sessions? (2) Can we provide complex BCI technology in an automated, user-friendly and easy-to-use manner, so that BCIs can be used without expert support at end-users' homes? (3) How can we account for and improve the low information transfer rates as compared to other existing assistive technology solutions? (4) How can we prevent the performance drop often seen when bringing BCI technology that was tested in healthy users to those with severe motor impairment? Results and discussion: (1) Heart rate variability (HRV) as an index of inhibitory control (i.e. the ability to allocate attention resources and inhibit distracting stimuli) was significantly related to ERP-BCI performance and accounted for almost 26% of variance. HRV is easy to assess from short heartbeat recordings and may thus serve as a performance predictor for ERP-BCIs. Due to missing software solutions for appropriate processing of artifacts in heartbeat data (electrocardiogram and inter-beat interval data), our own tool was developed that is available free of charge. To date, more than 100 researchers worldwide have requested the tool. Recently, a new version was developed and released together with a website (www.artiifact.de). (2) Furthermore, a study of this thesis demonstrated that BCI technology can be incorporated into easy-to-use software, including auto-calibration and predictive text entry. Naïve, healthy nonprofessionals were able to control the software without expert support and successfully spelled words using the auto-calibrated BCI. They reported that software handling was straightforward and that they would be able to explain the system to others. However, future research is required to study transfer of the results to patient samples. (3) The commonly used ERP-BCI paradigm was significantly improved. Instead of simply highlighting visually displayed characters as is usually done, pictures of famous faces were used as stimulus material. As a result, specific brain potentials involved in face recognition and face processing were elicited. The event-related EEG thus displayed an increased signal-to-noise ratio, which facilitated the detection of ERPs extremely well. Consequently, BCI performance was significantly increased. (4) The good results of this new face-flashing paradigm achieved with healthy participants transferred well to users with neurodegenerative disease. Using a face paradigm boosted information throughput. Importantly, two users who were highly inefficient with the commonly used paradigm displayed high accuracy when exposed to the face paradigm. The increased signal-to-noise ratio of the recorded EEG thus helped them to overcome their BCI inefficiency. Significance: The presented work at hand (1) successfully identified a physiological predictor of ERP-BCI performance, (2) proved the technology ready to be operated by naïve nonprofessionals without expert support, (3) significantly improved the commonly used spelling paradigm and (4) thereby displayed a way to effectively prevent BCI inefficiency in patients with neurodegenerative disease. Additionally, missing software solutions for appropriate handling of artifacts in heartbeat data encouraged development of our own software tool that is available to the research community free of charge. In sum, this thesis significantly improved current BCI technology and enhanced our understanding of physiological correlates of BCI performance.…
• Zielsetzung: Gehirn-Computer Schnittstellen (engl. Brain-Computer Interface, BCI) bilden einen muskel-unabhängigen Interaktionskanal, was sie besonders für Menschen mit starken, motorischen Einschränkungen wertvoll macht. Daher wurden verschiedene BCI-Systeme und -Anwendungen als unterstützende Technologien (UT) für diese Patienten vorgeschlagen. Das am häufigsten verwendete System zu Kommunikationszwecken basiert auf ereigniskorrelierten Potentialen (EKP) des Elektroenzephalogramms (EEG) und ermöglicht es Buchstabe für Buchstabe zuZielsetzung: Gehirn-Computer Schnittstellen (engl. Brain-Computer Interface, BCI) bilden einen muskel-unabhängigen Interaktionskanal, was sie besonders für Menschen mit starken, motorischen Einschränkungen wertvoll macht. Daher wurden verschiedene BCI-Systeme und -Anwendungen als unterstützende Technologien (UT) für diese Patienten vorgeschlagen. Das am häufigsten verwendete System zu Kommunikationszwecken basiert auf ereigniskorrelierten Potentialen (EKP) des Elektroenzephalogramms (EEG) und ermöglicht es Buchstabe für Buchstabe zu kommunizieren. Zum derzeitigen Stand der Technik sind Berichte über alltägliche Verwendung von BCI-Systemen jedoch selten. Zusätzlich zu dem hohen Präparationsaufwand, der mit dem Messen eines EEGs verbunden ist, ist eine der Hauptursachen der verhältnismäßig geringe Informationstransfer im Vergleich zu anderen existierenden UT-Lösungen. Zudem wird häufig beobachtet, dass das BCI-Kontrollvermögen bei Patienten deutlich niedriger ist als bei gesunden Nutzern. Das EEG von Patienten weißt häufig ein niedrigeres Signal-zu-Rausch-Verhältnis auf und die Erkennung von Hirnantworten kann durch interne (z. B. Spasmus) oder externe Artefakte (z. B. von einem Beatmungsgerät herrührend) zusätzlich erschwert werden. Somit müssen praxisrelevante BCI-Systeme mit einer Vielfalt von interindividuellen Unterschieden klar kommen. Obschon diese hohen Anforderungen zu einer zunehmend komplexeren Technologie führen, erfordert der Alltagsgebrauch von BCI-Systemen einen einfachen Aufbau inklusive leicht zu bedienender, grafischer Benutzeroberfläche, die von Laien, ohne Unterstützung von Experten, bedient werden kann. Forschungsfragestellungen dieser Dissertationsschrift: Das Dissertationsprojekt bezweckte die Weiterentwicklung von BCI-Systemen, um den Weg für eine Integration in das tägliche Leben von Benutzern zu bahnen. Vier grundlegende Forschungsfragestellungen wurden adressiert: (1) Können Prädiktoren des BCI-Kontrollvermögens gefunden werden, sodass Nutzer mit individuell angepassten BCI-Lösungen versorgt werden können, ohne dass mehrfache, anstrengende Testsitzungen notwendig sind? (2) Kann komplexe BCI-Technologie auf automatisierte, nutzerfreundliche und leicht zu bedienende Weise bereitgestellt werden, sodass BCIs, ohne die Unterstützung von Experten, zuhause verwendet werden können? (3) Wie kann man den im Vergleich zu anderen existierenden UT-Lösungen niedrigen Informationstransferraten begegnen und sie erhöhen? (4) Wie kann ein Abfall des Kontrollvermögens verhindert werden, der häufig in Erscheinung tritt, wenn man BCI-Technologie, die an Gesunden getestet wurde, zu Patienten mit starken motorischen Einschränkungen bringt? Ergebnisse und Diskussion: (1) Herzratenvariabilität als Index des inhibitorischen Kontrollvermögens (die Fähigkeit Aufmerksamkeitsressourcen bereitzustellen und ablenkende Reize zu inhibieren) wurde zu EKP-BCI-Kontrollvermögen in einen signifikanten Bezug gesetzt und klärte beinahe 26% der Varianz auf. HRV ist leicht aus kurzen Aufzeichnungen des Herzschlags zu erheben und könnte daher als Prädiktor des EKP-BCI-Kontrollvermögens dienen. Aufgrund fehlender Softwarelösungen für angemessene Artefaktbehandlung in Aufzeichnungen des Herzschlags (Elektrokardiogramm und Interbeat-Intervall Daten) wurde ein eigenes Programm entwickelt, das frei erhältlich ist. Bis heute wurde es von mehr als 100 Wissenschaftlern weltweit angefordert. Unlängst wurde zudem eine neue Version entwickelt, die zusammen mit einer Website veröffentlicht wurde (www.artiifact.de). (2) Des Weiteren zeigte eine Studie dieser Dissertation, dass BCI-Technologie samt Auto-Kalibration und Wortvervollständigung in eine leicht zu bedienende Software integriert werden kann. Ungeschulte, gesunde Probanden waren in der Lage die Software ohne Unterstützung von Experten zu bedienen und buchstabierten mit dem auto-kalibrierten BCI erfolgreich Wörter. Sie gaben an, dass die Bedienung der Software leicht zu tätigen sei und dass sie in der Lage wären, das System anderen zu erklären. Jedoch muss zukünftige Forschung klären, ob sich die Ergebnisse auf Patienten übertragen lassen. (3) Das häufig verwendete EKP-BCI-Paradigma wurde signifikant verbessert. Statt - wie normalerweise getätigt - visuell präsentierte Buchstaben einfach aufleuchten zu lassen, wurden Bilder berühmter Gesichter als Stimulationsmaterial verwendet. Hierdurch wurden spezifische Gehirnpotentiale der Gesichtserkennung und -verarbeitung ausgelöst. Das ereigniskorrelierte EEG wies daher ein höheres Signal-zu-Rausch-Verhältnis auf, was die Detektion von EKPs stark vereinfachte. Infolgedessen war das BCI-Kontrollvermögen signifikant erhöht. (4) Die guten Ergebnisse dieses neuen Gesichter-Stimulus-Paradigmas, die mit gesunden Probanden erreicht wurden, ließen sich gut auf Patienten mit neurodegenerativen Erkrankungen übertragen. Die Verwendung eines Gesichter-Paradigmas erhöhte den Informationstransfer erheblich. Zwei Nutzer, die sehr ineffizient im Umgang mit dem herkömmlichen BCI-System waren, erreichten zudem ein hohes Kontrollvermögen mit dem Gesichter-Paradigma. Das erhöhte Signal-zu-Rausch-Verhältnis des aufgezeichneten EEGs half ihnen somit ihre BCI Ineffizienz zu überwinden. Signifikanz: Die hier vorgestellte Arbeit (1) identifizierte einen physiologischen Prädiktor des EKP-BCI-Kontrollvermögens, (2) zeigte, dass die Technologie bereit ist für die Verwendung durch ungeschulte Laien ohne Unterstützung von Experten, (3) verbesserte das herkömmliche Kommunikationsparadigma signifikant, und (4) zeigte hierdurch einen Weg auf, die BCI Ineffizienz von Patienten mit neurodegenerativen Erkrankungen effektiv zu verhindern. Die fehlende Softwarelösung zur angemessenen Behandlung von Artefakten in Aufzeichnungen des Herzschlags animierte zudem zur Entwicklung einer eigenen Anwendung, die der Wissenschaftsgemeinschaft kostenfrei zur Verfügung gestellt wird. Zusammenfassend kann gesagt werden, dass dieses Dissertationsprojekt somit derzeitige BCI-Technologie signifikant verbesserte und unser Verständnis physiologischer Korrelate des BCI-Kontrollvermögens erweiterte.…