Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Das Berliner Brain-Computer Interface Projekt Thorsten Dickhaus Fachbereich Maschinelles Lernen Technische Universität Berlin (für die ganze BBCI-Gruppe) Maiseminar der CJD-Studentenschaft, Geldern-Walbeck Allgemeines Maschinelles Lernen für BCI Übersicht Allgemeines: BCI und BBCI Maschinelles Lernen für BCI Aktuelle BBCI-Projekte Anwendungen BBCI-Projekte Anwendungen Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Was ist ein Brain-Computer Interface (BCI)? Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Gehirnareale O tor mo ry o ns se P F T Gehirnlappen: Frontal, Parietal, Temporal, Okzipital. Anwendungen Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Topographische Zuordnung right T7 C5 C3 left C1 hand left hemisphere Cz C2 C4 C6 T8 hand right hemisphere Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Elektroenzephalogramm (EEG) Anwendungen Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Evozierte Potentiale Visuelle Stimuli von konstanter Blinkfrequenz erzeugen Steady-State Visual Evoked Potentials (SSVEP) im visuellen Kortex falls fokussiert: 16 Hz Oz 16 Hz Oz Ein außergewöhnlicher Stimulus in einer Folge von StandardStimuli erzeugt eine P300-Komponente in zentraler SkalpPosition falls darauf konzentriert wird: Cz Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Evozierte Potentiale Visuelle Stimuli von konstanter Blinkfrequenz erzeugen Steady-State Visual Evoked Potentials (SSVEP) im visuellen Kortex falls fokussiert: 16 Hz Oz 16 Hz Oz Ein außergewöhnlicher Stimulus in einer Folge von StandardStimuli erzeugt eine P300-Komponente in zentraler SkalpPosition falls darauf konzentriert wird: Cz Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Evozierte Potentiale (P300) für BCI Ein erwarteter, außergewöhnlicher Stimulus (Deviant) in einer Folge von Standard-Stimuli bewirkt eine P300-Komponente in zentraler Skalp-Position. Donchin: VP konzentriert sich auf einen Buchstaben in der 6×6-Matrix. Zeilen und Spalten blinken in zufälliger Reihenfolge. P300-Komponenten werden im EEG sichtbar, falls Zeile bzw. Spalte des gewählten Buchstabens blinken. Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Evozierte Potentiale (P300) für BCI Ein erwarteter, außergewöhnlicher Stimulus (Deviant) in einer Folge von Standard-Stimuli bewirkt eine P300-Komponente in zentraler Skalp-Position. Donchin: VP konzentriert sich auf einen Buchstaben in der 6×6-Matrix. Zeilen und Spalten blinken in zufälliger Reihenfolge. P300-Komponenten werden im EEG sichtbar, falls Zeile bzw. Spalte des gewählten Buchstabens blinken. Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Rhythmen im EEG Spectral Power [dB] θ α ~ 1/f β γ 10 20 30 Frequency [Hz] 40 50 • Abbildung zeigt ein idealisiertes Spektrum. • Einige Gehirnrhythmen sind nach ihrem Ursprung benannt, z.B. µ, σ, τ . Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Ereignis-korrelierte (De-)Synchronisation Bewegungsvorstellung einer Extremität bewirkt eine lokale Blockade sensori-motorischer Rhythmen (SMR). SMR oder µ-Rhythmus (∼ 10 Hz) in Motor- und sensor. Kortex: arm at rest arm moves C4 Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Ereignis-korrelierte (De-)Synchronisation Bewegungsvorstellung einer Extremität bewirkt eine lokale Blockade sensori-motorischer Rhythmen (SMR). SMR oder µ-Rhythmus (∼ 10 Hz) in Motor- und sensor. Kortex: arm at rest arm moves C4 C3 lap left C4 lap right 15 15 10 5 5 0 0 −5 −5 10 20 30 [Hz] 40 −3 −2 −1 0 [dB] 1 2 3 10 20 30 [Hz] −10 40 [dB] [dB] 10 Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Das Berliner BCI-Team TU Berlin Klaus-Robert Müller Benjamin Blankertz Carmen Vidaurre Michael Tangermann Siamac Fazli Claudia Sannelli Stefan Haufe Bastian Venthur Martijn Schreuder Marton Donaczy Charité Gabriel Curio Vadim Nikulin Jan Conradi Florian Losch Volker Kunzmann Friederike Hohlefeld Fraunhofer FIRST Motoaki Kanawabe Andreas Ziehe Florin Popescu Alumni Guido Dornhege Matthias Krauledat Kooperationspartner: Uni Tübingen, Uni Glasgow, TU Graz, EPFL Lausanne, BCCN-Berlin, Siemens, Daimler, Picoimaging Drittmittel: EU, BMBF und DFG Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Variabilität zwischen Versuchspersonen • Die Neurophysiologie der für BCI verwendeten mentalen Zustände ist bekannt - wofür Maschinelles Lernen? • Exp.: 6 VPen, linke vs. rechte Hand Fingertippen • Obschon die Aufgabe eine sehr gut erlernte Motorkompetenz darstellt, zeigen die gemittelten Gehirnmuster starke Unterschiede zwischen den VPen. 2 3 4 5 6 right left 1 ä Ein optimales System adaptiert sich an jeden Benutzer! Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Variabilität zwischen Versuchspersonen • Die Neurophysiologie der für BCI verwendeten mentalen Zustände ist bekannt - wofür Maschinelles Lernen? • Exp.: 6 VPen, linke vs. rechte Hand Fingertippen • Obschon die Aufgabe eine sehr gut erlernte Motorkompetenz darstellt, zeigen die gemittelten Gehirnmuster starke Unterschiede zwischen den VPen. 2 3 4 5 6 right left 1 ä Ein optimales System adaptiert sich an jeden Benutzer! Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Variabilität zwischen Sitzungen • Experiment: Eine VP imaginierte Bewegungen von linker vs. rechter Hand an verschiedenen Tagen. right left • Jede ERD-Graphik stellt Durchschnitt über 140 Versuche dar; dennoch zeigen sie offensichtliche Unterschiede. ä Ein optimales System adaptiert sich neu für jede Sitzung! Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Variabilität zwischen einzelnen Versuchen • Experiment: Eine VP imaginierte Bewegungen von linker vs. rechter Hand. • Topographien zeigen Energie im α-Band während Durchgängen von 3.5 s Länge. • Es offenbaren sich extreme Unterschiede, obschon die Daten von einer VP an einem Tag stammen. linke Hand rechte Hand Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Viele simultan aktive Areale Anwendungen Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Maschinelles Lernen Maschinelles Lernen befasst sich damit, eine Funktion f :D → W f (x) = y automatisch anhand von Trainingsbeispielen (x1 , y1 ), . . . , (xn , yn ) zu “erlernen”. Dabei ist typischerweise D ⊆ Rp , p ∈ N. W ⊆ R : Regressionsaufgabe W ⊆ N : Klassifikationsaufgabe Genauer wird diejenige Funktion f ∈ M gesucht, die ein vorgegebenes Fehlermaß (z.B. die Missklassifikationsrate) minimiert. Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Maschinelles Lernen für BCI • Klassische Ansätze brauchen extens. Nutzertraining • BBCI-Ziel: Transfer des Lernaufwands auf die Maschinen! • Benutzung von definierten mentalen Aufgaben • Erkennung von zugehörigen Mustern in den Gehirnsignalen (Klassifikation) imagine left hand movements A ... K L ... Z A ... K L ... Z Fz Cz Pz Oz imagine right hand movements Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Maschinelles Lernen für BCI • Klassische Ansätze brauchen extens. Nutzertraining • BBCI-Ziel: Transfer des Lernaufwands auf die Maschinen! • Benutzung von definierten mentalen Aufgaben • Erkennung von zugehörigen Mustern in den Gehirnsignalen (Klassifikation) imagine left hand movements A ... K L ... Z A ... K L ... Z Fz Cz Pz Oz imagine right hand movements Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Common Spatial Pattern (CSP) Analyse Wichtiger Schritt für SMR-basierte BCIs: Räumliche Filter zur opt. Erkennung der SMR-Modulation Seien dazu Σ1 , Σ2 die Kovarianzmatrizen der Bandpassgefilterten Signale unter den Bedingungen 1 und 2. Ein CSP-Filter w ist die Lösung der Optimierungsaufgabe arg max w∈RC w> (Σ1 − Σ2 ) w w> (Σ1 + Σ2 ) w diskriminative Aktivität gemeinsame Aktivität Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Common Spatial Pattern (CSP) Analyse Wichtiger Schritt für SMR-basierte BCIs: Räumliche Filter zur opt. Erkennung der SMR-Modulation Seien dazu Σ1 , Σ2 die Kovarianzmatrizen der Bandpassgefilterten Signale unter den Bedingungen 1 und 2. Ein CSP-Filter w ist die Lösung der Optimierungsaufgabe arg max w∈RC w> (Σ1 − Σ2 ) w w> (Σ1 + Σ2 ) w right left diskriminative Aktivität gemeinsame Aktivität right csp:R csp:L 2425 2430 2435 [s] Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Common Spatial Pattern (CSP) Analyse Wichtiger Schritt für SMR-basierte BCIs: Räumliche Filter zur opt. Erkennung der SMR-Modulation Seien dazu Σ1 , Σ2 die Kovarianzmatrizen der Bandpassgefilterten Signale unter den Bedingungen 1 und 2. Ein CSP-Filter w ist die Lösung der Optimierungsaufgabe arg max w∈RC w> (Σ1 − Σ2 ) w w> (Σ1 + Σ2 ) w diskriminative Aktivität gemeinsame Aktivität Rein Daten-basierter Ansatz, kein statistisches Modell! Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Common Spatial Pattern (CSP) Analyse Wichtiger Schritt für SMR-basierte BCIs: Räumliche Filter zur opt. Erkennung der SMR-Modulation Seien dazu Σ1 , Σ2 die Kovarianzmatrizen der Bandpassgefilterten Signale unter den Bedingungen 1 und 2. Ein CSP-Filter w ist die Lösung der Optimierungsaufgabe arg max w∈RC CSP filter ’left’ w> (Σ1 − Σ2 ) w w> (Σ1 + Σ2 ) w diskriminative Aktivität gemeinsame Aktivität CSP filter ’right’ Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Invariantes CSP Daten-basierte Ansätze lassen sich verfeinern durch Verwendung von a-priori Wissen. Beispielsweise können Robustheitseigenschaften in CSP gefordert werden: arg max w∈RC w> (Σ1 − Σ2 ) w , w> (Σ1 + Σ2 + Ξ) w Ξ: Cov. von Störsignalen Diese Optimierung kann in zwei verallgemeinerte Eigenwertprobleme zerlegt werden: V1> Σ1 V1 = D1 ∧ V1> (Σ1 + Σ2 + Ξ)V1 = I V2> Σ2 V2 = D2 ∧ V2> (Σ1 + Σ2 + Ξ)V2 = I und Effektivität in Störanalysen gezeigt (Blankertz et al., 2008). Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Übersicht über aktuelle BBCI-Projekte • Tools for Brain-Computer Interaction (TOBI, EU-gefördert) • FaSor - Fahrer als Sensor (Kooperation mit Daimler, BMBF-gefördert) • BFNT - Bernstein Fokus Neurotechnologie • brain@work (Mensch-Maschine Interaktion für Industrieanwendungen) • Verbesserung interaktiven Lernens für BCI (Vital-BCI) Anwendungen Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen brain@work: Teil C Teil C befasst sich mit Verbesserungen der BCI-Technologie Stichwörter sind • Methoden der biomedizinischen Datenanalyse • Neurophysiologie von Gehirn-Computer Interaktion • Sensortechnologie • Das “BCI-Analphabetismus”-Problem Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Das “BCI-Analphabetismus”-Problem (Vital-BCI) “BCI-Analphabetismus” Für einen geschätzten Anteil von 15% bis 30% an Benutzern ist die erreichte BCI-Performanz nicht gut genug, um Endanwendungen zu kontrollieren. In unserer großen Screening-Studie (N = 80) ergaben sich die folgenden Leistungskategorien: Kat. I: Gute Kalibrationsdaten, gute Feedbackleistung Kat. II: Gute Kalibration, aber Feedbackrate < 70% Kat. III: Vorstellungsklassen in der Kalibrationsphase nicht trennbar Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Ko-adaptives Lernen gegen “BCI-Analphabetismus” Runs Klassifikation Ê Ë Ì gener. Filter – Klassifikator auf großer Datenbank vortrainiert – Laplace-gefilterte Kanäle C3, Cz, C4 – log. Bandenergie in (8-15) Hz und (16-32) Hz – überwachte Parameter-Adaptation Í Î Ï CSP + ausg. Laps – auf Daten der Runs 1-3: trainiere CSP, wähle sechs Laplace-Kanäle – Benutzer-spezifisches Frequenzband – überwachte Adaptation: neue Kanalwahl und neues Klassifikatortraining Ð Ñ reines CSP – auf Daten der Runs 4-6 trainiertes CSP – Benutzer-spezifisches Frequenzband – unüberwachte Parameter-Adaptation Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Ko-adaptives Lernen gegen “BCI-Analphabetismus” Runs Klassifikation Ê Ë Ì gener. Filter – Klassifikator auf großer Datenbank vortrainiert – Laplace-gefilterte Kanäle C3, Cz, C4 – log. Bandenergie in (8-15) Hz und (16-32) Hz – überwachte Parameter-Adaptation Í Î Ï CSP + ausg. Laps – auf Daten der Runs 1-3: trainiere CSP, wähle sechs Laplace-Kanäle – Benutzer-spezifisches Frequenzband – überwachte Adaptation: neue Kanalwahl und neues Klassifikatortraining Ð Ñ reines CSP – auf Daten der Runs 4-6 trainiertes CSP – Benutzer-spezifisches Frequenzband – unüberwachte Parameter-Adaptation Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Ko-adaptives Lernen gegen “BCI-Analphabetismus” Runs Klassifikation Ê Ë Ì gener. Filter – Klassifikator auf großer Datenbank vortrainiert – Laplace-gefilterte Kanäle C3, Cz, C4 – log. Bandenergie in (8-15) Hz und (16-32) Hz – überwachte Parameter-Adaptation Í Î Ï CSP + ausg. Laps – auf Daten der Runs 1-3: trainiere CSP, wähle sechs Laplace-Kanäle – Benutzer-spezifisches Frequenzband – überwachte Adaptation: neue Kanalwahl und neues Klassifikatortraining Ð Ñ reines CSP – auf Daten der Runs 4-6 trainiertes CSP – Benutzer-spezifisches Frequenzband – unüberwachte Parameter-Adaptation Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Ergebnisse der ko-adaptiven Kalibration Gemittelte Werte von Versuchspersonen nach Kategorie BCI feedback accuracy [%] Cat. I (N=6) Cat. II (N=2) Cat. III (N=3) 100 90 80 70 60 2 3 50 1fixed 40 Lap • Kat.I: Gute Kontrolle schon nach 20 bis 40 Versuchen • Keine Kontrolle in Runs 1-3 für Kat. II und III • Kat. II: Plötzlicher Sprung von Run 3 zu Run 4 • Kat. III: Stetige Verbesserung in Runs 4 und 5 Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Ergebnisse der ko-adaptiven Kalibration Gemittelte Werte von Versuchspersonen nach Kategorie BCI feedback accuracy [%] Cat. I (N=6) Cat. II (N=2) Cat. III (N=3) 100 90 80 70 60 2 3 4 5 6 7 8 50 1fixed CSP+ CSP 40 Lap sel Lap • Kat.I: Gute Kontrolle schon nach 20 bis 40 Versuchen • Keine Kontrolle in Runs 1-3 für Kat. II und III • Kat. II: Plötzlicher Sprung von Run 3 zu Run 4 • Kat. III: Stetige Verbesserung in Runs 4 und 5 Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Effekt der Ko-Adaptation bei einer Versuchsperson aus Kat. III runs 7+8 runs 1+2 10 15 20 [Hz] 10 0.02 15 20 [Hz] [−+ r 2 ] 0.02 0.01 0.01 0 0 −0.01 −0.01 −0.02 −0.02 aus Vidaurre und Blankertz, 2009 Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Effekt der Ko-Adaptation bei einer Versuchsperson aus Kat. III runs 7+8 runs 1+2 idle SMR developed within one session 10 15 20 [Hz] 10 0.02 15 20 [Hz] [−+ r 2 ] 0.02 0.01 0.01 0 0 −0.01 −0.01 −0.02 −0.02 aus Vidaurre und Blankertz, 2009 Allgemeines Maschinelles Lernen für BCI BBCI-Projekte BCI-Anwendungen Exemplarische BCI-Anwendungen: • Cursor-Kontrolle (Datenübertragungsrate) • “Brain-Pong” • Virtuelle Schreibmaschine “Hex-o-Spell” • Flippern mit BCI • Torhüter-Applikation (schnelle Reaktion) • Kommunikation für körperlich beeinträchtigte Patienten Anwendungen Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Virtuelle Schreibmaschine “Hex-o-Spell” Anwendungen Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Hex-o-Spell: Kontrolle Zwei mentale Zustände (z.B. rechte Hand- und FußVorstellung) werden zur Kontrolle von Hex-o-Spell gebraucht: foot right hand Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Hex-o-Spell: Kontrolle Zwei mentale Zustände (z.B. rechte Hand- und FußVorstellung) werden zur Kontrolle von Hex-o-Spell gebraucht: right hand imagery: turn arrow BERLI < ? W U Z B C DH J G _A . V X foot E F L YP S T I O RK M N Q right hand Allgemeines Maschinelles Lernen für BCI BBCI-Projekte Anwendungen Hex-o-Spell: Kontrolle Zwei mentale Zustände (z.B. rechte Hand- und FußVorstellung) werden zur Kontrolle von Hex-o-Spell gebraucht: right hand imagery: turn arrow foot imagery: extend arrow BERLI < ? W U Z B C _A . V X BERLI E DH J G < I ? O W F L YP S T RK M N Q right hand U Z B C DH J G _A . V X foot E F L YP S T I O RK M N Q
© Copyright 2024 ExpyDoc
