Horizonte erweitern und Wissenschaft, Kultur, Medizin, Therapie, Philosophie und Spiritualität verbinden

Neurosonifikation

Mit dem Echtzeit-Sonifikationssystems (POSER) kann die neuronale Aktivität des Gehirn und andere Vitalparameter in Echtezit in Klänge verwandelt werden. Die  vielseitigen oszillatorischen Anteile des EEGs, jedoch auch  die peripher messbaren Rhythmen wie Puls oder Atmung  werden als orchestrales Konzert, genannt Brainmusic,  wiedergegeben. Eine äußerst ästhetische Anwendung wurde im Projekt Braindance geschaffen, in dem eine Tänzerin mit  einem tragbaren EEG-System ausgerüstet wurde und so live  zur Musik ihres eigenen Gehirns tanzen kann und mit dieser  in eine Interaktion treten kann. So ergibt sich eine ästthetische Verbindung zwischen Neurowissenschaft und den darstellenden Künsten. Hier seien Technologie und Anwendungen vorgestellt.

Verschiedene Daten sonifiziert
Prinzip der Neurosonifikation
Brain-Computer-Interface
Brainmusic und Braindance
Neurosonifizierte Selbsterfahrung
Musik aus Signalen von Pflanzen

Das Prinzip der Sonifikation

Audifikation des EEGs

Da die wesentlichen Frequenzen der über Elektroden elektrisch ableitbaren Gehirnaktivität zwischen 1 und 40 Hz liegen, ist der Großteil davon unterhalb der Hörbarkeitsgrenze. Um dennoch diese Gehirnaktivitäten hörbar zu machen, kann man das EEG 10-mal schneller abspielen und erhält dann einen Eindruck von der Aktivität, allerdings nicht mehr im echten Zeitmaßstab. Der Alpharhythmus erhält dann eine Grundfrequenz von etwa 100 Hz. Im Ergebnis ergibt sich ein rauschähnliches Signal wie hier zu hören ist.

Audifikation eines EEG-Signals in 10-facher Geschwindigkeit

Sonifikation von EEG-Signalen

Die zeitliche Charakteristik oder sogar Rhythmik des EEGs kann durch Sonifikation mit dem POSER-System hörbar gemacht werden. Hier können wir der Charakteristik des Alpharhythmus zuhören, einem Ruherhythmus, der vor allem bei geschlossenen Augen deutlich aus dem EEG-Rauschen heraustritt.

Alpharhythmus sonifiziert mit POSER-System
Orchestrale Sonifikation des EEGs mit POSER-System

Weitere wissenschaftliche Sonifikationen

Klimawandel sonifiziert

Mittlere Durchschnittstemperatur in Deutschland zwischen 1881 und 2017

Atomspektren sonifiziert

Sonifiziert man die drei oder vier stärksten atomaren Anregungsfrequenzen im sichtbaren Spektrum durch entsprechendes Herunteroktavieren, so kann man daraus Mehrklänge erzeugen, deren Harmonie oder Disharmonie man dann hören kann. Dies habe ich hier für die drei Elemente Wasserstoff, Sauerstoff und Stickstoff illustriert.

Biophotonen

Eine Sequenz aus mit einem Photomultiplier aufgenommenen Einzelphotonenevents kann ebenfalls über geeignete Parametrisierung in ein ästhetisches Klanggeschehen verwandelt werden. Diese Sequenz liegt jedoch sehr nahe an einem Zufallsprozess und so ist hier die Musikalität im Wesentlichen durch die Parameterwahl des POSER-Systems zuzuschreiben.

Sonifikation von Biophotonen als Orgelmusik

Brainmusic

Da mit dem POSER-System mehrere Signalparameter gleichzeitig mit verschiedenen Instrumenten sonifiziert werden können, kann aus einem einzigen EEG-Kanal bereits ein ganzes Konzert entstehen.

Mit dem Neurosonifikationssystem „POSER“ lässt sich live die Musik der eigenen Gehirnsignale genießen

Braindance

Braindance  – das ist die Idee einer Tanzperformance, in der zwei kreative Momente  – der Improvisationstanz als Ausdruck körperlicher Aktion und Kommunikation und die  hörbar gemachten Rhythmen der Gehirnsignale als Ausdruck geistiger Aktivität – in  Interaktion gebracht werden sollen.

Entstanden ist das Konzept in den Köpfen von Ottmar Gendera und Thilo Hinterberger. Die choreographische Gestaltung hat Prof. Dieter Heitkamp der Hochschule für Tanz und Darstellende Kunst, Frankfurt übernommen. Den tänzerischen Part inszeniert mit Begeisterung Carla Pulvermacher. Betrachtet man das Gehirn als den Teil unseres Körpers, der uns über unsere tierischen Anlagen hinaushebt, dann könnte die Thematisierung des dem Gehirn zugrunde liegenden Entwicklungsvorganges zum Inhalt der Performance werden. Dargestellt werden könnte die Evolution der menschlichen Individualisierung, des Erkenntnisprozesses, die daraus resultierende Begegnung mit dem Gegenüber, dem „Du und schließlich der Begegnung des Erkennenden mit dem eigenen Selbst, das ebenfalls als „Du erkannt wird. Dieser Prozess stellt eine wesentliche Qualität des menschlichen Geistes dar. Die Verbindung zwischen körperlicher Aktivität (Tanz) und der geistigen Aktivität (Gehirnsignale) besitzt noch einen anderen wichtigen Kontext: Den der Kommunikation. Jede Begegnung verursacht Kommunikation: Wir hören, sehen, fühlen – Wahrnehmung, die zunächst ins Gehirn geht und dessen Reaktion als Antwort immer von unserem Muskelsystem vermittelt wird. Ohne die Bewegungsfähigkeit unseres Körpers wäre der Geist in uns eingeschlossen! Die Steuerung der Bewegung durch das Gehirn wird in der „BrainDance-Performance dadurch verdeutlicht, dass ein/e TänzerIn (wir könnten ihn Dreamer nennen) zur Quelle von Gehirnsignalen wird, die live den anderen Tänzern/Innen und dem Publikum hörbar gemacht werden. Durch die Verbindung von Musik und Tanz sind diese Gehirnsignale Auslöser von Bewegung. Durch die Wahrnehmung des Dreamer-Tänzers sind aber auch seine Hirnsignale und damit seine körperliche Antwort zumindest teilweise bestimmt durch das Geschehen. Eine Feedbackschleife entsteht, die das gesamte Geschehen umfasst. Der Dreamer-Tänzer wird durch seine Eigenschaft als „Quelle alles Hörbaren zu einer Leitfigur des Geschehens. Er ist Musiker und Komponist zugleich und zwar im Hier und Jetzt! Der Copmputer stellt eine Palette an Musikinstrumenten zur Verfügung. Der Einsatz der unterschiedlichen Musikinstrumente wird aber bestimmt vom Bediener des Computers, dem die Rolle des Dirigenten zukommt. Hier jedoch ist es Aufgabe des Dirigenten, sich vom Geschehen der Darsteller leiten zu lassen. Auch eine Feedbackschleife. Die langsamen Hirnpotentiale sind ein gutes Beispiel für die Sichtbarmachung der direkten Interaktion, da die langsamen Hirnpotentiale die Bereitschaft einer Bewegung widerspiegeln. Zugleich ist aber auch die Reaktion auf den Sound die sichtbare Äußerung, sodaß Ursache und Folge der Bewegung für den Zuschauer kaum mehr unterscheidbar sind. Und das ist der besondere Reiz von Braindance.

Das Sonifikationssystem wurde zu Show- und Demonstrationszwecken eingesetzt. Die Veranstaltungen wurden hauptsächlich als sogenannte Lecture-Performance abgehalten. Ziel war eine ästhetische Verbindung zwischen Neurowissenschaft, Musik und Tanz zu schaffen. hier einige Aufführungen:

  • Internationaler Medienkunstpreis 2004. Der erste Auftritt mit dem Projekt Braindance fand im Rahmen der Preisverleihung des Internationalen Medienkunstpreises 2004 des ZKM in Karlsruhe statt. Die Präsentation der zwei Braindance-Showteile ist von der ARD übertragen worden.
  • Erlanger Hörkunstfestival 2004. Eine Lecture-Performance wurde beim Erlanger Hörkunstfestival 2004 vorgeführt. Der Vortrag über Neurowissenschaft, Neurofeedback, Brainmusic und Braindance wurde von Live-Demonstrationen der Hirnrhythmen und einer Braindance Performance begleitet.
  • Science on Stage, Grenoble 2007. Science on Stage war eine internationale Veranstaltung, in deren Rahmen wir eine Lecture Performance veranstalteten. Hier wurden die Prinzipien der Neuroforschung sowie die Grundlagen von Gehirn-Computer Schnittstellen vermittelt. In der anschließenden Braindance Performance präsentierte Carla Pulvermacher Sequenzen von Yoga bis hin zur freien Improvisation. Zu dieser Veranstaltung liegt Videomaterial vor.
  • Dampflos Digital, Meschede 2016. Workshop und Braindance-Aufführung vom 5. bis 7. Juli 2016 am Gymnasium Meschede mit den Schüler*innen.