Illustration eine Gehirns und darum Musiknoten

Hirnforschung

Pink Floyd Song anhand von Hirnaktivität rekonstruiert

Stand
Autor/in
Anja Braun
Anja Braun, Reporterin und Redakteurin SWR Wissen aktuell.
Onlinefassung
Leila Boucheligua

Forschende haben mit Hilfe von Hirnimplantaten erstmals einen Song aus Hirnaktivitäten rekonstruiert. Künstliche Intelligenz konnte die elektrischen Signale des Gehirns in den Pink Floyd Song "Another Brick in the Wall" zurückverwandeln. Wie funktioniert das und welchen Nutzen kann das haben?

Neurowissenschaftlerinnen und -wissenschaftlern des Albany Medical Center in New York und der Berkeley University in Kalifornien ist es gelungen, mit Hilfe von Hirnimplantaten und dem Einsatz von Künstlicher Intelligenz den Pink Floyd Song "Another Brick in the Wall" zu rekonstruieren. Die Forschung zur Musikverarbeitung unseres Gehirns könnte den Weg für verbesserte Sprachprothesen ebnen.

So funktioniert die Messung

Die Messungen wurden bei Teilnehmenden vorgenommen, die schon zuvor Elektroden auf der Oberfläche ihres Hirns eingepflanzt bekommen hatten, um so ihre epileptischen Anfälle überwachen zu können. Diese Menschen haben Pink Floyds Lied „ Another Brick in the Wall“ gehört, während sich die Forschenden angeschaut haben, wie die implantierten Elektroden die Aktivität mehrerer Gehirnregionen erfassen.

Dabei wurden auch neue Bereiche identifiziert, die etwa für den Rhythmus und bestimmte stimmliche Elemente zuständig sind. All das wurde aufgezeichnet. Anschließend hat ein KI-Modell nach Mustern in der Reaktion des Gehirns gesucht. Genauer: Wie es auf verschiedene Komponenten des Liedes wie Änderungen in Tonhöhe und Rhythmus reagiert.

Ein weiteres KI-Modell hat diese Daten und Muster wieder zusammengesetzt, um die Geräusche abzuschätzen, die die Patientinnen und Patienten hörten. Das waren zwar verstümmelte, aber doch gut erkennbare Audiodaten des Pink Floyd Songs.

Das ist auf diesem Forschungsgebiet schon möglich

Die Idee hinter dieser Hirnforschung ist, dass Menschen, die die Fähigkeit zum Sprechen verloren haben, mit Hilfe von Hirnimplantaten wieder kommunizieren können. In der gesprochenen Sprache sind melodische Nuancen wie das Tempo, Betonungen und Akzente wichtig, weshalb versucht wird, auch diese Sprachelemente, die Prosodie genannt werden, zu erfassen. Dafür ist diese Musik-Rekonstruktion ein wichtiger Schritt.

Dabei hat die Forschung schon einige Hindernisse genommen. Vor 11 Jahren hat es ein Team aus Kalifornien geschafft, Audioaufzeichnungen von Wörtern zu rekonstruieren, die Teilnehmende mit Hirnimplantaten gehört haben. Ein anderes Forschungsteam hat es geschafft, kürzlich angesehene Bilder aus Hirnscans der Teilnehmenden zu reproduzieren. Das waren Landschaftsfotos aber auch menschliche Gesichter. 

Nun war es das erste Mal, dass Wissenschaftlerinnen und Wissenschaftler das Gehirn derart belauschen konnten, um Musik zu rekonstruieren.

Eine Frau trägt Elektroden auf dem Kopf
Bisher funktioniert die Rekonstruktion von Musik nur mithilfe von Implantaten im Gehirn. Teils ist aber schon jetzt möglich, Hirnströme nur noch mithilfe äußerlich angelegter Elektroden zu entschlüsseln.

Pink Floyd singt "We don't need no thought control" – Sind wir nun dem Gedankenlesen nahe?

Die Forschenden selbst geben an, dass noch einige Hürden zu überwinden sind, bevor diese Technologie sicher angewendet werden kann. Die größte Hürde könnte sein, dass solche Gedankenleseprogramme, immer noch eine direkte Schnittstelle ins Gehirn – also ein Implantat – brauchen, um brauchbare Ergebnisse liefern zu können.

Es wird jedoch bereits daran geforscht, das menschliche Gehirn ohne chirurgische Implantate auszulesen. Zum Beispiel mithilfe hochempfindlicher Elektroden, die an der Kopfhaut befestigt werden. Das funktioniert bereits, aber nur wenn die Teilnehmenden sich einzelne Buchstaben vorstellen.

Der Vorgang der Entschlüsselung braucht etwa 20 Sekunden pro Buchstabe – ist damit also noch recht langsam und nicht alltagsgeeignet. Sicher ist, dass zur Zeit noch keine Technologie die privaten Gedanken der Menschen entschlüsseln kann. 

Da sich dieser Forschungsbereich rasant weiterentwickelt, sind Regelungen wichtig – von Privatsphäre bis zur persönlichen Autonomie. Ethikerinnen und Ethiker fordern, dass Nutzende zumindest die volle Kontrolle über die Ausgänge der Geräte behalten müssten.  

😳Ist das Gedanken lesen? Das erste Mal konnte ein Musikstück nur aus der Gehirnaktivität beim Hören rekonstruiert werden. Die Patient*innen hatten schon vor der Untersuchung Elektroden auf der Oberfläche ihres Gehirns eingepflanzt, sie sind Epileptiker*innen und mit den Elektroden können ihre Anfälle überwacht werden. Die Musikrekonstruktion ist ein Schritt dahin, Menschen zu helfen, die nicht (mehr) mit ihrer Stimme sprechen können. Sprachcomputer klingen recht mechanisch und mit einer Gehirn-Maschine Schnittstelle könnten sie auch wieder Sprachmelodie, Tempo und Betonung ausdrücken. Aber ist es ein Schritt zum unbemerkten Gedanken lesen? Bisher brauchen Gedankenleseprogramme eine direkte Schnittstelle ins Gehirn, also Implantate. Es wird aber auch mit Elektroden (ohne Implantate) erforscht, das funktioniert allerdings erst rudimentär mit einzelnen Buchstaben. Außerdem gibt es natürlich einige ethische Fragen dazu. #wissenschaft #forschung #gedankenlesen #neurologie #gehirn #musik

Stand
Autor/in
Anja Braun
Anja Braun, Reporterin und Redakteurin SWR Wissen aktuell.
Onlinefassung
Leila Boucheligua