Subject: Re: Neuroscience and seeing with sound From: Peter Meijer <peter.b.l.meijer(at)PHILIPS.COM> Date: Thu, 22 Jan 2004 09:25:52 +0100FYI, more on the relation between audition and vision. The German WDR-5 broadcast of the interview with Petra Stoerig about her pilot study on cross-modal plasticity using The vOICe finally took place yesterday (it was originally planned for broadcast on January 16, but there had been an unannounced last-minute change to the program). A draft transcript is appended for those who can read German. Best regards, Peter Meijer Seeing with Sound - The vOICe http://www.seeingwithsound.com http://www.visualprosthesis.com Mit den Ohren sehen. Von Hannelore Becker-Willhardt. WDR-5, Leonardo, Wissenschaft und mehr, 21. Januar 2004. Sie sieht aus wie eine Sonnenbrille. Doch im Steg zwischen den beide Gläsern ist eine winzige digitale Videokamera eingebaut. So folgt sie jeder Kopfbewegung und zeichnet das auf, was sonst die Augen sehen. Über ein Kabel werden diese Daten dann auf ein kleines Notebook übertragen. Das übersetzt die gefilmten Eindrücke in akustische Signale. Und was man dann über die Kopfhörer wahrnimmt, klingt wie ein Signal aus einer fremden Welt. Soundscape: 3 mal vom Bild: schwarzer Untergrund, rechts oben ein weißer Kreis, links unten ein weißes Rechteck. Dieses "gehörte" Bild entsteht, wenn sich die Hörbrille auf eine Fläche richtet, die vor einem schwarzen Hintergrund zwei weiße Formen zeigt: einen weißen Kreis rechts oben und ein weißes Rechteck links unten. Die Hörbrille braucht ganze 2 Sekunden, um die beiden geometrischen Figuren zu erfassen und in akustische Signale umzusetzen. Soundscape: 1 mal vom Bild: schwarzer Untergrund, rechts oben ein weißer Kreis, links unten ein weißes Rechteck. Dabei wird das Bild von links nach rechts "gelesen". Die Lautstärke gibt die Helligkeit der Figuren an, - nach dem Prinzip: je lauter, desto heller. Eine schwarze Fläche gibt gar keinen Ton. Und über die Ton-Höhe wiederum wird die Lage der Figuren bestimmt: ist der Ton hoch, liegt etwas oben, ist der Ton tief, liegt etwas unten. Soundscape: 2 mal vom Bild: schwarzer Untergrund, rechts oben ein weißer Kreis, links unten ein weißes Rechteck. Geometrische Figuren und auch Gegenstände wie eine Tasse, ein Buch oder einen Stuhl nicht sehen - sondern "hören", das kann man schnell lernen, versichert Petra Stoerig. Die Professorin für Experimentelle Psychologie an der Düsseldorfer Heine-Universität erforscht Wahrnehmung und Lernstrukturen bei Blinden. Zusammen mit dem niederländischen Physiker Peter Meijer hat sie diese Hörbrille entwickelt und bislang an fünf Personen getestet. Alle waren normalsichtig; drei von ihnen lebten aber einige Wochen mit völlig verbundenen Augen - und übten täglich vier Stunden mit der Spezialbrille das "Hören" von geometrischen Figuren und einfachen Bildern. Einer Testperson gelang es sogar, alle 27 Buchstaben des Alphabets zu identifizieren, die einzeln auf einer DIN-A-4-Seite standen. Eine andere erkannte auf einem Bild einen Weihnachts-Kaktus, auch dann, wenn er aus verschiedenen Positionen abgebildet war. Doch was spielt sich bei diesem "visuellen Hören" im Gehirn ab? Um das herauszufinden, wurden die Versuchspersonen einmal wöchentlich getestet. Sie mußten vorher aufgezeichnete Töne hören und anschließend beschreiben un aufmalen, was sie "gesehen" hatten. Zusätzlich wurden die Hirnaktivitäten mit der Kernspinthomographie untersucht, erklärt Prof. Petra Stoerig: ``Wir haben Untersuchungen gemacht, bei denen die Versuchspersonen unterscheiden mußten (a) zwischen diesen aus der Übersetzung von geometrischen Mustern entstehenden Geräuschen. (b) aus der Übersetzung von Fotos, die von der natürlichen Umgebung gemacht wurden oder von Gegenständen, wie 'ner Tasse oder 'nem Stuhl oder einem Menschen. Und drittens von sogenannten Umweltgeräuschen, die also eigentlich jeder kennt, wie das Miauen einer Katze oder Lachen.'' Die Umweltgeräusche werden über die Hör-Rinde im Gehirn verarbeitet. Aber kann das Gehirn sofort zwischen den Umweltgeräuschen und den künstlich klingenden Töne des "visuellen Hörens" unterscheiden? Wie lernt das Gehirn die neue, ziemlich fremd klingende Tonsprache? Und welche Hirnregionen werden dafür aktiviert? ``Natürlich merkt das Gehirn: Das ist irgendwie eigenartig! Aber was besonders spannend ist, ist die Frage, ob das Gehirn, wenn es denn merkt: das ist spannend! - auch möglicherweise andere Teile hinzuzieht zur Analyse dieser Töne, als die, die notwendig sind, um vertraute Geräusche zu analysieren.'' Zum Beispiel ungenutzten Bereiche im Sehzentrum des Gehirns bei Menschen mit verbundenen Augen oder bei Blinden. ``Das haben wir mit funktioneller Kernspinthomographie untersucht und haben ersten festgestellt, daß diese visuellen Geräusche tatsächlich von Anfang an vom Gehirn anders behandelt werden als die natürlichen Umweltgeräusche. Und zweitens, daß die Versuchspersonen, die dieses System über die ganze Versuchsperiode zur Verfügung hatten und das ja auch täglich nutzten, daß sich bei denen zunehmend eine Einbeziehung der visuellen Areale zeigte.'' Fazit: Nur beim Sehen mit der Hörbrille aktiviert das Gehirn zunehmend die Sehrinde, um künstliche Töne zu analysieren und sie irgendwie wieder mit Bildern in Verbindung zu bringen. So könnte die Hörbrille, wenn das System verfeinert wird, künftig den fehlenden Seh-Sinn - zumindest teilweise - ersetzen. Nicht um Zeitung zu lesen, das geht mit der Braille-Schrift viel schneller. Aber die Brille könnte Blinden helfen, sich in Räumen sicherer zu orientieren - und Gegenstände auf dem Tisch oder im Zimmer schneller zu finden. Und die Düsseldorfer Experimental-Psychologin denkt weiter. Vielleicht, sagt sie, wäre sogar noch mehr möglich: ``Was besonders aufregend wäre, wenn man tatsächlich lernen könnte, diese Informationen auch wieder visuell abzubilden. Also wenn man tatsächlich lernen könnte, damit zu sehen. Das wäre unglaublich aufregend. Und es wäre durchaus denkbar, daß das tatsächlich der Fall ist. Das ist genau der Grund, warum mich das so interessiert. Und ich könnte mir vorstellen, daß das tatsächlich eben auch, weil wir ja sehen, daß die Sehrinde einbezogen wird in die Analyse der visuellen Geräusche, nicht in die Analyse der anderen in diesem Fall, daß das tatsächlich funktionieren könnte. Und wenn man son bißchen einen visuellen Eindruck hätte davon, dann wäre das sicher was, mit dem es sich lohnt, weiter zuarbeiten.'' Und genau das ist geplant. Den ersten Untersuchungen, deren Ergebnisse inzwischen auf dem Tisch liegen, sollen weitere folgen. Petra Stoerig wird nun Tests mit Blinden machen. Am besten mit blinden Kindern, weil sie eine neue Sprache, auch die der Hörbrille, leichter lernen als Erwachsene. Weitere Informationen: http://www.uni-duesseldorf.de/stoerig http://www.seeingwithsound.com http://www.wdr5.de/sendungen/leonardo/251497.phtml