Re: Neuroscience and seeing with sound

[Peter Meijer <peter.b.l.meijer@xxxxxxxxxxx>]

FYI, more on the relation between audition and vision.

The German WDR-5 broadcast of the interview with Petra
Stoerig about her pilot study on cross-modal plasticity 
using The vOICe finally took place yesterday (it was 
originally planned for broadcast on January 16, but 
there had been an unannounced last-minute change to the
program). A draft transcript is appended for those who 
can read German.

Best regards,

Peter Meijer


Seeing with Sound - The vOICe
http://www.seeingwithsound.com
http://www.visualprosthesis.com


Mit den Ohren sehen. Von Hannelore Becker-Willhardt.
WDR-5, Leonardo, Wissenschaft und mehr, 21. Januar
2004.

Sie sieht aus wie eine Sonnenbrille. Doch im Steg
zwischen den beide Gläsern ist eine winzige digitale
Videokamera eingebaut.

So folgt sie jeder Kopfbewegung und zeichnet das
auf, was sonst die Augen sehen. Über ein Kabel werden
diese Daten dann auf ein kleines Notebook übertragen.
Das übersetzt die gefilmten Eindrücke in akustische
Signale. Und was man dann über die Kopfhörer
wahrnimmt, klingt wie ein Signal aus einer fremden
Welt.

Soundscape:
3 mal vom Bild: schwarzer Untergrund, rechts oben
ein weißer Kreis, links unten ein weißes Rechteck.

Dieses "gehörte" Bild entsteht, wenn sich die
Hörbrille auf eine Fläche richtet, die vor einem
schwarzen Hintergrund zwei weiße Formen zeigt: einen
weißen Kreis rechts oben und ein weißes Rechteck links
unten. Die Hörbrille braucht ganze 2 Sekunden, um
die beiden geometrischen Figuren zu erfassen
und in akustische Signale umzusetzen.

Soundscape:
1 mal vom Bild: schwarzer Untergrund, rechts oben
ein weißer Kreis, links unten ein weißes Rechteck.

Dabei wird das Bild von links nach rechts "gelesen".
Die Lautstärke gibt die Helligkeit der Figuren an, -
nach dem Prinzip: je lauter, desto heller. Eine 
schwarze Fläche gibt gar keinen Ton. Und über die 
Ton-Höhe wiederum wird die Lage der Figuren bestimmt:
ist der Ton hoch, liegt etwas oben, ist der Ton tief,
liegt etwas unten.

Soundscape:
2 mal vom Bild: schwarzer Untergrund, rechts oben ein
weißer Kreis, links unten ein weißes Rechteck.

Geometrische Figuren und auch Gegenstände wie eine
Tasse, ein Buch oder einen Stuhl nicht sehen - sondern
"hören", das kann man schnell lernen, versichert Petra
Stoerig. Die Professorin für Experimentelle Psychologie
an der Düsseldorfer Heine-Universität erforscht 
Wahrnehmung und Lernstrukturen bei Blinden. Zusammen
mit dem niederländischen Physiker Peter Meijer hat 
sie diese Hörbrille entwickelt und bislang an fünf 
Personen getestet.

Alle waren normalsichtig; drei von ihnen lebten aber
einige Wochen mit völlig verbundenen Augen - und übten
täglich vier Stunden mit der Spezialbrille das
"Hören" von geometrischen Figuren und einfachen
Bildern. Einer Testperson gelang es sogar, alle 27
Buchstaben des Alphabets zu identifizieren, die
einzeln auf einer DIN-A-4-Seite standen. Eine andere
erkannte auf einem Bild einen Weihnachts-Kaktus, auch
dann, wenn er aus verschiedenen Positionen abgebildet
war.

Doch was spielt sich bei diesem "visuellen Hören" 
im Gehirn ab? Um das herauszufinden, wurden die
Versuchspersonen einmal wöchentlich getestet. 
Sie mußten vorher aufgezeichnete Töne hören und
anschließend beschreiben un aufmalen, was sie 
"gesehen" hatten. Zusätzlich wurden die Hirnaktivitäten
mit der Kernspinthomographie untersucht, erklärt Prof.
Petra Stoerig:

``Wir haben Untersuchungen gemacht, bei denen die
Versuchspersonen unterscheiden mußten (a) zwischen
diesen aus der Übersetzung von geometrischen Mustern
entstehenden Geräuschen. (b) aus der Übersetzung von
Fotos, die von der natürlichen Umgebung gemacht
wurden oder von Gegenständen, wie 'ner Tasse oder
'nem Stuhl oder einem Menschen. Und drittens von
sogenannten Umweltgeräuschen, die also eigentlich 
jeder kennt, wie das Miauen einer Katze oder Lachen.''

Die Umweltgeräusche werden über die Hör-Rinde im
Gehirn verarbeitet. Aber kann das Gehirn sofort
zwischen den Umweltgeräuschen und den künstlich
klingenden Töne des "visuellen Hörens" unterscheiden?
Wie lernt das Gehirn die neue, ziemlich fremd 
klingende Tonsprache? Und welche Hirnregionen 
werden dafür aktiviert?

``Natürlich merkt das Gehirn: Das ist irgendwie
eigenartig! Aber was besonders spannend ist, ist 
die Frage, ob das Gehirn, wenn es denn merkt: das 
ist spannend! - auch möglicherweise andere Teile
hinzuzieht zur Analyse dieser Töne, als die, die
notwendig sind, um vertraute Geräusche zu
analysieren.''

Zum Beispiel ungenutzten Bereiche im Sehzentrum des
Gehirns bei Menschen mit verbundenen Augen oder bei 
Blinden.

``Das haben wir mit funktioneller Kernspinthomographie
untersucht und haben ersten festgestellt, daß diese
visuellen Geräusche tatsächlich von Anfang an vom
Gehirn anders behandelt werden als die natürlichen
Umweltgeräusche. Und zweitens, daß die
Versuchspersonen, die dieses System über die ganze
Versuchsperiode zur Verfügung hatten und das ja auch
täglich nutzten, daß sich bei denen zunehmend eine
Einbeziehung der visuellen Areale zeigte.''

Fazit: Nur beim Sehen mit der Hörbrille aktiviert das
Gehirn  zunehmend die Sehrinde, um künstliche Töne zu
analysieren und sie irgendwie wieder mit Bildern in 
Verbindung zu bringen.

So könnte die Hörbrille, wenn das System verfeinert
wird, künftig den fehlenden Seh-Sinn - zumindest
teilweise - ersetzen. Nicht um Zeitung zu lesen, das
geht mit der Braille-Schrift viel schneller. Aber die
Brille könnte Blinden helfen, sich in Räumen sicherer
zu orientieren - und Gegenstände auf dem Tisch oder 
im Zimmer schneller zu finden.

Und die Düsseldorfer Experimental-Psychologin denkt
weiter. Vielleicht, sagt sie, wäre sogar noch mehr 
möglich:

``Was besonders aufregend wäre, wenn man tatsächlich
lernen könnte, diese Informationen auch wieder
visuell abzubilden. Also wenn man tatsächlich lernen
könnte, damit zu sehen. Das wäre unglaublich
aufregend. Und es wäre durchaus denkbar, daß das
tatsächlich der Fall ist. Das ist genau der Grund,
warum mich das so interessiert. Und ich könnte mir
vorstellen, daß das tatsächlich eben auch, weil wir
ja sehen, daß die Sehrinde einbezogen wird in die
Analyse der visuellen Geräusche, nicht in die Analyse
der anderen in diesem Fall, daß das tatsächlich
funktionieren könnte. Und wenn man son bißchen einen
visuellen Eindruck hätte davon, dann wäre das sicher
was, mit dem es sich lohnt, weiter zuarbeiten.''

Und genau das ist geplant. Den ersten Untersuchungen, 
deren Ergebnisse inzwischen auf dem Tisch liegen, 
sollen weitere folgen. Petra Stoerig wird nun 
Tests mit Blinden machen. Am besten mit blinden Kindern,
weil sie eine neue Sprache, auch die der Hörbrille,
leichter lernen als Erwachsene.

Weitere Informationen:
http://www.uni-duesseldorf.de/stoerig
http://www.seeingwithsound.com

http://www.wdr5.de/sendungen/leonardo/251497.phtml