Microsoft Research arbeitet an 3-D-Audio für Telepräsenz und virtuelle Realität

Microsoft Research arbeitet an einem System, das Geräusche so erscheinen lässt, als kämen sie von bestimmten Punkten im Raum. Die Elektronik auf der Oberseite des Kopfhörers verfügt über Sensoren, um die Bewegung des Kopfes des Trägers zu verfolgen. Microsoft-Forscher nennen es 3-D-Audio. Technology Review hatte kürzlich die Gelegenheit, diese Technologie im Labor von Microsoft im Silicon Valley zu erleben.

Ich setzte einen drahtlosen Kopfhörer auf, der nahe Objekte plötzlich zum Leben erweckte. Eine Stimme schien aus einem Pappmodell eines tragbaren Radios zu kommen. Musik höherer Qualität schien von einem gefälschten Hi-Fi-Lautsprecher zu kommen. Und ein ausgestopfter Vogel hoch über dem Boden erzeugte realistisches Zwitschern. Während ich umherging, änderten sich die Geräusche, sodass die Illusion nie verrutschte, wenn sich ihre Position relativ zu meinen Ohren änderte.

Möglich wurde dieses etwas unheimliche Erlebnis, weil ich mich keine Minute zuvor vor einen Kinect 3-D-Sensor gesetzt hatte und kurz nach links und rechts gedreht worden war. Eine Software erstellte ein 3-D-Modell meines Kopfes und meiner Schultern und verwendete dieses Modell dann, um einen personalisierten Filter zu berechnen, der es ermöglichte, meine Hörsinne zu täuschen.

Hier ist die Info über das Projekt von Microsoft,

Dieses Forschungsprojekt umfasst zwei Technologien:

• Gerenderte personalisierte kopfbezogene Übertragungsfunktionen (HRTFs), synthetisiert unter Verwendung anthropometrischer Daten, die auf die Audioeingabe eines einzelnen Benutzers zugeschnitten sind.
• Schaffung eines immersiven Audioerlebnisses mit Kopfhörern und Personen-/Kopfverfolgung durch gerendertes 3-D-Audio.

Das Projekt generiert personalisierte HRTFs, indem es eine Person mit einem Kinect für Windows-Gerät scannt und dann mit einem Headset einen vordefinierten Bereich identifiziert. Es ermöglicht dem Benutzer, mit einem virtuellen Satz physischer Objekte zu interagieren – wie z. B. einem AM-Radio, einer Puppe, einem Telefon oder einem Fernseher – die anfangen, Musik zu spielen, zu sprechen und zu klingeln. Der Benutzer kann sich frei bewegen, seinen Kopf drehen und sich jeder einzelnen Klangquelle innerhalb eines virtuellen Erlebnisses nähern.

Lesen Sie mehr darüber unter Technologieüberprüfung.