Microsoft Research jobber med 3D-lyd for telepresence og virtuell virkelighet

Microsoft Research jobber med et system som gjør at lyder ser ut til å stamme fra bestemte punkter i rommet. Elektronikk på toppen av hodetelefonene har sensorer for å spore bevegelsen til brukerens hode. Microsoft-forskere kaller det en 3D-lyd. Technology Review hadde nylig en sjanse til å oppleve denne teknologien på Microsofts Silicon Valley-laboratorium.

Jeg tok på meg et par trådløse hodetelefoner som gjorde at gjenstander i nærheten plutselig sprakk til live. En stemme så ut til å komme fra en pappmodell av en bærbar radio. Musikk av høyere kvalitet så ut til å komme fra en falsk hi-fi-høyttaler. Og en utstoppet fugl høyt oppe fra bakken ga realistiske kvitring. Mens jeg gikk rundt, endret lydene seg slik at illusjonen aldri gled ettersom posisjonen deres i forhold til ørene mine endret seg.

Den litt skumle opplevelsen ble mulig fordi jeg mindre enn et minutt tidligere hadde satt meg ned foran en Kinect 3-D-sensor og blitt snudd kort til venstre og høyre. Programvare bygde en 3D-modell av hodet og skuldrene og brukte deretter modellen til å beregne et personlig filter som gjorde det mulig å lure hørselssansene mine.

Her er informasjonen om prosjektet fra Microsoft,

Dette forskningsprosjektet har to teknologier:

• Gjengitt personaliserte hoderelaterte overføringsfunksjoner (HRTFs), syntetisert ved hjelp av antropometriske data skreddersydd for en individuell brukers lydinngang.
• Skap en oppslukende lydopplevelse ved hjelp av hodetelefoner og person/hodesporing gjennom gjengitt 3D-lyd.

Prosjektet genererer personlig tilpassede HRTFer ved å skanne en person som bruker en Kinect for Windows-enhet, og deretter bruke et hodesett for å identifisere et forhåndsdefinert område. Den gjør det mulig for brukeren å samhandle med et virtuelt sett med fysiske objekter - for eksempel en AM-radio, en dukke, en telefon eller en TV - som begynner å spille musikk, snakke og ringe. Brukeren kan bevege seg fritt, rotere hodet og nærme seg hver enkelt lydkilde i en virtuell opplevelse.

Les mer om det på Teknologigjennomgang.