Microsoft hjelper blinde artister å legge til lydlandskap i landskapene sine

Microsoft har hjulpet den velkjente, lovlig bling skotske landskapskunstneren Keith Salmon med å legge til et lydelement til landskapsmaleriene sine.

Laks lager eteriske, humørfylte abstrakter av skylines og fjell inspirert av det robuste høylandet i landet hans, og ettersom synet hans har blitt dårligere på grunn av diabetisk retinopati, har han lært å knuse maling til tekstur og skrape pasteller for skriblerier for å fremkalle mindre stedsskildring og mer en utsøkt opplevelse av naturen.

Med Microsofts hjelp har han debutert en installasjon som bruker lyd for å berike kunsten hans enda mer, med proksemisk lyd for å tolke todimensjonale bilder.

Kalt «The Oregon Project», bruker den fire Kinects, 15 overhead-høyttalere og 54 lydspor for å produsere en akustisk og romlig tolkning av tre tegninger Salmon gjorde av det vakkert avsidesliggende Hells Canyon-området i Oregon.

Foran hver tegning er et 3D-rom som inneholder 18 lydspor som kan spilles av. Kinects sporer bevegelser for å utløse forskjellige lyder, noe som gjør kunsten livlig og interaktiv for mennesker med og uten syn. På lang avstand kan observatører høre fuglesang, brusende vann og gress som suser i vinden – tatt opp i Hells Canyon av Salmon og hans samarbeidspartnere.

Når du beveger deg nærmere aktiveres digitale toner tilpasset Salmons palett av blått, grønt, brunt og oker. Stå enda nærmere og du kan høre Salmon jobbe i studioet sitt mens han rable pasteller på papir, i en opplevelse som er parallell med hvordan en seende person kan se detaljer når han lener seg inn. Kinectene sporer også håndbølger for å endre det du hører, og hjelper observatører å bli en del av stykket og lage sine egne akustiske mikser med bevegelse. På utstillingen utløste voksne lyder først og fremst ved å gå, mens barna hoppet og viftet med armene for å produsere en annen blanding av støy.

"Som en måte å flytte fra et ytre til indre lag til tegningene, fungerer naturlige lyder til industrielle lyder veldig bra," sier Salmon. "Den har en fantastisk, atmosfærisk, romslig, landskapslig følelse som trekker det hele sammen."

Mange museer tilbyr opplevelser for mennesker med synshemming, fra detaljerte lydbeskrivelser av kunst til spesielle arrangementer der folk kan ta på skulpturer med hansker. Men forskerne ønsket å skape en mer personlig opplevelse som fortsatt var felles, og noe mindre regissert og kuratert av dosenter.

"Det ville være flott å tenke på at om noen år kan du gå til et nasjonalt museum eller et kunstgalleri, og denne teknologien vil være der som en del av opplevelsen," sier Salmon.

Installasjonen hadde premiere i Seattle på 9e2-utstillingen for kunst og teknologi som en kraftig ny måte for Salmon å skape og for mennesker med svaksyn å oppleve og nyte visuell kunst. "Oregon-prosjektet" vil bli utstilt på Tent Gallery ved Edinburgh College of Art i Skottland i april 2017.

Les mer om arbeidet hos Microsoft her.