Microsoft hjälper blinda artister att lägga till ljudlandskap till sina landskap

Microsoft har hjälpt den välkände, lagligt bling skotske landskapskonstnären Keith Salmon att lägga till ett ljudelement till sina landskapsmålningar.

Lax skapar eteriska, stämningsfulla abstrakt av silhuetter och berg inspirerade av de karga högländerna i hans land och eftersom hans syn har minskat genom diabetisk retinopati har han lärt sig hur man krossar färg till textur och skrapar pasteller för klotter för att framkalla mindre platsskildring och mer en utsökt upplevelse av det vilda.

Med Microsofts hjälp har han debuterat en installation som använder ljud för att berika sin konst ännu mer, med proxemiskt ljud för att tolka tvådimensionella bilder.

Kallas "The Oregon Project" och använder fyra Kinects, 15 overheadhögtalare och 54 ljudspår för att producera en akustisk och rumslig tolkning av tre teckningar som Salmon gjorde av det vackert avlägsna Hells Canyon-området i Oregon.

Framför varje ritning finns ett 3D-utrymme som innehåller 18 ljudspår som kan spelas. Kinects spårar rörelser för att trigga olika ljud, vilket gör konsten livlig och interaktiv för människor med och utan syn. På långt håll kan observatörer höra fågelsång, forsande vatten och gräs som svischar i vinden - inspelat i Hells Canyon av Salmon och hans medarbetare.

När du flyttar dig närmare aktiveras digitala toner som matchar Salmons palett av blått, grönt, brunt och ockra. Stå ännu närmare och du kan höra Salmon arbeta i sin studio när han klottrar pasteller på papper, i en upplevelse som liknar hur en seende person kan se detaljer när han lutar sig in. Kinects spårar också handvågor för att förändra vad du hör, och hjälper observatörer att bli en del av stycket och göra sina egna akustiska mixar med rörelse. På utställningen utlöste vuxna ljud främst genom att gå, medan barn hoppade och viftade med armarna för att producera en annan blandning av ljud.

"Som ett sätt att flytta från ett yttre till ett inre lager till ritningarna, fungerar naturliga ljud till industriella ljud riktigt bra", säger Salmon. "Den har en underbar, atmosfärisk, rymlig, landskapskänsla som drar ihop det hela."

Många museer erbjuder upplevelser för personer med synnedsättning, från detaljerade synbeskrivningar av konst till speciella evenemang där människor kan röra skulpturer med handskar. Men forskarna ville skapa en mer personlig upplevelse som fortfarande var gemensam, och något mindre regisserat och kurerat av docenter.

"Det skulle vara fantastiskt att tänka på att om några år kan du gå till ett nationalmuseum eller konstgalleri och den här tekniken skulle finnas där som en del av upplevelsen", säger Salmon.

Installationen hade premiär i Seattle på 9e2-utställningen av konst och teknik som ett kraftfullt nytt sätt för Salmon att skapa och för personer med nedsatt syn att uppleva och njuta av bildkonst. "Oregon Project" kommer att visas på Tent Gallery vid Edinburgh College of Art i Skottland i april 2017.

Läs mer om arbetet hos Microsoft här.