Microsoft aide un artiste aveugle à ajouter des paysages sonores à ses paysages

Microsoft a aidé le célèbre paysagiste écossais Keith Salmon à ajouter un élément sonore à ses peintures de paysages.

Salmon crée des résumés éthérés et maussades d'horizons et de montagnes inspirés par les hautes terres accidentées de son pays et comme sa vue a diminué à cause de la rétinopathie diabétique, il a appris à écraser la peinture en texture et à gratter des pastels pour que les gribouillis évoquent moins une représentation du lieu et plus une expérience exquise de la nature.

Avec l'aide de Microsoft, il a lancé une installation qui utilise le son pour enrichir encore plus son art, avec un son proxémique pour interpréter des images bidimensionnelles.

Appelé «The Oregon Project», il utilise quatre Kinects, 15 haut-parleurs suspendus et 54 bandes sonores pour produire une interprétation acoustique et spatiale de trois dessins que Salmon a fait de la région magnifiquement isolée de Hells Canyon dans l'Oregon.

Devant chaque dessin se trouve un espace 3D contenant 18 bandes sonores jouables. Le Kinect suit le mouvement pour déclencher différents sons, rendant l'art vivant et interactif pour les personnes avec et sans vision. De loin, les observateurs peuvent entendre le chant des oiseaux, l'eau qui se précipite et l'herbe bruissant dans le vent - enregistré à Hells Canyon par Salmon et ses collaborateurs.

Se rapprocher active des tons numériques assortis à la palette de bleu, vert, marron et ocre de Salmon. Tenez-vous encore plus près et vous pourrez entendre Salmon travailler dans son studio alors qu'il griffonne des pastels sur papier, dans une expérience qui correspond à la façon dont une personne voyante peut voir les détails lorsqu'elle se penche. Les Kinects suivent également les vagues de la main pour changer ce que vous entendez, aidant les observateurs à devenir partie de la pièce et faire leurs propres mixes acoustiques avec mouvement. Lors de l'exposition, les adultes ont déclenché des sons principalement en marchant, tandis que les enfants ont sauté et agité les bras pour produire un mélange différent de bruit.

"En tant que moyen de passer d'une couche externe à une couche interne vers les dessins, les sons naturels aux sons industriels fonctionnent très bien", déclare Salmon. "Il a une sensation merveilleuse, atmosphérique, spatiale et paysagère qui rassemble le tout."

De nombreux musées proposent des expériences pour les personnes ayant une déficience visuelle, des descriptions audio détaillées de l'art aux événements spéciaux où les gens peuvent toucher des sculptures avec des mains gantées. Mais les chercheurs voulaient créer une expérience plus personnalisée qui était encore commune, et quelque chose de moins dirigé et organisé par des guides.

"Ce serait formidable de penser que dans quelques années, vous pourriez aller dans un musée national ou une galerie d'art et que cette technologie serait là dans le cadre de l'expérience", déclare Salmon.

L'installation a été créée à Seattle lors de l'exposition d'art et de technologie 9e2 en tant que nouveau moyen puissant pour Salmon de créer et pour les personnes malvoyantes de découvrir et d'apprécier l'art visuel. Le « projet Oregon » sera exposé à la Tent Gallery du Edinburgh College of Art en Écosse en avril 2017.

En savoir plus sur le travail chez Microsoft ici.