Microsoft помогает слепому художнику добавлять звуковые ландшафты к своим пейзажам

Microsoft помогла известному шотландскому художнику-пейзажисту Кейту Сэлмону (Keith Salmon) добавить звук к своим пейзажным картинам.

Сэлмон создает неземные, угрюмые абстракции горизонтов и гор, вдохновленные суровыми высокогорьями в его стране, и, поскольку его зрение ухудшилось из-за диабетической ретинопатии, он научился разбивать краску на текстуру и царапать пастелью для каракулей, чтобы вызвать не столько изображение места, сколько больше. изысканный опыт дикой природы.

С помощью Microsoft он дебютировал с инсталляцией, которая использует звук, чтобы еще больше обогатить его искусство, с проксемическим звуком для интерпретации двухмерных изображений.

Названный «Проект Орегона», он использует четыре Kinect, 15 потолочных динамиков и 54 саундтрека для создания акустической и пространственной интерпретации трех рисунков, которые Сэлмон сделал в красивом отдаленном районе Адского каньона в Орегоне.

Перед каждым рисунком находится трехмерное пространство, содержащее 3 саундтреков, которые можно воспроизвести. Kinect отслеживает движение, чтобы воспроизводить различные звуки, делая искусство живым и интерактивным для людей со зрением и без него. Издалека наблюдатели могут слышать пение птиц, журчание воды и шуршание травы на ветру — все это записано в Адском каньоне Салмоном и его сотрудниками.

При приближении активируются цифровые тона, соответствующие палитре Salmon, состоящей из синего, зеленого, коричневого и охристого цветов. Подойдите еще ближе, и вы сможете услышать, как Сэлмон работает в своей студии, рисуя пастелью на бумаге, и это похоже на то, как зрячий человек может видеть детали, наклоняясь вперед. Kinect также отслеживает движения рук, чтобы изменить то, что вы слышите, помогая наблюдателям часть произведения и создавать собственные акустические миксы с движением. На выставке взрослые вызывали звуки в основном при ходьбе, в то время как дети прыгали и размахивали руками, создавая другую смесь шума.

«Как способ перехода от внешнего к внутреннему слою к рисункам, естественные звуки к промышленным звукам работают очень хорошо», — говорит Сэлмон. «У него чудесное, атмосферное, космическое, пейзажное ощущение, которое объединяет все вместе».

Многие музеи предлагают развлечения для людей с нарушениями зрения, от подробных аудиоописаний произведений искусства до специальных мероприятий, на которых люди могут прикасаться к скульптурам руками в перчатках. Но исследователи хотели создать более персонализированный опыт, который по-прежнему оставался бы коллективным, и что-то менее направляемое и курируемое доцентами.

«Было бы здорово подумать, что через несколько лет вы пойдете в национальный музей или художественную галерею, и эта технология станет частью вашего опыта», — говорит Сэлмон.

Премьера инсталляции состоялась в Сиэтле на выставке искусства и технологий 9e2 как новый мощный способ для Salmon творить, а для людей с плохим зрением — испытать визуальное искусство и насладиться им. «Орегонский проект» будет выставлен в галерее Tent в Эдинбургском колледже искусств в Шотландии в апреле 2017 года.

Подробнее о работе в Microsoft здесь.