Дослідження показують, як HoloLens може діяти як очі для сліпих користувачів (відео)

Дослідники з Каліфорнійського технологічного інституту та Університету Південної Каліфорнії опублікували нову дослідницьку статтю, в якій обговорюють, як Microsoft HoloLens може виконувати функції очей для сліпих людей.

Щоб відновити зір сліпих людей, було досліджено деякі підходи для передачі необроблених зображень у мозок. Ці підходи не були ефективними через вимоги до пропускної здатності та значну підготовку, необхідну для інтерпретації незвичайних подразників. У цій новій дослідницькій роботі дослідники запропонували альтернативний підхід. Замість того, щоб намагатися передати цілі сенсорні дані в мозок, їхній новий підхід відновлює зір на когнітивному рівні.

Для цього вони використовують Microsoft HoloLens. Як ви всі знаєте, HoloLens може розпізнавати середовище навколо свого користувача, знати позицію користувача в середовищі, а також може знімати відео та інші дані для детального вивчення сцени. Дослідники використовують ці дані та передають їх незрячим людям через слухову доповнену реальність.

Ця система підтримує багато аспектів візуального пізнання: від уникнення перешкод до формування та пригадування просторових спогадів до навігації на великій відстані. Ні навчання, ні модифікація фізичного середовища не потрібні: незрячі суб’єкти можуть орієнтуватися в незнайомій багатоповерховій будівлі з першої спроби. Поєднання безпрецедентної обчислювальної потужності носимих пристроїв із технологією доповненої реальності обіцяє нову еру неінвазивних протезів, які обмежені лише програмним забезпеченням.

Там дослідники також випробували свою систему на реальних сліпих людях. Вони виявили, що незрячі користувачі могли надійно визначати місцезнаходження та вказувати на об’єкти за звуковими сигналами. Наприклад, вони змогли знайти стілець у кімнаті за частку часу, який вони робили б зазвичай. Ви можете прочитати повний текст дослідження тут і подивіться технологію в дії у відео нижче.

Вулиця: Techcrunch