Badania pokazują, jak HoloLens może działać jak oczy dla niewidomych użytkowników (wideo)

Naukowcy z Caltech i University of Southern California opublikowali nowy artykuł badawczy omawiający, w jaki sposób Microsoft HoloLens może działać jak oczy dla osób niewidomych.

Aby przywrócić wzrok osobom niewidomym, zbadano pewne metody przekazywania surowych obrazów do mózgu. Podejścia te nie były skuteczne ze względu na wymagania dotyczące szerokości pasma i intensywny trening wymagany do interpretacji nietypowych bodźców. W tym nowym artykule badawczym naukowcy zaproponowali alternatywne podejście. Zamiast próbować przekazać całe dane sensoryczne do mózgu, ich nowe podejście przywraca wzrok na poziomie poznawczym.

W tym celu używają Microsoft HoloLens. Jak wszyscy wiecie, HoloLens potrafi rozpoznać otoczenie wokół użytkownika, zna jego pozycję w środowisku, a także może przechwytywać wideo i inne dane w celu uzyskania szczegółowej wiedzy o scenie. Badania wykorzystują te dane i przekazują je osobom niewidomym poprzez słuchową rzeczywistość rozszerzoną.

System ten wspiera wiele aspektów poznania wzrokowego: od unikania przeszkód, przez tworzenie i przywoływanie wspomnień przestrzennych, po nawigację dalekiego zasięgu. Nie jest wymagane szkolenie ani modyfikacja środowiska fizycznego: osoby niewidome mogą poruszać się po nieznanym wielopiętrowym budynku za pierwszym razem. Połączenie bezprecedensowej mocy obliczeniowej urządzeń ubieralnych z technologią rzeczywistości rozszerzonej zapowiada nową erę nieinwazyjnych protez, które są ograniczone jedynie przez oprogramowanie.

Tam też badacze wypróbowali swój system na rzeczywistych osobach niewidomych. Odkryli, że niewidomi użytkownicy byli w stanie niezawodnie lokalizować i wskazywać obiekty na podstawie sygnałów dźwiękowych. Na przykład byli w stanie znaleźć krzesło w pokoju w ułamku czasu, w którym normalnie by to zrobili. Możesz przeczytać pełną pracę naukową tutaj i zobacz technologię w akcji na poniższym filmie.

Via: Techcrunch