Výskum ukazuje, ako môže HoloLens pôsobiť ako oči pre nevidomých používateľov (video)

Výskumníci z Caltechu a University of Southern California publikovali nový výskumný dokument o tom, ako môže Microsoft HoloLens pôsobiť ako oči pre nevidomých ľudí.

Na obnovenie videnia nevidomých ľudí boli preskúmané niektoré prístupy, ako sprostredkovať surové obrazy do mozgu. Tieto prístupy neboli účinné z dôvodu požiadaviek na šírku pásma a rozsiahleho školenia potrebného na interpretáciu neobvyklých podnetov. V tomto novom výskumnom dokumente výskumníci navrhli alternatívny prístup. Namiesto toho, aby sa snažili preniesť do mozgu celé zmyslové dáta, ich nový prístup obnovuje videnie na kognitívnej úrovni.

Na tento účel používajú Microsoft HoloLens. Ako všetci viete, HoloLens dokáže rozpoznať prostredie okolo svojho používateľa, pozná polohu používateľa v prostredí a dokáže tiež zachytiť video a ďalšie údaje pre detailnú znalosť scény. Výskumy využívajú tieto údaje a sprostredkúvajú ich nevidiacim ľuďom prostredníctvom sluchovej rozšírenej reality.

Tento systém podporuje mnohé aspekty vizuálneho poznania: od vyhýbania sa prekážkam cez vytváranie a vybavovanie priestorových spomienok až po navigáciu na veľké vzdialenosti. Nevyžaduje sa ani školenie, ani úprava fyzického prostredia: Nevidomé osoby môžu na prvý pokus navigovať v neznámej viacposchodovej budove. Kombinácia bezprecedentného výpočtového výkonu v nositeľných zariadeniach s technológiou rozšírenej reality sľubuje novú éru neinvazívnych protéz, ktoré sú obmedzené len softvérom.

Tam výskumníci vyskúšali svoj systém aj so skutočnými slepými ľuďmi. Zistili, že nevidomí používatelia boli schopní spoľahlivo lokalizovať a ukazovať predmety zo zvukových signálov. Napríklad boli schopní nájsť stoličku v miestnosti za zlomok času, ktorý by normálne našli. Môžete si prečítať celý výskumný dokument tu a pozrite si technológiu v akcii vo videu nižšie.

cez: TechCrunch