Podívejte se na výzvy při vytváření Kinectu nové generace pro Xbox One

Myslím, že Playstation bude vážně litovat, že nepřipojil svou verzi Kinectu k PS4. Možná věděli, že to stejně nebude tak dobré jako Kinect 2.0.

Cyrus Bamji, partnerský hardwarový architekt společnosti Microsoft pro skupinu architektury a Silicon Management společnosti Microsoft se sídlem v Silicon Valley, a členové jeho týmu se pokoušeli začlenit kameru pro měření času do Xbox One. 

Kamera s časem letu vysílá světelné signály a poté měří, jak dlouho jim trvá, než se vrátí. To musí být přesné na 1/10,000,000,000 XNUMX XNUMX XNUMX sekundy; rychlost světla. Pomocí takových měření je kamera schopna rozlišit světlo odrážející se od objektů v místnosti a okolního prostředí. To poskytuje přesný odhad hloubky, který umožňuje vypočítat tvar těchto objektů.

Tato schopnost rychlosti světla by byla velkým pokrokem pro část senzoru Kinect Xbox One, která bude příští měsíc uvedena na 13 trhů. Nový Kinect, klíčový rozdíl pro Xbox One oproti konkurenci, potřeboval zachytit větší zorné pole s větší přesností a vyšším rozlišením. Infračervený senzor umožní identifikaci objektů vyžadující málo nebo žádné světlo a vylepšené rozpoznání pozice ruky, což hráčům a příležitostnějším uživatelům umožní ovládat konzoli rukama.

„Když vezmeme relativně novou technologii, jako je doba letu, a vložíme ji do komerčního produktu, stane se celá řada věcí,“ říká. „Jsou věci, o kterých jsme nevěděli, jak důležité jsou, dokud nebyl produkt vyroben. Teoreticky například víme, že rozmazání pohybu v době letu je velký problém, ale jak důležité je zjistit, pouze když s ním vytváříte produkt a tento produkt musí poskytovat vynikající zážitek.“

Přesné měření hloubky v různých scénách s novým fotoaparátem s vysokým rozlišením a širším zorným polem také představuje problémy s uživatelským zážitkem, takže je obtížné zabránit například tomu, aby malé předměty, jako je prst, zmizely do pozadí. I když tyto funkce přinášely všestrannější výkon zařízení, vytvářely také své vlastní problémy v reálných scénářích, jako je potřeba přesného měření hloubky v různých scénách s vysokým rozlišením. To, stejně jako zlepšení širšího zorného pole a rozmazání pohybu, vyžadovalo čistá data – rychle. Xbox One musel být připraven na prázdninovou sezónu 2013.

Analogová povaha údajů o době letu představovala problémy při poskytování takového řešení.

„Údaje o době letu vycházející z našeho senzoru jsou na pixel, na snímek a existuje mnohem více analogových informací,“ říká Acharya. "Dalším problémem bylo, že objekty v popředí blízko objektů na pozadí se rozplynou v pozadí - opět kvůli analogové povaze toho, jak náš senzor poskytuje údaje o hloubce pro pixely, které přistávají na okrajích."

„To vedlo k velkému množství informací, a aby bylo usnadněno extrakci popředí/pozadí a segmentaci scén, použití vývojáři softwaru a her, bylo požadavkem vyčistit tato data současně přidáním softwarových algoritmů do potrubí, aniž by bylo nutné výkonnostní hit. To bylo zásadní. Začali jsme s různými pracovními toky a nakonec jsme se rozhodli provést optimalizaci parametrů v systému, abychom problém překonali.“

Spolupracovníci chtěli dodat jasné oddělení popředí a pozadí, i když jsou objekty blízko sebe. To se také ukázalo jako obtížné. A pak došlo k rozmazání pohybu.

 „Rozostření pohybu,“ vysvětluje Acharya, „je parametr, který je třeba minimalizovat a není specifický pro technologii. Kamera využívající dobu letu využívá globální závěrku, která výrazně pomohla snížit rozmazání pohybu – z 65 milisekund v původním Kinectu na méně než 14 milisekund nyní.“

Přišly další výzvy. Jednak se čas zpracování stal problémem. V akademické literatuře o systémech doby letu nebyl čas zpracování problémem. V laboratorním prostředí technologie fungovala dobře. Xbox One ale potřebuje zpracovat neuvěřitelných 6.5 milionu pixelů za sekundu. A pro tento úkol bylo možné využít pouze malou část výpočetního výkonu Xbox One. Lví podíl je pochopitelně vyhrazen pro základní věci, jako je hraní her, sledování kostry, rozpoznávání obličejů a zvuk.

"Musíte udělat velmi, velmi lehký výpočet pro každý pixel," říká Krupka, "a to je jedna z věcí, která problém ztížila a odlišila se od typického přístupu v akademické literatuře v této oblasti."

Je pozoruhodné, že se to všechno sešlo, a to znamená, že zatímco milovníci zábavy po celém světě budou brzy potěšeni zážitkem z Xbox One, stejně tak budou nadšeni i ti, kteří touží vyvíjet pro tuto platformu. Snížením šumu okrajových dat je vývojář dat připraven a schopnost jasně segmentovat mezi popředím a pozadím řeší složitý výpočetní problém. Data jsou čistá a vývojáři her je mohou snadněji vstřebat.

Další fascinující funkce snímacího zařízení Kinect v Xbox One pramení z jeho infračerveného senzoru, který dokáže identifikovat objekty ve zcela zatemněné místnosti. Dokáže rozpoznat lidi a sledovat těla i bez světla viditelného pouhým okem. Dokáže identifikovat pózu ruky ze čtyř metrů, vidí prsty dítěte a zapamatuje si vaši identitu i bez osvětlení místnosti.

Širší zorné pole umožňuje více hráčům hrát hru pro Xbox One současně. S novou konzolí se do jedné scény může nacpat až šest hráčů. Vysoký dospělý si může hrát s malým dítětem, aniž by byl vytlačen z obrazu. Uživatelé získají lepší zážitek, pokud stojí poblíž, dále nebo na okraji místnosti.

A vylepšené rozpoznávání pozice ruky umožňuje uživatelům komunikovat s Xbox One pouze pomocí rukou – není potřeba žádný ovladač. Díky infračervené kameře lze identifikovat aktivity rukou při jakémkoli osvětlení nebo při žádném osvětlení. Dřívější řešení ručních pozic byla schopna poskytnout rychlost nebo přesnost, ale ne obojí. Řešení ruční pozice, které společně vymysleli tým Xbox a Microsoft Research, umí obojí.

Zdroj: Oficiální blog společnosti Microsoft