Pozrite sa na výzvy pri vytváraní Kinectu novej generácie pre Xbox One

Myslím, že Playstation bude vážne ľutovať, že nepripojila svoju verziu Kinectu k PS4. Možno vedeli, že aj tak to nebude také dobré ako Kinect 2.0.

Cyrus Bamji, partner hardvérového architekta spoločnosti Microsoft pre skupinu architektúry a správy silikónu v Silicon Valley spoločnosti Microsoft, a členovia jeho tímu sa pokúšali začleniť kameru s časom letu do konzoly Xbox One. 

Časová kamera vysiela svetelné signály a potom meria, ako dlho im trvá návrat. To musí byť presné na 1/10,000,000,000 XNUMX XNUMX XNUMX sekundy; rýchlosť svetla. Pomocou takýchto meraní je kamera schopná rozlíšiť svetlo odrážajúce sa od predmetov v miestnosti a od okolitého prostredia. To poskytuje presný odhad hĺbky, ktorý umožňuje vypočítať tvar týchto objektov.

Táto schopnosť rýchlosti svetla by bola veľkým pokrokom pre časť senzora Kinect Xbox One, ktorá bude uvedená na trh na 13 trhoch budúci mesiac. Nový Kinect, kľúčový rozdiel pre Xbox One od konkurencie, potreboval zachytiť väčšie zorné pole s väčšou presnosťou a vyšším rozlíšením. Infračervený senzor umožní identifikáciu objektov vyžadujúcu malé alebo žiadne svetlo a vylepšené rozpoznávanie pozície ruky, čo hráčom a príležitostnejším používateľom umožní ovládať konzolu rukami.

„Keď vezmeme relatívne novú technológiu, ako je napríklad čas letu, a vložíme ju do komerčného produktu, stane sa veľa vecí,“ hovorí. „Sú veci, o ktorých sme nevedeli, aké dôležité sú, kým nebol vyrobený produkt. Napríklad teoreticky vieme, že pohybové rozmazanie počas letu je veľký problém, ale aké dôležité je zistiť len vtedy, keď s ním vytvárate produkt a tento produkt musí poskytnúť vynikajúci zážitok.“

Presné meranie hĺbky v rôznych scénach s novým fotoaparátom s vysokým rozlíšením a širším zorným poľom tiež predstavuje problémy s používateľským zážitkom, pretože je ťažké zabrániť tomu, aby malé predmety, ako napríklad prst, vybledli do pozadia. Aj keď tieto funkcie priniesli všestrannejší výkon zariadenia, vytvorili aj svoje vlastné problémy v reálnych scenároch, ako napríklad potrebu presného merania hĺbky v rôznych scénach s vysokým rozlíšením. To, ako aj zlepšenie širšieho zorného poľa a rozmazania pohybu, si vyžadovalo čisté dáta – rýchlo. Xbox One musel byť pripravený na prázdninovú sezónu 2013.

Analógová povaha údajov o čase letu predstavovala výzvy pri poskytovaní takéhoto riešenia.

„Údaje o čase letu vychádzajúce z nášho snímača sú na pixel, na snímku a existuje oveľa viac analógových informácií,“ hovorí Acharya. "Ďalším problémom bolo, že objekty v popredí blízko objektov na pozadí sa rozplynuli s pozadím - opäť kvôli analógovej povahe toho, ako náš senzor poskytuje údaje o hĺbke pre pixely, ktoré pristávajú na okrajoch."

„Toto viedlo k množstvu informácií a na uľahčenie extrakcie popredia/pozadia a segmentácie scén, ktoré používajú vývojári softvéru a hier, bolo požiadavkou vyčistiť tieto údaje súčasne pridaním softvérových algoritmov do potrubia, ale bez toho, aby sa museli výkonnostný hit. Toto bolo rozhodujúce. Začali sme s rôznymi pracovnými postupmi a nakoniec sme sa rozhodli vykonať optimalizáciu parametrov v systéme, aby sme problém vyriešili.“

Spolupracovníci chceli dodať jasné oddelenie popredia a pozadia, aj keď sú objekty blízko seba. Aj to sa ukázalo ako ťažké. A potom došlo k rozmazaniu pohybu.

 „Rozmazanie pohybu,“ vysvetľuje Acharya, „je parameter, ktorý je potrebné minimalizovať a nie je špecifický pre technológiu. Kamera s časom letu využíva globálnu uzávierku, ktorá pomohla výrazne znížiť rozmazanie pohybu – zo 65 milisekúnd v pôvodnom Kinecte na menej ako 14 milisekúnd teraz.“

Naskytli sa ďalšie výzvy. Po prvé, čas spracovania sa stal problémom. V akademickej literatúre o systémoch času letu nebol čas spracovania problémom. V laboratórnom prostredí technológia fungovala dobre. Xbox One však potrebuje spracovať neuveriteľných 6.5 milióna pixelov za sekundu. A na túto úlohu sa dala využiť len malá časť výpočtového výkonu Xbox One. Leví podiel je, pochopiteľne, vyhradený pre základné veci, ako je hranie hier, sledovanie kostry, rozpoznávanie tváre a zvuk.

"Musíte urobiť veľmi, veľmi ľahké výpočty pre každý pixel," hovorí Krupka, "a to je jedna z vecí, vďaka ktorým je problém náročný a odlišný od typického prístupu v akademickej literatúre v tejto oblasti."

Je pozoruhodné, že sa to všetko spojilo, a to znamená, že zatiaľ čo milovníci zábavy na celom svete budú čoskoro potešení zo zážitku z Xbox One, rovnako aj tí, ktorí túžia po vývoji pre túto platformu. Zníženie šumu okrajových údajov robí vývojára údajov pripraveným a schopnosť jasne segmentovať medzi popredím a pozadím rieši zložitý výpočtový problém. Dáta sú čisté a vývojári hier ich môžu ľahšie absorbovať.

Ďalšou fascinujúcou vlastnosťou snímacieho zariadenia Kinect v Xbox One je jeho infračervený senzor, ktorý dokáže identifikovať objekty v úplne zatemnenej miestnosti. Dokáže rozpoznať ľudí a sledovať telá aj bez akéhokoľvek svetla viditeľného voľným okom. Dokáže identifikovať pózu ruky zo vzdialenosti štyroch metrov, vidí prsty dieťaťa a zapamätá si vašu identitu aj bez osvetlenia miestnosti.

Širšie zorné pole umožňuje viacerým hráčom hrať hru pre Xbox One súčasne. S novou konzolou sa do jednej scény môže natlačiť až šesť hráčov. Vysoký dospelý sa môže hrať s malým dieťaťom bez toho, aby ho niekto vytlačil z obrazu. Používatelia získajú lepší zážitok, ak stoja blízko, ďalej alebo na okraji miestnosti.

A vylepšené rozpoznávanie polohy rúk umožňuje používateľom interagovať s Xbox One iba pomocou rúk – nie je potrebný žiadny ovládač. Vďaka infračervenej kamere je možné identifikovať aktivity rúk pri akomkoľvek osvetlení alebo bez osvetlenia. Predchádzajúce riešenia ručných póz boli schopné poskytnúť rýchlosť alebo presnosť, ale nie oboje. Riešenie hand-pose, ktoré spoločne navrhol tím Xbox a Microsoft Research, dokáže oboje.

zdroj: Oficiálny blog spoločnosti Microsoft