Pogled na izzive pri ustvarjanju Kinect naslednje generacije za Xbox One

Mislim, da bo Playstation resno obžaloval, da svoje različice Kinecta ni združil s PS4. Mogoče so vedeli, da vseeno ne bo tako dober kot Kinect 2.0.

Cyrus Bamji, Microsoftov partner arhitekt strojne opreme za Microsoftovo skupino za arhitekturo in upravljanje silicija s sedežem v Silicijevi dolini, in člani njegove ekipe so poskušali v Xbox One vključiti kamero za merjenje časa leta. 

Kamera za merjenje časa leta oddaja svetlobne signale in nato meri, koliko časa potrebujejo, da se vrnejo. To mora biti natančno do 1/10,000,000,000 sekunde; svetlobna hitrost. S takimi meritvami lahko kamera loči svetlobo, ki se odbija od predmetov v prostoru in okolice. To zagotavlja natančno oceno globine, ki omogoča izračun oblike teh predmetov.

Ta zmožnost merjenja hitrosti svetlobe bi bila velik napredek za del senzorja Kinect za Xbox One, ki bo naslednji mesec izdan na 13 tržnih trgih. Novi Kinect, ključna razlika med Xbox One in konkurenco, je moral zajeti večje vidno polje z večjo natančnostjo in večjo ločljivostjo. Infrardeči senzor bo omogočil identifikacijo predmetov, ki zahtevajo malo ali nič svetlobe, in izboljšano prepoznavanje položaja rok, kar bo igralcem in bolj običajnim uporabnikom omogočilo upravljanje konzole z rokami.

"Ko vzamemo relativno novo tehnologijo, kot je čas leta, in jo damo v komercialni izdelek, se zgodi kup stvari," pravi. »So stvari, za katere nismo vedeli, kako pomembne so, dokler izdelek ni bil narejen. Na primer, teoretično vemo, da je zamegljenost zaradi gibanja v času leta velik problem, toda kako pomembna je, je mogoče odkriti šele, ko z njo gradite izdelek in ta izdelek mora zagotoviti odlično izkušnjo.«

Natančno merjenje globine v različnih prizorih z visoko ločljivostjo nove kamere in širšim vidnim poljem povzroča tudi težave pri uporabniški izkušnji, saj je težko preprečiti, da bi majhni predmeti, kot je prst, na primer zbledeli v ozadju. Medtem ko so te funkcije zagotavljale bolj vsestransko delovanje naprave, so povzročale tudi lastne težave v scenarijih iz resničnega življenja, kot je potreba po natančnem merjenju globine v različnih prizorih z visoko ločljivostjo. To, poleg izboljšanja širšega vidnega polja in zamegljenosti gibanja, je zahtevalo čiste podatke – hitro. Xbox One je moral biti pripravljen na praznično sezono 2013.

Analogna narava podatkov o času letenja je predstavljala izzive pri zagotavljanju takšne rešitve.

"Podatki o času letenja, ki prihajajo iz našega senzorja, so na slikovno piko, na okvir in analognih informacij je veliko več," pravi Acharya. "Druga težava je bila, da bi se predmeti v ospredju blizu predmetov v ozadju stopili v ozadje - spet zaradi analogne narave, kako naš senzor zagotavlja podatke o globini za slikovne pike, ki pristanejo na robovih."

»To je prineslo veliko informacij in da bi olajšali ekstrakcijo ospredja/ozadja in segmentacijo scene, ki jo uporabljajo razvijalci programske opreme in iger, je bila zahteva, da te podatke hkrati očistimo z dodajanjem programskih algoritmov v cevi, vendar brez povzročanja uspešnica nastopa. To je bilo ključno. Začeli smo z različnimi tokovi dela in se na koncu odločili za optimizacijo parametrov v sistemu, da bi rešili težavo.«

Sodelavci so želeli zagotoviti jasno ločitev ospredja in ozadja, tudi če sta predmeta blizu drug drugemu. Tudi to se je izkazalo za težko. In potem je prišlo do zamegljenosti gibanja.

 »Zamegljenost gibanja,« pojasnjuje Acharya, »je parameter, ki ga je treba zmanjšati in ni specifičen za tehnologijo. Kamera za merjenje časa letenja uporablja globalni zaklop, ki je pomagal občutno zmanjšati zamegljenost zaradi gibanja – s 65 milisekund v prvotnem Kinectu na manj kot 14 milisekund zdaj.«

Predstavili so se drugi izzivi. Prvič, čas obdelave je postal težava. V akademski literaturi o sistemih za merjenje časa letenja čas obdelave ni bil problem. V laboratorijskem okolju je tehnologija dobro delovala. Toda Xbox One mora obdelati neverjetnih 6.5 milijona slikovnih pik na sekundo. In le majhen del računalniške moči Xbox One je bilo mogoče izkoristiti za to nalogo. Levji delež je, razumljivo, rezerviran za osnovne stvari, kot so igre, sledenje okostnjakom, prepoznavanje obrazov in zvok.

"Za vsako slikovno piko morate narediti zelo, zelo lahek izračun," pravi Krupka, "in to je ena od stvari, zaradi katerih je bil problem zahteven in drugačen od tipičnega pristopa v akademski literaturi na tem področju."

Zanimivo je, da se je vse poklopilo, kar pomeni, da bodo ljubitelji zabave po vsem svetu kmalu navdušeni nad izkušnjo Xbox One, prav tako bodo navdušeni tudi tisti, ki želijo razvijati platformo. Z zmanjšanjem tega hrupa podatkov na robovih je razvijalec podatkov pripravljen, možnost jasnega segmentiranja med ospredjem in ozadjem pa rešuje zapleten računalniški problem. Podatki so čisti in razvijalci iger jih lažje absorbirajo.

Druga fascinantna značilnost naprave za zaznavanje Kinect v Xbox One izhaja iz njenega infrardečega senzorja, ki lahko prepozna predmete v popolnoma zatemnjeni sobi. Lahko prepozna ljudi in sledi trupom tudi brez svetlobe, vidne s prostim očesom. Prepozna lahko položaj rok z razdalje štirih metrov, vidi otrokove prste in si zapomni vašo identiteto tudi brez osvetlitve prostora.

Širše vidno polje omogoča, da igro Xbox One igra več igralcev hkrati. Z novo konzolo se lahko kar šest igralcev zgnete v eni sceni. Visoka odrasla oseba se lahko igra z majhnim otrokom, ne da bi bil kateri koli iztisnjen iz slike. Uporabniki dobijo boljšo izkušnjo, če stojijo blizu, dlje ali na obrobju prostora.

Izboljšano prepoznavanje položaja roke pa omogoča uporabnikom interakcijo z Xbox One samo z uporabo rok – krmilnik ni potreben. Zahvaljujoč infrardeči kameri je mogoče dejavnosti rok prepoznati pri kakršni koli osvetlitvi ali brez nje. Prejšnje rešitve za držanje rok so lahko zagotavljale hitrost ali natančnost, vendar ne obojega. Rešitev za držanje rok, ki sta jo skupaj zasnovala ekipa Xbox in Microsoft Research, zmore oboje.

vir: Uradni Microsoftov blog