Pogled na izazove u stvaranju Kinecta sljedeće generacije za Xbox One

Mislim da će Playstation ozbiljno požaliti što svoju verziju Kinecta nije isporučio uz PS4. Možda su znali da ionako neće biti tako dobar kao Kinect 2.0.

Cyrus Bamji, Microsoftov partner hardverski arhitekt za Microsoftovu grupu za arhitekturu i upravljanje silicijumom iz Silicijske doline, i članovi njegovog tima pokušavali su ugraditi kameru za vrijeme leta u Xbox One. 

Kamera za mjerenje vremena leta emitira svjetlosne signale i zatim mjeri koliko im je vremena potrebno da se vrate. To mora biti točno do 1/10,000,000,000 sekunde; brzina svjetlosti. Uz takva mjerenja, kamera je u stanju razlikovati svjetlost koja se reflektira od objekata u prostoriji i okolnom okruženju. To daje točnu procjenu dubine koja omogućuje izračunavanje oblika tih objekata.

Ta sposobnost mjerenja brzine svjetlosti bila bi veliki napredak za Kinect senzorski dio Xboxa One, budući da će sljedeći mjesec biti pušten na 13 tržišta. Novi Kinect, ključna razlika za Xbox One u odnosu na konkurenciju, trebao je uhvatiti veće vidno polje s većom preciznošću i većom rezolucijom. Infracrveni senzor omogućit će identifikaciju objekata za koje je potrebno malo ili nimalo svjetla i poboljšano prepoznavanje položaja ruke, dajući igračima i običnijim korisnicima mogućnost upravljanja konzolom rukama.

"Kada uzmemo relativno novu tehnologiju, kao što je vrijeme leta, i stavimo je u komercijalni proizvod, događa se cijela hrpa stvari", kaže on. “Postoje stvari za koje nismo znali koliko su važne dok proizvod nije napravljen. Na primjer, teoretski znamo da je zamućenje kretanja u vremenu leta velik problem, ali koliko je važno otkriti je tek kada s njime gradite proizvod i taj proizvod mora pružiti izvrsno iskustvo.”

Precizno mjerenje dubine u različitim scenama s visokom rezolucijom nove kamere i širim vidnim poljem također stvara probleme korisničkom iskustvu, što otežava sprečavanje malih predmeta, poput prsta, da ne izblijede u pozadini, na primjer. Dok su te značajke pružale svestranije performanse uređaja, one su također stvarale vlastite probleme u scenarijima iz stvarnog života, kao što je potreba za točnim mjerenjem dubine u različitim scenama visoke rezolucije. To, kao i poboljšanje šireg vidnog polja i zamućenja pokreta, zahtijeva čiste podatke—brzo. Xbox One je morao biti spreman za blagdansku sezonu 2013.

Analogna priroda podataka o vremenu leta postavila je izazove za isporuku takvog rješenja.

"Podaci o vremenu leta koji dolaze iz našeg senzora su po pikselu, po kadru, a postoji mnogo više analognih informacija", kaže Acharya. "Još jedan problem bio je taj što bi se objekti u prvom planu blizu pozadinskih objekata stopili s pozadinom - opet, zbog analogne prirode načina na koji naš senzor daje podatke o dubini za piksele koji padnu na rubove."

“To je rezultiralo s mnogo informacija, a kako bi se olakšalo izdvajanje prednjeg/pozadinskog plana i segmentacija scene, korištenje od strane programera softvera i igara, zahtjev je bio da se ti podaci očiste istovremeno dodavanjem softverskih algoritama u cijevi, ali bez izazivanja hit izvedbe. Ovo je bilo ključno. Počeli smo s različitim tokovima rada i na kraju smo se odlučili na optimizaciju parametara u sustavu kako bismo prevladali problem.”

Suradnici su željeli postići jasno odvajanje prednjeg i pozadinskog plana čak i ako su objekti blizu jedan drugome. I to se pokazalo teškim. A onda je došlo do zamućenja pokreta.

 „Zamućenje kretanja“, objašnjava Acharya, „parametar je koji treba minimizirati i nije specifičan za tehnologiju. Time-of-flight kamera koristi globalni okidač, koji je pomogao značajno smanjiti zamućenje kretanja - sa 65 milisekundi u izvornom Kinectu na manje od 14 milisekundi sada.”

Pojavili su se i drugi izazovi. Kao prvo, vrijeme obrade postalo je problem. U akademskoj literaturi o sustavima vremena leta, vrijeme obrade nije bilo problem. U laboratorijskom okruženju tehnologija je dobro funkcionirala. Ali Xbox One treba obraditi nevjerojatnih 6.5 milijuna piksela u sekundi. A samo mali dio računalne snage Xbox One mogao bi se iskoristiti za ovaj zadatak. Lavovski udio rezerviran je, razumljivo, za bitne stvari poput igranja, praćenja kostura, prepoznavanja lica i zvuka.

"Morate napraviti vrlo, vrlo lagano izračunavanje za svaki piksel," kaže Krupka, "i to je jedna od stvari koja je problem učinila izazovnim i drugačijim od tipičnog pristupa u akademskoj literaturi u ovom području."

Nevjerojatno, sve se poklopilo, a to znači da će ljubitelji zabave diljem svijeta uskoro biti oduševljeni iskustvom Xbox One, tako će isto tako biti oduševljeni i oni željni razvoja za platformu. Smanjenje buke rubnih podataka čini razvijača podataka spremnim, a mogućnost jasnog segmentiranja između prednjeg i pozadinskog plana rješava složen računalni problem. Podaci su čisti i programeri igara mogu ih lakše apsorbirati.

Još jedna fascinantna značajka senzorskog uređaja Kinect u Xboxu One proizlazi iz njegovog infracrvenog senzora, koji može identificirati objekte u potpuno zamračenoj prostoriji. Može prepoznati ljude i pratiti tijela čak i bez svjetla vidljivog golim okom. Može identificirati pozu ruke s udaljenosti od četiri metra, vidjeti prste djeteta i zapamtiti vaš identitet čak i bez osvjetljenja sobe.

Šire vidno polje omogućuje da više igrača igra Xbox One igru ​​u isto vrijeme. S novom konzolom, čak šest igrača može se okupiti u jednoj sceni. Visoka odrasla osoba može se igrati s malim djetetom, a da nijedno ne bude istisnuto iz slike. Korisnici dobivaju bolje iskustvo ako stoje blizu, dalje ili na periferiji sobe.

A poboljšano prepoznavanje položaja ruku omogućuje korisnicima interakciju s Xbox One samo korištenjem ruku – nije potreban kontroler. Zahvaljujući infracrvenoj kameri, aktivnosti ruku mogu se identificirati pri bilo kojem osvjetljenju ili bez ikakvog. Prijašnja rješenja za pozu ruku mogla su pružiti brzinu ili točnost, ali ne oboje. Rješenje za pozu ruku koje su zajednički osmislili Xbox tim i Microsoft Research može učiniti oboje.

Izvor: Službeni Microsoftov blog