En titt på utfordringer med å lage neste generasjons Kinect for Xbox One

Jeg tror Playstation kommer til å angre seriøst på at de ikke buntede deres versjon av Kinect med PS4. Kanskje visste de at det ikke ville være like bra som Kinect 2.0 uansett.

Cyrus Bamji, Microsoft-partner maskinvarearkitekt for Microsofts Silicon Valley-baserte Architecture and Silicon Management-gruppe, og medlemmer av teamet hans prøvde å innlemme et flytidskamera i Xbox One. 

Et flytidskamera sender ut lyssignaler og måler deretter hvor lang tid det tar før de kommer tilbake. Det må være nøyaktig til 1/10,000,000,000 XNUMX XNUMX XNUMX av et sekund; lysets hastighet. Med slike målinger er kameraet i stand til å skille lys som reflekteres fra objekter i et rom og omgivelsene. Det gir en nøyaktig dybdeestimering som gjør det mulig å beregne formen til disse objektene.

Den lyshastighetsevnen ville være et stort fremskritt for Kinect-sensordelen av Xbox One, som blir utgitt til 13 lanseringsmarkeder neste måned. Den nye Kinect, en nøkkeldifferensiator for Xbox One mot konkurrentene, trengte å fange et større synsfelt med større nøyaktighet og høyere oppløsning. En infrarød sensor vil muliggjøre gjenstandsidentifikasjon som krever lite eller ingen lys, og forbedret håndposisjonsgjenkjenning, noe som gir spillere og mer uformelle brukere muligheten til å kontrollere konsollen med hendene.

"Når vi tar en relativt ny teknologi, for eksempel time-of-flight, og legger den inn i et kommersielt produkt, er det en hel haug med ting som skjer," sier han. «Det er ting vi ikke visste hvor viktige de var før produktet ble laget. For eksempel vet vi teoretisk at bevegelsesuskarphet i flytiden er et stort problem, men hvor viktig er det bare å oppdage når du bygger et produkt med det og det produktet må levere en utmerket opplevelse.»

Nøyaktig dybdemåling i forskjellige scener med det nye kameraets høye oppløsning og et bredere synsfelt gir også problemer med brukeropplevelsen, noe som gjør det vanskelig å forhindre at små gjenstander, for eksempel en finger, forsvinner inn i bakgrunnen. Selv om disse funksjonene ga mer allsidig enhetsytelse, skapte de også egne problemer i virkelige scenarier, for eksempel behovet for nøyaktig dybdemåling i forskjellige scener med høy oppløsning. Det, i tillegg til å forbedre det bredere synsfeltet og bevegelsesuskarphet, krevde rene data – raskt. Xbox One måtte være klar for feriesesongen 2013.

Den analoge naturen til flytidsdataene ga utfordringer med å levere en slik løsning.

"Flight-time-data som kommer ut av sensoren vår er per piksel, per bilde, og det er mye mer analog informasjon," sier Acharya. "Et annet problem var at forgrunnsobjektene nær bakgrunnsobjektene ville smelte inn i bakgrunnen - igjen, på grunn av den analoge naturen til hvordan sensoren vår gir dybdedata for piksler som lander på kantene."

"Dette resulterte i mye informasjon, og for å gjøre det enklere for forgrunns-/bakgrunnsekstraksjon og scenesegmentering, bruk av programvare- og spillutviklere, var kravet å rydde opp i disse dataene samtidig ved å legge til programvarealgoritmer i røret, men uten å pådra seg en prestasjonshit. Dette var avgjørende. Vi startet med ulike arbeidsstrømmer, og til slutt bestemte vi oss for å optimalisere parametrene i systemet for å løse problemet.»

Samarbeidspartnerne ønsket å levere et tydelig skille mellom forgrunn og bakgrunn selv om objektene er nær hverandre. Det viste seg også vanskelig. Og så ble det bevegelsesuskarphet.

 "Bevegelsesuskarphet," forklarer Acharya, "er en parameter som må minimeres og er ikke teknologispesifikk. Time-of-flight-kameraet bruker global lukker, som har bidratt til å redusere bevegelsesuskarphet betydelig – fra 65 millisekunder i den originale Kinect til mindre enn 14 millisekunder nå."

Andre utfordringer meldte seg. For det første ble behandlingstiden et problem. I den akademiske litteraturen om time-of-flight-systemer, var behandlingstid ikke et problem. I laboratoriemiljøet fungerte teknologien fint. Men Xbox One må behandle hele 6.5 millioner piksler per sekund. Og bare en liten del av Xbox Ones datakraft kunne utnyttes til denne oppgaven. Brorparten er, forståelig nok, reservert for nødvendigheter som spill, skjelettsporing, ansiktsgjenkjenning og lyd.

"Du må gjøre veldig, veldig lett beregning for hver piksel," sier Krupka, "og dette er en av tingene som gjorde problemet utfordrende og annerledes enn den typiske tilnærmingen i den akademiske litteraturen på dette feltet."

Bemerkelsesverdig nok kom alt sammen, og det betyr at selv om underholdningselskere over hele verden snart vil glede seg over Xbox One-opplevelsen, så vil også de som er ivrige etter å utvikle seg for plattformen. Å redusere den kantdatastøyen gjør datautvikleren klar, og det å kunne segmentere tydelig mellom forgrunnen og bakgrunnen løser et komplekst beregningsproblem. Dataene er rene, og de kan lettere absorberes av spillutviklere.

En annen fascinerende funksjon ved Kinect-sensorenheten i Xbox One stammer fra den infrarøde sensoren, som kan identifisere objekter i et fullstendig mørklagt rom. Den kan gjenkjenne mennesker og spore kropper selv uten lys synlig for det blotte øye. Den kan identifisere en håndposisjon på fire meters avstand, se fingrene til et barn og huske identiteten din selv minus rombelysning.

Det bredere synsfeltet gjør det mulig for flere spillere å spille et Xbox One-spill samtidig. Med den nye konsollen kan så mange som seks spillere samle seg i én scene. En høy voksen kan leke med et lite barn uten å bli presset ut av bildet. Brukere får en bedre opplevelse hvis de står i nærheten, lenger unna eller i periferien av rommet.

Og den forbedrede håndposisjonsgjenkjenningen gjør det mulig for brukere å samhandle med Xbox One bare ved å bruke hendene – ingen kontroller nødvendig. Takket være det infrarøde kameraet kan håndaktiviteter identifiseres ved enhver belysning eller uten i det hele tatt. Tidligere håndposisjonsløsninger var i stand til å levere hastighet eller nøyaktighet, men ikke begge deler. Håndposeringsløsningen utviklet i fellesskap av Xbox-teamet og Microsoft Research kan gjøre begge deler.

kilde: Den offisielle Microsoft-bloggen