Et kig på udfordringerne ved at skabe den næste generation af Kinect til Xbox One

Jeg tror, ​​at Playstation seriøst vil fortryde, at de ikke bundtede deres version af Kinect med PS4. Måske vidste de, at det alligevel ikke ville være så godt som Kinect 2.0.

Cyrus Bamji, Microsoft-partner hardwarearkitekt for Microsofts Silicon Valley-baserede Architecture and Silicon Management-gruppe, og medlemmer af hans team forsøgte at inkorporere et time-of-flight-kamera i Xbox One. 

Et time-of-flight-kamera udsender lyssignaler og måler derefter, hvor lang tid det tager dem at vende tilbage. Det skal være nøjagtigt til 1/10,000,000,000 af et sekund; lysets hastighed. Med sådanne målinger er kameraet i stand til at differentiere lys, der reflekteres fra genstande i et rum og det omgivende miljø. Det giver en nøjagtig dybdeestimering, der gør det muligt at beregne formen på disse objekter.

Denne lyshastighedsevne ville være et stort fremskridt for Kinect-sensordelen af ​​Xbox One, der frigives til 13 lanceringsmarkeder næste måned. Den nye Kinect, en vigtig differentiator for Xbox One i forhold til konkurrenterne, havde brug for at fange et større synsfelt med større nøjagtighed og højere opløsning. En infrarød sensor vil muliggøre objektidentifikation, der kræver lidt eller intet lys, og forbedret genkendelse af håndstillinger, hvilket giver spillere og mere afslappede brugere muligheden for at styre konsollen med deres hænder.

"Når vi tager en relativt ny teknologi, såsom time-of-flight, og sætter den ind i et kommercielt produkt, er der en hel masse ting, der sker," siger han. "Der er ting, som vi ikke vidste, hvor vigtige de var, før produktet blev lavet. For eksempel ved vi teoretisk, at bevægelsessløring i flyvetiden er et stort problem, men hvor vigtigt det er, kan kun opdages, når du bygger et produkt med det, og det produkt skal levere en fremragende oplevelse."

Nøjagtig dybdemåling i forskellige scener med det nye kameras høje opløsning og et bredere synsfelt giver også problemer med brugeroplevelsen, hvilket gør det vanskeligt at forhindre, at små genstande, såsom en finger, f.eks. falmer ind i baggrunden. Selvom disse funktioner leverede mere alsidig enhedsydelse, skabte de også deres egne problemer i virkelige scenarier, såsom behovet for nøjagtig dybdemåling i forskellige scener med høj opløsning. Det, udover at forbedre det bredere synsfelt og bevægelsessløringen, krævede rene data – hurtigt. Xbox One skulle være klar til 2013-feriesæsonen.

Den analoge karakter af time-of-flight-dataene gav udfordringer med at levere en sådan løsning.

"Time-of-flight-dataene, der kommer ud af vores sensor, er pr. pixel, pr. frame, og der er meget mere analog information," siger Acharya. "Et andet problem var, at forgrundsobjekterne tæt på baggrundsobjekterne ville smelte ind i baggrunden - igen på grund af den analoge karakter af, hvordan vores sensor leverer dybdedata for pixels, der lander på kanter."

"Dette resulterede i en masse information, og for at gøre det nemmere for forgrunds-/baggrundsudtrækning og scenesegmentering, brug af software- og spiludviklere, var kravet at rydde op i disse data samtidigt ved at tilføje softwarealgoritmer i røret, men uden at pådrage sig et præstationshit. Dette var afgørende. Vi startede med forskellige arbejdsstrømme, og i sidste ende besluttede vi os for at optimere parametrene i systemet for at løse problemet."

Samarbejdspartnerne ønskede at levere en klar adskillelse af forgrund og baggrund, selvom objekterne er tæt på hinanden. Det viste sig også svært. Og så var der bevægelsessløring.

 "Bevægelsessløring," forklarer Acharya, "er en parameter, der skal minimeres og er ikke teknologispecifik. Time-of-flight-kameraet bruger global lukker, hvilket har hjulpet med at reducere bevægelsessløring betydeligt - fra 65 millisekunder i den originale Kinect til mindre end 14 millisekunder nu."

Andre udfordringer meldte sig. For det første blev behandlingstiden et problem. I den akademiske litteratur om time-of-flight-systemer var behandlingstiden ikke et problem. I laboratoriemiljøet fungerede teknologien fint. Men Xbox One skal behandle hele 6.5 millioner pixels i sekundet. Og kun en lille del af Xbox Ones computerkraft kunne udnyttes til denne opgave. Broderparten er forbeholdt, forståeligt nok, til væsentlige ting såsom spil, skeletsporing, ansigtsgenkendelse og lyd.

"Du skal lave meget, meget let beregning for hver pixel," siger Krupka, "og dette er en af ​​de ting, der gjorde problemet udfordrende og anderledes end den typiske tilgang i den akademiske litteratur på dette område."

Bemærkelsesværdigt nok kom det hele sammen, og det betyder, at selvom underholdningselskere verden over snart vil blive glade for Xbox One-oplevelsen, så vil de, der er ivrige efter at udvikle sig til platformen, også blive glade for Xbox One-oplevelsen. At reducere den kantdatastøj gør dataudvikleren klar, og at være i stand til at segmentere klart mellem forgrunden og baggrunden løser et komplekst beregningsproblem. Dataene er rene, og de kan lettere absorberes af spiludviklere.

En anden fascinerende funktion ved Kinect-sensorenheden i Xbox One stammer fra dens infrarøde sensor, som kan identificere objekter i et helt mørkt rum. Den kan genkende mennesker og spore kroppe, selv uden lys synligt med det blotte øje. Den kan identificere en håndstilling på fire meters afstand, se fingrene på et barn og huske din identitet selv minus rumbelysning.

Det bredere synsfelt gør det muligt for flere spillere at spille et Xbox One-spil på samme tid. Med den nye konsol kan så mange som seks spillere samle sig i én scene. En høj voksen kan lege med et lille barn uden at blive presset ud af billedet. Brugere får en bedre oplevelse, hvis de står tæt på, længere væk eller i periferien af ​​rummet.

Og den forbedrede håndstillingsgenkendelse gør det muligt for brugere at interagere med Xbox One blot ved at bruge deres hænder – ingen controller er nødvendig. Takket være det infrarøde kamera kan håndaktiviteter identificeres ved enhver belysning eller med ingen overhovedet. Tidligere håndstillingsløsninger var i stand til at levere hastighed eller nøjagtighed, men ikke begge dele. Håndposeringsløsningen, der er udviklet i fællesskab af Xbox-teamet og Microsoft Research, kan begge dele.

Kilde: Den officielle Microsoft-blog