En titt på utmaningarna med att skapa nästa generations Kinect för Xbox One

Jag tror att Playstation verkligen kommer att ångra att de inte paketerade sin version av Kinect med PS4. Kanske visste de att det inte skulle vara lika bra som Kinect 2.0 ändå.

Cyrus Bamji, Microsofts partnerhårdvaruarkitekt för Microsofts Silicon Valley-baserade Architecture and Silicon Management-grupp, och medlemmar i hans team försökte införliva en time-of-flight-kamera i Xbox One. 

En flygtidskamera avger ljussignaler och mäter sedan hur lång tid det tar att återvända. Det måste vara korrekt till 1/10,000,000,000 XNUMX XNUMX XNUMX av en sekund; ljusets hastighet. Med sådana mätningar kan kameran skilja ljus som reflekteras från föremål i ett rum och den omgivande miljön. Det ger en exakt djupuppskattning som gör att formen på dessa objekt kan beräknas.

Den ljushastighetsförmågan skulle vara ett stort framsteg för Kinect-sensordelen av Xbox One, som släpps till 13 lanseringsmarknader nästa månad. Den nya Kinect, en viktig skillnad för Xbox One mot konkurrenterna, behövde fånga ett större synfält med större noggrannhet och högre upplösning. En infraröd sensor kommer att möjliggöra objektidentifiering som kräver lite eller inget ljus, och förbättrad handpositionsigenkänning, vilket ger spelare och mer tillfälliga användare möjligheten att styra konsolen med sina händer.

"När vi tar en relativt ny teknik, såsom time-of-flight, och lägger den i en kommersiell produkt, händer det en hel massa saker", säger han. ”Det finns saker som vi inte visste hur viktiga de var förrän produkten tillverkades. Till exempel vet vi teoretiskt att rörelseoskärpa under flygning är ett stort problem, men hur viktigt det är är bara att upptäcka när du bygger en produkt med den och den produkten måste leverera en utmärkt upplevelse.”

Exakt djupmätning i olika scener med den nya kamerans höga upplösning och ett bredare synfält ställer också till problem med användarupplevelsen, vilket gör det svårt att till exempel hindra små föremål, som ett finger, från att blekna in i bakgrunden. Även om dessa funktioner gav mer mångsidig enhetsprestanda, skapade de också sina egna problem i verkliga scenarier, som behovet av exakt djupmätning i olika högupplösta scener. Det, förutom att förbättra det bredare synfältet och rörelseoskärpan, krävde rena data – snabbt. Xbox One måste vara redo för 2013 års semester.

Den analoga karaktären hos flygtidsdata innebar utmaningar för att leverera en sådan lösning.

"Time-of-flight-data som kommer ut från vår sensor är per pixel, per bildruta, och det finns mycket mer analog information", säger Acharya. "En annan fråga var att förgrundsobjekten nära bakgrundsobjekten skulle smälta in i bakgrunden - igen, på grund av den analoga karaktären hos hur vår sensor tillhandahåller djupdata för pixlar som landar på kanter."

"Detta resulterade i mycket information, och för att göra det enklare för förgrunds-/bakgrundsextraktion och scensegmentering, användning av mjukvaru- och spelutvecklare, var kravet att rensa upp dessa data samtidigt genom att lägga till mjukvarualgoritmer i röret, men utan att ådra sig en prestationshit. Detta var avgörande. Vi började med olika arbetsflöden och i slutändan bestämde vi oss för att optimera parametrarna i systemet för att lösa problemet.”

Samarbetspartnerna ville leverera en tydlig separation av förgrund och bakgrund även om objekten ligger nära varandra. Det visade sig också vara svårt. Och så blev det rörelseoskärpa.

 "Rörelseoskärpa," förklarar Acharya, "är en parameter som måste minimeras och är inte teknikspecifik. Time-of-flight-kameran använder global slutare, vilket har hjälpt till att minska rörelseoskärpa avsevärt - från 65 millisekunder i original Kinect till mindre än 14 millisekunder nu."

Andra utmaningar dök upp. Dels blev handläggningstiden ett problem. I den akademiska litteraturen om time-of-flight-system var bearbetningstiden inte ett problem. I laboratoriemiljön fungerade tekniken bra. Men Xbox One behöver bearbeta hela 6.5 ​​miljoner pixlar per sekund. Och bara en liten del av Xbox Ones datorkraft kunde utnyttjas för denna uppgift. Lejonparten är, förståeligt nog, reserverad för väsentligheter som spel, skelettspårning, ansiktsigenkänning och ljud.

"Du måste göra väldigt, väldigt lätta beräkningar för varje pixel," säger Krupka, "och det här är en av de saker som gjorde problemet utmanande och skilde sig från det typiska tillvägagångssättet i den akademiska litteraturen på detta område."

Anmärkningsvärt nog kom allt ihop, och det betyder att även om underhållningsälskare över hela världen snart kommer att bli glada över Xbox One-upplevelsen, så kommer även de som är ivriga att utvecklas för plattformen. Att minska det kantdatabruset gör datautvecklaren redo, och att kunna segmentera tydligt mellan förgrunden och bakgrunden löser ett komplext beräkningsproblem. Datan är ren och den kan absorberas lättare av spelutvecklare.

En annan fascinerande egenskap hos Kinect-avkänningsenheten i Xbox One härrör från dess infraröda sensor, som kan identifiera föremål i ett helt mörkt rum. Den kan känna igen människor och spåra kroppar även utan något synligt ljus för blotta ögat. Den kan identifiera en handposition på fyra meters avstånd, se fingrar på ett barn och komma ihåg din identitet även minus rumsbelysning.

Det bredare synfältet gör det möjligt för fler spelare att spela ett Xbox One-spel samtidigt. Med den nya konsolen kan så många som sex spelare trängas i en scen. En lång vuxen kan leka med ett litet barn utan att någon av dem klämmas ut ur bilden. Användare får en bättre upplevelse om de står nära, längre bort eller i utkanten av rummet.

Och den förbättrade handposeringsigenkänningen gör det möjligt för användare att interagera med Xbox One bara genom att använda händerna – ingen handkontroll behövs. Tack vare den infraröda kameran kan handaktiviteter identifieras vid vilken belysning som helst eller utan någon alls. Tidigare handpositionslösningar kunde leverera snabbhet eller precision, men inte båda. Handposeringslösningen som tagits fram gemensamt av Xbox-teamet och Microsoft Research kan göra båda.

Källa: Microsofts officiella blogg