Egy pillantás az Xbox One következő generációs Kinect létrehozásának kihívásaira

Azt hiszem, a Playstation komolyan megbánja, hogy nem kapcsolta össze a Kinect verzióját a PS4-gyel. Talán tudták, hogy nem lesz olyan jó, mint a Kinect 2.0.

Cyrus Bamji, a Microsoft Szilícium-völgyi Architecture and Silicon Management csoportjának Microsoft partner hardvertervezője és csapata egy repülési idő kamerát próbáltak beépíteni az Xbox One-ba. 

A repülési idő kamera fényjeleket bocsát ki, majd méri, mennyi idő alatt tér vissza. Ennek 1/10,000,000,000 XNUMX XNUMX XNUMX másodperc pontosságúnak kell lennie; a fénysebesség. Az ilyen mérésekkel a kamera képes megkülönböztetni a visszaverődő fényt a helyiségben lévő tárgyaktól és a környező környezettől. Ez pontos mélységbecslést biztosít, amely lehetővé teszi az objektumok alakjának kiszámítását.

Ez a fénysebesség-képesség jelentős előrelépést jelentene az Xbox One Kinect szenzoros részében, amely jövő hónapban 13 piacra kerül. Az új Kinectnek, amely az Xbox One kulcsfontosságú megkülönböztetője a versenytársakkal szemben, nagyobb látómezőt kellett rögzítenie nagyobb pontossággal és nagyobb felbontással. Az infravörös érzékelő lehetővé teszi az objektumok azonosítását kevés vagy fény nélkül, és javítja a kézpóz felismerést, így a játékosok és a hétköznapibb felhasználók kezükkel irányíthatják a konzolt.

„Ha egy viszonylag új technológiát, például a repülési időt egy kereskedelmi termékbe tesszük, egy csomó dolog történik” – mondja. „Vannak dolgok, amelyekről a termék elkészítéséig nem tudtuk, mennyire fontosak. Elméletileg tudjuk például, hogy a mozgás közbeni elmosódás repülés közben nagy probléma, de az, hogy mennyire fontos, csak akkor derül ki, ha egy terméket készít vele, és a terméknek kiváló élményt kell nyújtania.”

Az új kamera nagy felbontásával és szélesebb látómezőjével a különböző jelenetekben történő pontos mélységmérés a felhasználói élményt is megnehezíti, megnehezítve például, hogy kis tárgyakat, például ujjakat ne fakuljanak háttérbe. Noha ezek a funkciók sokoldalúbb eszközteljesítményt biztosítottak, saját problémákat is felvetettek a valós forgatókönyvekben, mint például a pontos mélységmérés szükségessége változatos, nagy felbontású jelenetekben. Ehhez, valamint a szélesebb látómező és a mozgási elmosódás javításához tiszta adatokra volt szükség – gyorsan. Az Xbox One-nak fel kellett készülnie a 2013-as ünnepi szezonra.

A repülési időre vonatkozó adatok analóg jellege kihívást jelentett egy ilyen megoldás megvalósításában.

„A szenzorunkból kijövő repülési idő képpontonkénti, képkockánkénti adat, és sokkal több analóg információ áll rendelkezésre” – mondja Acharya. „A másik probléma az volt, hogy a háttérobjektumok közelében lévő előtérben lévő objektumok a háttérbe olvadnak – ez is annak köszönhető, hogy az érzékelőnk analóg módon szolgáltat mélységadatokat a széleken landoló pixelekhez.”

„Ez rengeteg információt eredményezett, és az előtérben/háttérben történő kinyerés és a jelenetek szegmentálásának megkönnyítése érdekében, a szoftver- és játékfejlesztők általi használat érdekében, az volt a követelmény, hogy ezeket az adatokat egyidejűleg tisztítsák meg szoftveralgoritmusok hozzáadásával a csőbe, de ez nem jár károkkal. teljesítménysláger. Ez döntő fontosságú volt. Különféle munkafolyamatokkal kezdtük, és végül a rendszer paramétereinek optimalizálása mellett döntöttünk a probléma megoldása érdekében.

Az együttműködők az előtér és a háttér egyértelmű elkülönítését akarták biztosítani, még akkor is, ha az objektumok közel vannak egymáshoz. Ez is nehéznek bizonyult. És akkor volt mozgási elmosódás.

 „A mozgásos elmosódás – magyarázza Acharya – olyan paraméter, amelyet minimalizálni kell, és nem technológia-specifikus. A repülési idő kamera globális zárat használ, ami jelentősen csökkentette a mozgás közbeni elmosódást – az eredeti Kinect 65 ezredmásodpercéről mára kevesebb mint 14 ezredmásodpercre.

Más kihívások is jelentkeztek. Egyrészt a feldolgozási idő problémát jelentett. A repülési idő rendszerekkel foglalkozó szakirodalomban a feldolgozási idő nem volt probléma. Laboratóriumi környezetben a technológia jól működött. De az Xbox One-nak óriási 6.5 millió pixelt kell feldolgoznia másodpercenként. És az Xbox One számítási teljesítményének csak egy kis része volt hasznosítható erre a feladatra. Az oroszlánrész – érthető módon – az olyan alapvető dolgoknak van fenntartva, mint a játék, a csontvázkövetés, az arcfelismerés és a hang.

„Nagyon-nagyon könnyű számítást kell végezni minden egyes pixelnél” – mondja Krupka –, és ez az egyik olyan dolog, ami miatt a probléma kihívást jelent, és különbözött az e területen a szakirodalomban megszokott megközelítéstől.

Figyelemreméltó, hogy mindez összejött, és ez azt jelenti, hogy bár a szórakozás szerelmesei világszerte hamarosan el lesznek ragadtatva az Xbox One-élménytől, azok is, akik szívesen fejlesztenek a platformra. Ennek az éles adatzajnak a csökkentése készen áll az adatok fejlesztőire, az előtér és a háttér közötti egyértelmű szegmentálás pedig összetett számítási problémát old meg. Az adatok tiszták, a játékfejlesztők könnyebben befogadhatják azokat.

Az Xbox One Kinect érzékelőeszközének másik lenyűgöző tulajdonsága az infravörös érzékelője, amely képes azonosítani a tárgyakat egy teljesen elsötétített szobában. Még szabad szemmel látható fény nélkül is képes felismerni az embereket és nyomon követni a testeket. Négy méter távolságból képes azonosítani a kézpózt, meglátja a gyermek ujjait, és megjegyzi a személyazonosságát, még a szoba megvilágítása nélkül is.

A szélesebb látómező lehetővé teszi, hogy több játékos játsszon egyidejűleg egy Xbox One játékot. Az új konzollal akár hat játékos is egy jelenetbe tömörülhet. Egy magas felnőtt tud játszani egy kisgyerekkel anélkül, hogy kiszorulna a képből. A felhasználók jobb élményben részesülnek, ha a közelben, távolabb vagy a szoba perifériáján állnak.

A továbbfejlesztett kézpózfelismerés pedig lehetővé teszi a felhasználók számára, hogy csak a kezükkel kommunikáljanak az Xbox One-nal – nincs szükség kontrollerre. Az infravörös kamerának köszönhetően a kézi tevékenységek bármilyen megvilágítás mellett, vagy egyáltalán nem is azonosíthatók. A korábbi kézpóz-megoldások képesek voltak sebességet vagy pontosságot biztosítani, de mindkettőt nem. Az Xbox csapata és a Microsoft Research által közösen kidolgozott kézpóz megoldás mindkettőre képes.

Forrás: A hivatalos Microsoft blog