Uno sguardo alle sfide nella creazione del Kinect di nuova generazione per Xbox One
6 minuto. leggere
Edizione del
Condividi questo articolo
Migliora questa guida
Leggi la nostra pagina informativa per scoprire come puoi aiutare MSPoweruser a sostenere il team editoriale Per saperne di più
Penso che Playstation si pentirà seriamente di non aver fornito in bundle la sua versione di Kinect con la PS4. Forse sapevano comunque che non sarebbe stato buono come Kinect 2.0.
Cyrus Bamji, architetto hardware partner di Microsoft per il gruppo Architecture and Silicon Management di Microsoft con sede nella Silicon Valley, e i membri del suo team stavano cercando di incorporare una telecamera per il tempo di volo in Xbox One.
Una telecamera del tempo di volo emette segnali luminosi e quindi misura il tempo impiegato per tornare. La precisione deve essere di 1/10,000,000,000 di secondo; la velocità della luce. Con tali misurazioni, la telecamera è in grado di differenziare la riflessione della luce da parte degli oggetti in una stanza e nell'ambiente circostante. Ciò fornisce una stima accurata della profondità che consente di calcolare la forma di tali oggetti.
Questa capacità di raggiungere la velocità della luce rappresenterebbe un importante progresso per la parte del sensore Kinect di Xbox One, che verrà rilasciata in 13 mercati di lancio il mese prossimo. Il nuovo Kinect, elemento chiave di differenziazione di Xbox One dalla concorrenza, necessitava di catturare un campo visivo più ampio con maggiore precisione e risoluzione più elevata. Un sensore a infrarossi consentirà l'identificazione degli oggetti richiedendo poca o nessuna luce e un migliore riconoscimento della posa della mano, offrendo ai giocatori e agli utenti più occasionali la possibilità di controllare la console con le mani.
"Quando prendiamo una tecnologia relativamente nuova, come il tempo di volo, e la inseriamo in un prodotto commerciale, accadono un sacco di cose", afferma. “Ci sono cose di cui non sapevamo quanto fossero importanti finché non abbiamo realizzato il prodotto. Ad esempio, sappiamo in teoria che il motion blur in tempo di volo è un grosso problema, ma quanto sia importante lo scopriamo solo quando stai costruendo un prodotto con esso e quel prodotto deve offrire un'esperienza eccellente."
La misurazione accurata della profondità in diverse scene con l'alta risoluzione della nuova fotocamera e un campo visivo più ampio pone anche problemi di esperienza dell'utente, rendendo difficile impedire, ad esempio, che piccoli oggetti, come un dito, svaniscano sullo sfondo. Sebbene queste funzionalità offrissero prestazioni del dispositivo più versatili, creavano anche problemi negli scenari di vita reale, come la necessità di una misurazione accurata della profondità in diverse scene ad alta risoluzione. Ciò, oltre a migliorare il campo visivo più ampio e il motion blur, richiedeva dati puliti e rapidamente. Xbox One doveva essere pronta per le festività natalizie del 2013.
La natura analogica dei dati relativi al tempo di volo ha posto delle sfide alla realizzazione di tale soluzione.
"I dati sul tempo di volo che escono dal nostro sensore sono per pixel, per fotogramma e ci sono molte più informazioni analogiche", afferma Acharya. "Un altro problema era che gli oggetti in primo piano vicini a quelli sullo sfondo si fondevano con lo sfondo, ancora una volta, a causa della natura analogica del modo in cui il nostro sensore fornisce i dati di profondità per i pixel che si trovano sui bordi."
"Ciò ha prodotto molte informazioni e, per rendere più semplice l'estrazione di primo piano/sfondo e la segmentazione delle scene, l'utilizzo da parte degli sviluppatori di software e giochi, il requisito era quello di ripulire questi dati simultaneamente aggiungendo algoritmi software nella pipeline, ma senza incorrere in un successo in termini di prestazioni. Questo è stato cruciale. Abbiamo iniziato con vari flussi di lavoro e, alla fine, abbiamo deciso di ottimizzare i parametri del sistema per superare il problema."
I collaboratori volevano offrire una chiara separazione tra primo piano e sfondo anche se gli oggetti sono vicini l'uno all'altro. Anche questo si è rivelato difficile. E poi c'era il motion blur.
“Il motion blur”, spiega Acharya, “è un parametro che deve essere minimizzato e non è specifico della tecnologia. La fotocamera del tempo di volo utilizza l’otturatore globale, che ha contribuito a ridurre significativamente il motion blur, dai 65 millisecondi del Kinect originale a meno di 14 millisecondi attuali”.
Si presentarono altre sfide. Per prima cosa, il tempo di elaborazione è diventato un problema. Nella letteratura accademica sui sistemi di tempo di volo, il tempo di elaborazione non era un problema. Nell’ambiente di laboratorio, la tecnologia ha funzionato bene. Ma Xbox One deve elaborare ben 6.5 milioni di pixel al secondo. E solo una piccola parte della potenza di calcolo di Xbox One potrebbe essere sfruttata per questo compito. La parte del leone è riservata, comprensibilmente, agli elementi essenziali come i giochi, il tracciamento degli scheletri, il riconoscimento facciale e l'audio.
"È necessario eseguire calcoli molto, molto leggeri per ciascun pixel", afferma Krupka, "e questa è una delle cose che hanno reso il problema impegnativo e diverso dall'approccio tipico della letteratura accademica in questo campo".
Sorprendentemente, tutto ha funzionato e ciò significa che, mentre gli amanti dell'intrattenimento di tutto il mondo si ritroveranno presto deliziati dall'esperienza Xbox One, lo saranno anche coloro che sono desiderosi di sviluppare per la piattaforma. La riduzione del rumore dei dati sui bordi rende lo sviluppatore di dati pronto e la possibilità di segmentare chiaramente tra il primo piano e lo sfondo risolve un problema computazionale complesso. I dati sono puliti e possono essere assorbiti più facilmente dagli sviluppatori di giochi.
Un'altra caratteristica affascinante del dispositivo di rilevamento Kinect in Xbox One deriva dal suo sensore a infrarossi, che può identificare gli oggetti in una stanza completamente buia. Può riconoscere le persone e tracciare i corpi anche senza alcuna luce visibile ad occhio nudo. Può identificare la posa di una mano a quattro metri di distanza, vedere le dita di un bambino e ricordare la tua identità anche senza l'illuminazione della stanza.
Il campo visivo più ampio consente a più giocatori di giocare contemporaneamente a un gioco Xbox One. Con la nuova console, fino a sei giocatori possono affollarsi in una scena. Un adulto alto può giocare con un bambino piccolo senza che nessuno dei due venga escluso dal quadro. Gli utenti ottengono un'esperienza migliore se si trovano vicini, più lontani o ai margini della stanza.
Inoltre, il riconoscimento migliorato della posa della mano consente agli utenti di interagire con Xbox One semplicemente utilizzando le mani, senza bisogno di controller. Grazie alla telecamera a infrarossi è possibile riconoscere le attività manuali con qualsiasi illuminazione o in assenza di luce. Le precedenti soluzioni di posa della mano erano in grado di fornire velocità o precisione, ma non entrambe. La soluzione di posa della mano ideata congiuntamente dal team Xbox e Microsoft Research può fare entrambe le cose.
