Un regard sur les défis de la création de la prochaine génération de Kinect pour la Xbox One

Je pense que Playstation va sérieusement regretter de ne pas avoir intégré sa version de Kinect avec la PS4. Peut-être qu'ils savaient que ce ne serait pas aussi bon que Kinect 2.0 de toute façon.

Cyrus Bamji, architecte matériel partenaire de Microsoft pour le groupe Architecture et Silicon Management de Microsoft basé dans la Silicon Valley, et les membres de son équipe essayaient d'incorporer une caméra de temps de vol dans la Xbox One. 

Une caméra à temps de vol émet des signaux lumineux puis mesure le temps qu'il leur faut pour revenir. Cela doit être précis au 1/10,000,000,000 XNUMX XNUMX XNUMX de seconde ; la vitesse de la lumière. Avec de telles mesures, la caméra est capable de différencier la lumière réfléchie par les objets dans une pièce et l’environnement environnant. Cela fournit une estimation précise de la profondeur qui permet de calculer la forme de ces objets.

Cette capacité de vitesse de la lumière constituerait une avancée majeure pour la partie capteur Kinect de la Xbox One, qui sera lancée sur 13 marchés de lancement le mois prochain. Le nouveau Kinect, différenciateur clé de la Xbox One par rapport à ses concurrents, devait capturer un champ de vision plus large avec une plus grande précision et une résolution plus élevée. Un capteur infrarouge permettra l'identification d'objets nécessitant peu ou pas de lumière et une meilleure reconnaissance de la position des mains, donnant ainsi aux joueurs et aux utilisateurs plus occasionnels la possibilité de contrôler la console avec leurs mains.

«Lorsque nous prenons une technologie relativement nouvelle, telle que le temps de vol, et l'intégrons dans un produit commercial, tout un tas de choses se produisent», dit-il. « Il y a des choses dont nous ignorions l'importance jusqu'à la fabrication du produit. Par exemple, nous savons théoriquement que le flou de mouvement pendant le temps de vol est un gros problème, mais son importance n'est visible que lorsque vous construisez un produit avec celui-ci et que ce produit doit offrir une excellente expérience.

Une mesure précise de la profondeur dans diverses scènes grâce à la haute résolution de la nouvelle caméra et à un champ de vision plus large pose également des problèmes d'expérience utilisateur, ce qui rend difficile d'empêcher les petits objets, comme un doigt, de passer à l'arrière-plan, par exemple. Bien que ces fonctionnalités aient permis d'offrir des performances d'appareil plus polyvalentes, elles ont également créé leurs propres problèmes dans des scénarios réels, tels que la nécessité d'une mesure précise de la profondeur dans diverses scènes haute résolution. Cela, en plus d'améliorer le champ de vision plus large et le flou de mouvement, nécessitait des données propres, rapidement. La Xbox One devait être prête pour les fêtes de fin d'année 2013.

La nature analogique des données de temps de vol a posé des défis pour la mise en place d’une telle solution.

"Les données de temps de vol sortant de notre capteur sont par pixel, par image, et il y a beaucoup plus d'informations analogiques", explique Acharya. "Un autre problème était que les objets du premier plan proches des objets de l'arrière-plan se fondaient dans l'arrière-plan, encore une fois, en raison de la nature analogique de la façon dont notre capteur fournit les données de profondeur pour les pixels qui atterrissent sur les bords."

« Cela a généré beaucoup d'informations, et pour faciliter l'extraction du premier plan/arrière-plan et la segmentation des scènes, utilisées par les développeurs de logiciels et de jeux, l'exigence était de nettoyer ces données simultanément en ajoutant des algorithmes logiciels dans le tuyau, sans pour autant encourir de problèmes. un succès en termes de performances. C’était crucial. Nous avons commencé avec différents flux de travail et, finalement, nous avons décidé d'optimiser les paramètres du système pour résoudre le problème.

Les collaborateurs voulaient offrir une séparation claire entre le premier plan et l'arrière-plan même si les objets sont proches les uns des autres. Cela aussi s’est avéré difficile. Et puis il y a eu du flou de mouvement.

 « Le flou de mouvement », explique Acharya, « est un paramètre qui doit être minimisé et n'est pas spécifique à la technologie. La caméra à temps de vol utilise l'obturateur global, ce qui a contribué à réduire considérablement le flou de mouvement, de 65 millisecondes dans le Kinect d'origine à moins de 14 millisecondes maintenant.

D'autres défis se sont présentés. D’une part, le temps de traitement est devenu un problème. Dans la littérature académique sur les systèmes de temps de vol, le temps de traitement n'était pas un problème. En laboratoire, la technologie a bien fonctionné. Mais la Xbox One doit traiter 6.5 millions de pixels par seconde. Et seule une petite partie de la puissance de calcul de la Xbox One pourrait être exploitée pour cette tâche. La part du lion est naturellement réservée aux éléments essentiels tels que les jeux, le suivi des squelettes, la reconnaissance faciale et l'audio.

"Vous devez effectuer des calculs très, très légers pour chaque pixel", explique Krupka, "et c'est l'une des choses qui ont rendu le problème difficile et différent de l'approche typique de la littérature universitaire dans ce domaine."

Étonnamment, tout s'est réuni, ce qui signifie que si les amateurs de divertissement du monde entier seront bientôt ravis par l'expérience Xbox One, ceux désireux de développer pour la plate-forme le seront également. La réduction du bruit des données de périphérie rend les données prêtes à être développées, et la possibilité de segmenter clairement entre le premier plan et l'arrière-plan résout un problème informatique complexe. Les données sont propres et peuvent être absorbées plus facilement par les développeurs de jeux.

Une autre caractéristique fascinante du dispositif de détection Kinect de la Xbox One provient de son capteur infrarouge, qui peut identifier des objets dans une pièce complètement sombre. Il peut reconnaître des personnes et suivre des corps même sans aucune lumière visible à l'œil nu. Il peut identifier une pose de main à quatre mètres de distance, voir les doigts d'un enfant et se souvenir de votre identité même sans l'éclairage de la pièce.

Le champ de vision plus large permet à plus de joueurs de jouer à un jeu Xbox One en même temps. Avec la nouvelle console, jusqu'à six joueurs peuvent se rassembler dans une même scène. Un adulte de grande taille peut jouer avec un petit enfant sans pour autant être exclu du tableau. Les utilisateurs bénéficient d'une meilleure expérience s'ils se trouvent à proximité, plus loin ou à la périphérie de la pièce.

Et la reconnaissance améliorée de la pose des mains permet aux utilisateurs d'interagir avec la Xbox One simplement en utilisant leurs mains, sans avoir besoin d'une manette. Grâce à la caméra infrarouge, les activités des mains peuvent être identifiées avec n'importe quel éclairage ou sans aucun éclairage. Les solutions de pose manuelle antérieures étaient capables d'offrir de la vitesse ou de la précision, mais pas les deux. La solution de pose manuelle conçue conjointement par l'équipe Xbox et Microsoft Research peut faire les deux.

La source: Le blog officiel de Microsoft