Una mirada a los desafíos en la creación de la próxima generación de Kinect para Xbox One

Creo que Playstation se arrepentirá seriamente de no haber incluido su versión de Kinect con la PS4. Tal vez sabían que no sería tan bueno como Kinect 2.0 de todos modos.

Cyrus Bamji, arquitecto de hardware asociado de Microsoft para el grupo de administración de arquitectura y silicona con sede en Silicon Valley de Microsoft, y los miembros de su equipo estaban tratando de incorporar una cámara de tiempo de vuelo en Xbox One. 

Una cámara de tiempo de vuelo emite señales de luz y luego mide cuánto tardan en regresar. Eso debe tener una precisión de 1/10,000,000,000 de segundo; la velocidad de la luz. Con tales medidas, la cámara puede diferenciar la luz que se refleja en los objetos de una habitación y el entorno circundante. Eso proporciona una estimación de profundidad precisa que permite calcular la forma de esos objetos.

Esa capacidad de velocidad de la luz sería un gran avance para la parte del sensor Kinect de Xbox One, que se lanzará en 13 mercados de lanzamiento el próximo mes. El nuevo Kinect, un diferenciador clave de Xbox One frente a su competencia, necesitaba capturar un campo de visión más amplio con mayor precisión y mayor resolución. Un sensor de infrarrojos permitirá la identificación de objetos que requieran poca o ninguna luz, y un reconocimiento mejorado de la posición de la mano, brindando a los jugadores y usuarios más ocasionales la capacidad de controlar la consola con sus manos.

“Cuando tomamos una tecnología relativamente nueva, como el tiempo de vuelo, y la ponemos en un producto comercial, suceden muchas cosas”, dice. “Hay cosas que no sabíamos cuán importantes eran hasta que se hizo el producto. Por ejemplo, sabemos teóricamente que el desenfoque de movimiento en el tiempo de vuelo es un gran problema, pero solo se puede descubrir cuán importante es cuando se está creando un producto con él y ese producto debe brindar una experiencia excelente”.

La medición precisa de la profundidad en diversas escenas con la alta resolución de la nueva cámara y un campo de visión más amplio también plantean problemas en la experiencia del usuario, lo que dificulta evitar que los objetos pequeños, como un dedo, se desvanezcan en el fondo, por ejemplo. Si bien esas funciones brindaron un rendimiento de dispositivo más versátil, también crearon problemas propios en escenarios de la vida real, como la necesidad de una medición de profundidad precisa en diversas escenas de alta resolución. Eso, además de mejorar el campo de visión más amplio y el desenfoque de movimiento, requería datos limpios, rápidamente. Xbox One tenía que estar listo para la temporada navideña de 2013.

La naturaleza analógica de los datos de tiempo de vuelo planteó desafíos para ofrecer una solución de este tipo.

“Los datos de tiempo de vuelo que salen de nuestro sensor son por píxel, por cuadro, y hay mucha más información analógica”, dice Acharya. “Otro problema era que los objetos de primer plano cercanos a los objetos de fondo se fundían con el fondo, nuevamente, debido a la naturaleza analógica de cómo nuestro sensor proporciona los datos de profundidad para los píxeles que aterrizan en los bordes”.

“Esto dio como resultado una gran cantidad de información, y para facilitar la extracción de primer plano/fondo y la segmentación de escenas, el uso por parte de los desarrolladores de software y juegos, el requisito era limpiar estos datos simultáneamente agregando algoritmos de software en la canalización, pero sin incurrir en un éxito de rendimiento. Esto fue crucial. Comenzamos con varios flujos de trabajo y, al final, decidimos optimizar los parámetros del sistema para solucionar el problema”.

Los colaboradores querían ofrecer una separación clara entre el primer plano y el fondo, incluso si los objetos están cerca uno del otro. Eso también resultó difícil. Y luego estaba el desenfoque de movimiento.

 “El desenfoque de movimiento”, explica Acharya, “es un parámetro que debe minimizarse y no es específico de la tecnología. La cámara de tiempo de vuelo utiliza el obturador global, lo que ha ayudado a reducir significativamente el desenfoque de movimiento: de 65 milisegundos en el Kinect original a menos de 14 milisegundos ahora”.

Se presentaron otros desafíos. Por un lado, el tiempo de procesamiento se convirtió en un problema. En la literatura académica sobre sistemas de tiempo de vuelo, el tiempo de procesamiento no era un problema. En el entorno de laboratorio, la tecnología funcionó bien. Pero Xbox One necesita procesar la friolera de 6.5 millones de píxeles por segundo. Y solo una pequeña parte de la potencia informática de Xbox One podría aprovecharse para esta tarea. La parte del león está reservada, comprensiblemente, para elementos esenciales como juegos, seguimiento de esqueletos, reconocimiento facial y audio.

“Necesitas hacer un cálculo muy, muy ligero para cada píxel”, dice Krupka, “y esta es una de las cosas que hizo que el problema fuera desafiante y diferente del enfoque típico en la literatura académica en este campo”.

Sorprendentemente, todo se unió, y eso significa que, si bien los amantes del entretenimiento en todo el mundo pronto se sentirán encantados con la experiencia de Xbox One, también lo estarán aquellos ansiosos por desarrollar para la plataforma. Reducir ese ruido de datos de borde hace que el desarrollador de datos esté listo, y poder segmentar claramente entre el primer plano y el fondo resuelve un problema computacional complejo. Los datos están limpios y los desarrolladores de juegos pueden absorberlos más fácilmente.

Otra característica fascinante del dispositivo de detección Kinect en Xbox One proviene de su sensor de infrarrojos, que puede identificar objetos en una habitación completamente oscura. Puede reconocer personas y rastrear cuerpos incluso sin ninguna luz visible a simple vista. Puede identificar una pose de mano a cuatro metros de distancia, ver los dedos de un niño y recordar su identidad incluso sin iluminación de la habitación.

El campo de visión más amplio hace posible que más jugadores jueguen un juego de Xbox One al mismo tiempo. Con la nueva consola, hasta seis jugadores pueden juntarse en una escena. Un adulto alto puede jugar con un niño pequeño sin que ninguno de los dos quede fuera de escena. Los usuarios obtienen una mejor experiencia si están cerca, más lejos o en la periferia de la sala.

Y el reconocimiento mejorado de la posición de la mano permite a los usuarios interactuar con Xbox One simplemente usando sus manos, sin necesidad de un controlador. Gracias a la cámara infrarroja, las actividades de la mano se pueden identificar con cualquier iluminación o sin ninguna. Las soluciones anteriores de pose de mano podían ofrecer velocidad o precisión, pero no ambas. La solución de pose de mano ideada conjuntamente por el equipo de Xbox y Microsoft Research puede hacer ambas cosas.

Fuente: El blog oficial de Microsoft