为 Xbox One 创建下一代 Kinect 所面临的挑战

我认为 Playstation 会非常后悔没有将他们的 Kinect 版本与 PS4 捆绑在一起。 也许他们知道无论如何它都不会像 Kinect 2.0 那样好。

Cyrus Bamji 是微软位于硅谷的架构和硅管理小组的微软合作伙伴硬件架构师，他的团队成员正试图将飞行时间相机整合到 Xbox One 中。 

飞行时间相机会发出光信号，然后测量它们返回所需的时间。 这需要精确到 1/10,000,000,000 秒； 光的速度。 通过这样的测量，相机能够区分从房间和周围环境中的物体反射的光。 这提供了准确的深度估计，可以计算这些对象的形状。

这种光速能力将是 Xbox One 的 Kinect 传感器部分的重大进步，下个月将在 13 个发布市场发布。 新的 Kinect 是 Xbox One 与其竞争对手的关键区别，它需要以更高的精度和更高的分辨率捕捉更大的视野。 红外传感器将实现几乎不需要光的物体识别，并改进手势识别，让游戏玩家和更多休闲用户能够用手控制控制台。

“当我们采用相对较新的技术（例如飞行时间）并将其投入商业产品时，会发生很多事情，”他说。 “有些事情在产品制造出来之前我们并不知道它们有多重要。 例如，我们从理论上知道飞行中的运动模糊是一个大问题，但只有在使用它构建产品并且该产品需要提供出色的体验时才能发现它的重要性。”

借助新相机的高分辨率和更宽的视野，在不同场景中进行准确的深度测量也带来了用户体验问题，例如，难以防止手指等小物体淡入背景。 虽然这些功能提供了更通用的设备性能，但它们也在现实生活场景中产生了自己的问题，例如需要在各种高分辨率场景中进行准确的深度测量。 除了改善更宽的视野和运动模糊之外，还需要快速的干净数据。 Xbox One 必须为 2013 年的假期做好准备。

飞行时间数据的模拟性质对交付此类解决方案提出了挑战。

“从我们的传感器输出的飞行时间数据是每像素、每帧的，还有更多的模拟信息，”Acharya 说。 “另一个问题是靠近背景物体的前景物体会融化到背景中——同样，这是由于我们的传感器如何为落在边缘的像素提供深度数据的模拟性质。”

“这产生了大量信息，并且为了让软件和游戏开发人员更容易使用前景/背景提取和场景分割，要求通过在管道中添加软件算法同时清理这些数据，但不会产生性能受到打击。 这是至关重要的。 我们从各种工作流开始，最终决定对系统中的参数进行优化以克服这个问题。”

即使对象彼此靠近，合作者也希望清晰地分离前景和背景。 这也被证明是困难的。 然后是运动模糊。

 “运动模糊，”Acharya 解释说，“是一个需要最小化的参数，不是特定于技术的。 飞行时间相机使用全局快门，这有助于显着减少运动模糊——从最初的 Kinect 的 65 毫秒到现在不到 14 毫秒。”

其他挑战也出现了。 一方面，处理时间成为一个问题。 在有关飞行时间系统的学术文献中，处理时间不是问题。 在实验室环境中，该技术运行良好。 但 Xbox One 需要每秒处理高达 6.5 万像素。 并且只有一小部分 Xbox One 的计算能力可以用于这项任务。 可以理解的是，最大的份额被保留用于游戏、骨骼跟踪、面部识别和音频等基本功能。

“你需要对每个像素进行非常非常轻量级的计算，”Krupka 说，“这是使问题具有挑战性的原因之一，并且与该领域学术文献中的典型方法不同。”

值得注意的是，这一切都融合在一起了，这意味着虽然全球的娱乐爱好者很快就会发现自己对 Xbox One 的体验感到高兴，但那些渴望为该平台开发的人也会如此。 减少边缘数据噪声使数据开发人员做好准备，并且能够在前景和背景之间进行清晰的分割，从而解决了复杂的计算问题。 数据很干净，更容易被游戏开发者吸收。

Xbox One 中 Kinect 感应设备的另一个引人入胜的功能来自其红外传感器，它可以识别完全黑暗的房间中的物体。 即使没有肉眼可见的光线，它也可以识别人和跟踪身体。 它可以识别 XNUMX 米外的手势，看到孩子的手指，即使没有室内照明也能记住你的身份。

更广阔的视野让更多玩家可以同时玩 Xbox One 游戏。 使用新的控制台，多达六名玩家可以挤在一个场景中。 一个高个子的成年人可以和一个小孩一起玩，而不会被挤出画面。 如果用户站在房间的附近、较远或在房间的外围，他们将获得更好的体验。

改进的手势识别使用户只需用手即可与 Xbox One 进行交互——无需控制器。 借助红外摄像头，可以在任何照明或根本没有照明的情况下识别手部活动。 先前的手势解决方案能够提供速度或准确性，但不能同时提供两者。 Xbox团队和微软研究院联合设计的手势解决方案可以做到这两点。

Sumber: 微软官方博客