為 Xbox One 創建下一代 Kinect 所面臨的挑戰

我認為 Playstation 會非常後悔沒有將他們的 Kinect 版本與 PS4 捆綁在一起。 也許他們知道無論如何它都不會像 Kinect 2.0 那樣好。

Cyrus Bamji 是微軟位於矽谷的架構和矽管理小組的微軟合作夥伴硬件架構師，他的團隊成員正試圖將飛行時間相機整合到 Xbox One 中。 

飛行時間相機會發出光信號，然後測量它們返回所需的時間。 這需要精確到 1/10,000,000,000 秒； 光速。 通過這樣的測量，相機能夠區分從房間和周圍環境中的物體反射的光。 這提供了準確的深度估計，可以計算這些對象的形狀。

這種光速能力將是 Xbox One 的 Kinect 傳感器部分的一項重大進步，下個月將在 13 個發布市場發布。 新的 Kinect 是 Xbox One 與其競爭對手的一個關鍵區別，它需要以更高的精度和更高的分辨率捕捉更大的視野。 紅外傳感器將實現幾乎不需要光線的物體識別，並改進手勢識別，讓遊戲玩家和更多休閒用戶能夠用手控制控制台。

“當我們採用相對較新的技術（例如飛行時間）並將其投入商業產品時，會發生很多事情，”他說。 “有些事情在產品製造出來之前我們並不知道它們有多重要。 例如，理論上我們知道飛行中的運動模糊是一個大問題，但只有在使用它構建產品並且該產品需要提供出色的體驗時才能發現它的重要性。”

借助新相機的高分辨率和更寬的視野，在不同場景中進行準確的深度測量也會帶來用戶體驗問題，例如，難以防止手指等小物體淡入背景。 雖然這些功能提供了更通用的設備性能，但它們也在現實生活場景中產生了自己的問題，例如需要在各種高分辨率場景中進行準確的深度測量。 除了改善更寬的視野和運動模糊之外，還需要快速的干淨數據。 Xbox One 必須為 2013 年的假期做好準備。

飛行時間數據的模擬性質對交付此類解決方案提出了挑戰。

“從我們的傳感器輸出的飛行時間數據是每像素、每幀的，還有更多的模擬信息，”Acharya 說。 “另一個問題是靠近背景物體的前景物體會融化到背景中——同樣，這是由於我們的傳感器如何為落在邊緣的像素提供深度數據的模擬性質。”

“這產生了大量信息，並且為了讓軟件和遊戲開發人員更容易使用前景/背景提取和場景分割，要求通過在管道中添加軟件算法同時清理這些數據，但不會產生性能受到打擊。 這是至關重要的。 我們從各種工作流開始，最終決定對系統中的參數進行優化以克服這個問題。”

即使對象彼此靠近，合作者也希望清晰地分離前景和背景。 這也被證明是困難的。 然後是運動模糊。

 “運動模糊，”Acharya 解釋說，“是一個需要最小化的參數，不是特定於技術的。 飛行時間相機使用全局快門，這有助於顯著減少運動模糊——從最初的 Kinect 的 65 毫秒到現在不到 14 毫秒。”

其他挑戰也出現了。 一方面，處理時間成為一個問題。 在有關飛行時間系統的學術文獻中，處理時間不是問題。 在實驗室環境中，該技術運行良好。 但 Xbox One 需要每秒處理高達 6.5 萬像素。 並且只有一小部分 Xbox One 的計算能力可以用於這項任務。 可以理解的是，最大的份額被保留用於遊戲、骨骼跟踪、面部識別和音頻等基本功能。

“你需要對每個像素進行非常非常輕量級的計算，”Krupka 說，“這是使問題具有挑戰性的原因之一，並且與該領域學術文獻中的典型方法不同。”

值得注意的是，這一切都融合在一起了，這意味著雖然全球的娛樂愛好者很快就會發現自己對 Xbox One 的體驗感到高興，但那些渴望為該平台開發的人也會如此。 減少邊緣數據噪聲使數據開發人員做好準備，並且能夠在前景和背景之間進行清晰的分割，從而解決了複雜的計算問題。 數據很乾淨，更容易被遊戲開發者吸收。

Xbox One 中 Kinect 感應設備的另一個引人入勝的功能源於其紅外傳感器，它可以識別完全黑暗的房間中的物體。 即使沒有肉眼可見的光線，它也可以識別人和跟踪身體。 它可以識別四米外的手勢，看到孩子的手指，即使不考慮室內照明也能記住你的身份。

更廣闊的視野讓更多玩家可以同時玩 Xbox One 遊戲。 使用新的控制台，多達六名玩家可以擠在一個場景中。 一個高個子的成年人可以和一個小孩一起玩，而不會被擠出畫面。 如果用戶站在房間的附近、較遠或在房間的外圍，他們將獲得更好的體驗。

改進的手勢識別使用戶只需用手即可與 Xbox One 進行交互——無需控制器。 借助紅外攝像頭，可以在任何照明或根本沒有照明的情況下識別手部活動。 先前的手勢解決方案能夠提供速度或準確性，但不能同時提供兩者。 Xbox團隊和微軟研究院聯合設計的手勢解決方案可以做到這兩點。

資源： 微軟官方博客