Погляд на проблеми, пов’язані зі створенням Kinect наступного покоління для Xbox One

Я думаю, що Playstation серйозно пошкодує, що не включила свою версію Kinect у PS4. Можливо, вони знали, що він все одно не буде таким хорошим, як Kinect 2.0.

Сайрус Бамджі, архітектор апаратного забезпечення партнера Microsoft для групи архітектури та управління кремнієм у Кремнієвій долині Microsoft, і члени його команди намагалися включити камеру часу польоту в Xbox One. 

Камера часу польоту випромінює світлові сигнали, а потім вимірює, скільки часу потрібно для повернення. Це має бути з точністю до 1/10,000,000,000 XNUMX XNUMX XNUMX секунди; швидкість світла. За допомогою таких вимірювань камера здатна розрізняти світло, що відбивається від об’єктів у кімнаті та навколишнього середовища. Це забезпечує точну оцінку глибини, яка дає змогу обчислити форму цих об’єктів.

Ця можливість вимірювання швидкості світла стане серйозним прогресом для сенсорної частини Kinect Xbox One, яка буде випущена на 13 ринках запуску наступного місяця. Новий Kinect, який є ключовою відмінністю Xbox One від конкурентів, потребував захоплення більшого поля зору з більшою точністю та вищою роздільною здатністю. Інфрачервоний датчик забезпечить ідентифікацію об’єктів, які потребують практично без освітлення, а також покращить розпізнавання пози рук, надаючи гравцям і звичайним користувачам можливість керувати консоллю руками.

«Коли ми беремо відносно нову технологію, таку як час польоту, і використовуємо її в комерційному продукті, відбувається ціла купа речей, — говорить він. «Є речі, які ми не знали, наскільки вони важливі, поки продукт не був створений. Наприклад, ми теоретично знаємо, що розмиття руху під час польоту є великою проблемою, але наскільки це важливо, можна виявити лише тоді, коли ви створюєте продукт із цим і цей продукт має забезпечувати чудові враження».

Точне вимірювання глибини в різноманітних сценах із високою роздільною здатністю нової камери та ширшим полем огляду також створює проблеми для користувача, ускладнюючи, наприклад, запобігання зникненню маленьких об’єктів, наприклад пальців, на фоні. Хоча ці функції забезпечували більш універсальну продуктивність пристрою, вони також створювали власні проблеми в сценаріях реального життя, такі як необхідність точного вимірювання глибини в різноманітних сценах з високою роздільною здатністю. Це, а також покращення ширшого поля зору та розмиття руху, вимагало чистих даних — швидко. Xbox One потрібно було підготувати до святкового сезону 2013 року.

Аналоговий характер даних про час польоту створив проблеми для надання такого рішення.

«Дані про час польоту, які надходять від нашого датчика, розраховуються на піксель, на кадр, і є набагато більше аналогової інформації», — каже Ачар’я. «Інша проблема полягала в тому, що об’єкти переднього плану, близькі до об’єктів фону, розчинялися у фоні — знову ж таки через аналогову природу того, як наш датчик надає дані про глибину для пікселів, які потрапляють на краї».

«Це призвело до отримання великої кількості інформації, і щоб спростити вилучення переднього/фонового плану та сегментацію сцени, використання розробниками програмного забезпечення та ігор, вимога полягала в тому, щоб очистити ці дані одночасно, додавши програмні алгоритми в трубу, але без залучення хіт продуктивності. Це було вирішальним. Ми почали з різних робочих потоків і, зрештою, зупинилися на оптимізації параметрів у системі, щоб подолати проблему».

Співавтори хотіли чітко розділити передній і задній плани, навіть якщо об’єкти розташовані близько один до одного. Це також виявилося складним. А потім було розмиття в русі.

 «Розмиття під час руху, — пояснює Ачар’я, — це параметр, який потрібно мінімізувати і не залежить від конкретної технології. Time-of-flight камера використовує глобальний затвор, що допомогло значно зменшити розмиття руху — з 65 мілісекунд в оригінальному Kinect до менше ніж 14 мілісекунд зараз».

Виникли й інші виклики. З одного боку, час обробки став проблемою. В академічній літературі про системи часу польоту час обробки не був проблемою. У лабораторних умовах технологія працювала нормально. Але Xbox One має обробляти колосальні 6.5 мільйонів пікселів на секунду. І лише невелика частина обчислювальної потужності Xbox One може бути використана для цього завдання. Левова частка, зрозуміло, зарезервована для основних функцій, таких як ігри, відстеження скелетів, розпізнавання облич і аудіо.

«Вам потрібно зробити дуже, дуже легке обчислення для кожного пікселя, — каже Крупка, — і це одна з речей, яка зробила проблему складною та відрізняється від типового підходу в академічній літературі в цій галузі».

Примітно, що все це поєдналося, а це означає, що любителі розваг у всьому світі незабаром будуть у захваті від Xbox One, так само й ті, хто прагне розвиватися для цієї платформи. Зменшення шуму на краю даних робить розробника даних готовим, а можливість чіткого сегментування між переднім планом і фоном вирішує складну обчислювальну проблему. Дані є чистими, і їх легше засвоювати розробникам ігор.

Ще одна цікава особливість сенсорного пристрою Kinect в Xbox One – це його інфрачервоний датчик, який може ідентифікувати об’єкти в повністю затемненій кімнаті. Він може розпізнавати людей і відстежувати тіла навіть без освітлення, видимого неозброєним оком. Він може визначити позу руки з відстані чотирьох метрів, побачити пальці дитини та запам’ятати вашу особу навіть без освітлення кімнати.

Ширше поле зору дає змогу одночасно грати в гру на Xbox One більшій кількості гравців. З новою консоллю в одній сцені можуть зібратися до шести гравців. Високий дорослий може гратися з маленькою дитиною, не витісняючись із зображення. Користувачі отримують кращий досвід, якщо вони стоять поруч, подалі або на периферії кімнати.

А покращене розпізнавання пози рук дає змогу користувачам взаємодіяти з Xbox One, просто використовуючи свої руки — контролер не потрібен. Завдяки інфрачервоній камері рух рук можна визначити при будь-якому освітленні або без нього. Попередні рішення для позування рук забезпечували швидкість і точність, але не обидва. Рішення для позування рук, спільно розроблене командою Xbox і Microsoft Research, може робити обидва.

джерело: Офіційний блог Microsoft