Взгляд на проблемы при создании Kinect следующего поколения для Xbox One

Я думаю, что PlayStation серьезно пожалеет, что не включила свою версию Kinect в комплект PS4. Возможно, они знали, что в любом случае он будет не так хорош, как Kinect 2.0.

Сайрус Бамджи, партнер Microsoft по архитектуре аппаратного обеспечения группы Microsoft по архитектуре и управлению кремнием в Кремниевой долине, и члены его команды пытались внедрить времяпролетную камеру в Xbox One. 

Камера времени полета излучает световые сигналы, а затем измеряет, сколько времени им потребуется, чтобы вернуться. Это должно быть с точностью до 1/10,000,000,000 XNUMX XNUMX XNUMX секунды; скорость света. Благодаря таким измерениям камера способна различать свет, отражающийся от объектов в комнате и окружающей среде. Это обеспечивает точную оценку глубины, что позволяет вычислить форму этих объектов.

Возможность достижения скорости света станет большим достижением для сенсорной части Xbox One Kinect, которая будет выпущена на 13 стартовых рынках в следующем месяце. Новый Kinect, ключевое отличие Xbox One от конкурентов, должен был захватывать большее поле зрения с большей точностью и более высоким разрешением. Инфракрасный датчик позволит идентифицировать объекты, практически не требуя освещения, а также улучшит распознавание положения рук, давая геймерам и обычным пользователям возможность управлять консолью с помощью рук.

«Когда мы берем относительно новую технологию, такую ​​как времяпролетная технология, и внедряем ее в коммерческий продукт, происходит целый ряд вещей», — говорит он. «Есть вещи, о важности которых мы даже не подозревали, пока не был создан продукт. Например, теоретически мы знаем, что размытие изображения во время полета — это большая проблема, но насколько это важно, можно понять только тогда, когда вы создаете с его помощью продукт, а этот продукт должен обеспечивать превосходное качество обслуживания».

Точное измерение глубины в различных сценах с высоким разрешением новой камеры и более широким полем зрения также создает проблемы с пользовательским интерфейсом, затрудняя, ​​например, удержание мелких объектов, таких как палец, от перехода на задний план. Хотя эти функции обеспечивают более универсальную производительность устройства, они также создают собственные проблемы в реальных сценариях, например, необходимость точного измерения глубины в разнообразных сценах с высоким разрешением. Это, а также улучшение более широкого поля зрения и размытия при движении потребовало получения чистых данных — и быстро. Xbox One должен был быть готов к праздничному сезону 2013 года.

Аналоговый характер времяпролетных данных усложнил реализацию такого решения.

«Данные о времени пролета, поступающие от нашего датчика, относятся к каждому пикселю, к каждому кадру, и существует гораздо больше аналоговой информации», — говорит Ачарья. «Еще одна проблема заключалась в том, что объекты переднего плана, расположенные рядом с объектами фона, сливались с фоном — опять же, из-за аналоговой природы того, как наш датчик предоставляет данные о глубине для пикселей, которые попадают на края».

«В результате было получено много информации, и чтобы облегчить извлечение переднего плана/фона и сегментацию сцены для использования разработчиками программного обеспечения и игр, требовалось одновременно очищать эти данные, добавляя программные алгоритмы в канал, но без каких-либо дополнительных затрат. хит производительности. Это имело решающее значение. Мы начали с различных рабочих потоков и, в конце концов, остановились на оптимизации параметров системы, чтобы решить проблему».

Разработчики хотели обеспечить четкое разделение переднего плана и фона, даже если объекты расположены близко друг к другу. Это тоже оказалось трудным делом. А потом появилось размытие в движении.

 «Размытие в движении, — объясняет Ачарья, — это параметр, который необходимо минимизировать, и он не зависит от технологии. Времяпролетная камера использует глобальный затвор, что помогло значительно уменьшить размытость изображения — с 65 миллисекунд в оригинальном Kinect до менее 14 миллисекунд сейчас».

Возникли и другие проблемы. Во-первых, время обработки стало проблемой. В академической литературе о времяпролетных системах время обработки не было проблемой. В лабораторных условиях технология работала нормально. Но Xbox One необходимо обрабатывать колоссальные 6.5 миллионов пикселей в секунду. И для этой задачи можно было использовать лишь небольшую часть вычислительной мощности Xbox One. Понятно, что львиная доля зарезервирована для таких предметов первой необходимости, как игры, отслеживание скелетов, распознавание лиц и аудио.

«Вам нужно выполнить очень, очень легкие вычисления для каждого пикселя», — говорит Крупка, — «и это одна из причин, которая делает задачу сложной и отличает ее от типичного подхода в научной литературе в этой области».

Примечательно, что все это сошлось воедино, а это означает, что любители развлечений во всем мире вскоре будут в восторге от Xbox One, но и те, кто хочет разрабатывать игры для этой платформы, тоже будут в восторге. Уменьшение шума краевых данных делает разработчика данных готовым к работе, а возможность четкого разделения между передним и задним планом решает сложную вычислительную проблему. Данные чисты, и разработчикам игр их легче усваивать.

Еще одна интересная особенность сенсорного устройства Kinect в Xbox One связана с его инфракрасным датчиком, который может идентифицировать объекты в полностью затемненной комнате. Он может распознавать людей и отслеживать тела даже при отсутствии света, видимого невооруженным глазом. Он может определить позу руки на расстоянии четырех метров, увидеть пальцы ребенка и запомнить вашу личность даже при отсутствии освещения в комнате.

Более широкое поле зрения позволяет большему количеству игроков одновременно играть в игру для Xbox One. С новой консолью в одной сцене смогут собраться до шести игроков. Высокий взрослый может играть с маленьким ребенком, не вытесняясь из поля зрения. Пользователи получают лучший опыт, если они стоят рядом, дальше или на периферии комнаты.

А улучшенное распознавание положения рук позволяет пользователям взаимодействовать с Xbox One, просто используя руки — контроллер не требуется. Благодаря инфракрасной камере движения рук можно идентифицировать при любом освещении или при его отсутствии. Предыдущие решения для позы рук могли обеспечить скорость или точность, но не то и другое. Решение для позы рук, совместно разработанное командой Xbox и Microsoft Research, может делать и то, и другое.

Источник: Официальный блог Майкрософт