Механизм нейронной обработки Qualcomm Snapdragon обеспечит лучший опыт работы с дополненной реальностью

Apple ARKit станет крупнейшей платформой дополненной реальности в мире, когда она будет запущена в конце этого года. Сотни миллионов устройств iPhone и iPad будут совместимы с ARKit благодаря мощным процессорам и графическим процессорам, которые уже доступны на этих устройствах. Чтобы обеспечить высокоточное обнаружение сцен и отслеживание объектов, вам необходимо запустить на устройстве алгоритмы, управляемые нейронной сетью. Эти алгоритмы нельзя заставить работать полностью на ЦП, как и любой другой алгоритм, поскольку они требуют больше энергии и потребляют больше батареи. Поскольку Apple точно знает аппаратное обеспечение этих устройств, они оптимизировали ARKit, чтобы он хорошо работал на устройствах iOS с низким энергопотреблением.

Google, с другой стороны, не может сделать то же самое, поскольку их экосистема Android построена на широком спектре моделей процессоров и графических процессоров от разных поставщиков, таких как Qualcomm, Samsung, MediaTek и т. д., и их возможности сильно различаются. Qualcomm, самый популярный производитель мобильных процессоров, пытается решить эту проблему с помощью Neural Processing Engine (NPE) SDK. Snapdragon NPE — это программная среда глубокого обучения, разработанная для мобильных платформ Snapdragon. Это помогает разработчикам запускать одну или несколько моделей нейронных сетей, обученных Caffe/Caffe2 или TensorFlow, на мобильных платформах Snapdragon, будь то ЦП, ГП или DSP. Он поддерживает как сверточные нейронные сети, так и пользовательские слои.

• Snapdragon NPE разработан, чтобы помочь разработчикам сэкономить время и силы при оптимизации производительности обученных нейронных сетей на устройствах с Snapdragon.
• Он делает это, предоставляя инструменты для преобразования и выполнения модели, а также API-интерфейсы для нацеливания ядра с профилем мощности и производительности, чтобы соответствовать желаемому пользовательскому опыту.
• Разработчики могут воспользоваться преимуществами глубокого обучения пользователей, такими как передача стилей и фильтры (дополненная реальность), обнаружение сцен, распознавание лиц, понимание естественного языка, отслеживание и избегание объектов, жесты и распознавание текста, и это лишь некоторые из них.

Facebook, например, планирует интегрировать Snapdragon NPE в камеру приложения Facebook, чтобы ускорить функции дополненной реальности на базе Caffe2. В результате они могут добиться в 5 раз большей производительности на графическом процессоре Adreno по сравнению с общей реализацией ЦП, что обеспечивает более плавное, плавное и реалистичное применение функций дополненной реальности при съемке фотографий и видео в реальном времени.

Snapdragon NPE SDK включает в себя следующее:

• Среды выполнения Android и Linux для выполнения модели нейронной сети
• Поддержка ускорения для ЦСП Qualcomm Hexagon, графических процессоров Qualcomm Adreno и процессоров Qualcomm Kryo
• Поддержка моделей в форматах Caffe, Caffe2 и TensorFlow.³
• API для управления загрузкой, выполнением и планированием во время выполнения
• Настольные инструменты для преобразования моделей
• Эталон производительности для выявления узких мест
• Пример кода и руководства
• HTML документация

Snapdragon NPE совместим с мобильными платформами Snapdragon серий 600 и 800. По моим оценкам, будет не менее 200 миллионов активных мобильных устройств с процессорами Snapdragon серий 600 и 800. Надеемся, что разработчики воспользуются преимуществами этой платформы NPE для создания отличных возможностей дополненной реальности на мобильных устройствах. Вы можете скачать SDK здесь.

В связи с этим Microsoft ранее на этой неделе объявила, что следующая версия HoloLens будет включать вторую версию HPU, которая будет включать сопроцессор AI для изначальной и гибкой реализации Deep Neural Networks. Подробнее об этом здесь.