Механізм нейронної обробки Snapdragon від Qualcomm забезпечить кращий досвід AR

Apple ARKit стане найбільшою платформою AR у світі, коли вона буде запущена пізніше цього року. Сотні мільйонів пристроїв iPhone та iPad будуть сумісні з ARKit завдяки потужному ЦП та графічному процесору, які вже доступні на цих пристроях. Щоб забезпечити високоточне виявлення сцени та відстеження об’єктів, вам потрібно запустити на пристрої алгоритми, керовані нейронною мережею. Ці алгоритми не можна повністю запустити на ЦП, як і будь-який інший алгоритм, оскільки вони вимагають більше енергії та споживають більше акумулятора. Оскільки Apple точно знає апаратне забезпечення в цих пристроях, вони оптимізували ARKit, щоб він добре працював на пристроях iOS енергозберігаючим способом.

З іншого боку, Google не може зробити те ж саме, оскільки їх екосистема Android побудована на широкому спектрі моделей процесорів і графічних процесорів від різних виробників, таких як Qualcomm, Samsung, MediaTek тощо, і їхні можливості сильно відрізняються. Qualcomm, найпопулярніший виробник мобільних процесорів, намагається вирішити цю проблему за допомогою SDK Neural Processing Engine (NPE). Snapdragon NPE — це програма глибокого навчання, розроблена для мобільних платформ Snapdragon. Це допомагає розробникам запускати одну або кілька моделей нейронних мереж, навчених Caffe/Caffe2 або TensorFlow на мобільних платформах Snapdragon, незалежно від того, чи є це ЦП, графічний процесор або DSP. Він підтримує як згорткові нейронні мережі, так і користувацькі шари.

• Snapdragon NPE розроблено, щоб допомогти розробникам заощадити час і зусилля на оптимізації продуктивності навчених нейронних мереж на пристроях із Snapdragon.
• Він робить це, надаючи інструменти для перетворення та виконання моделі, а також API для націлювання на ядро ​​з профілем потужності та продуктивності, щоб відповідати бажаному досвіду користувача.
• Розробники можуть скористатися перевагами користувацького досвіду глибокого навчання, як-от перенесення стилів і фільтри (доповнена реальність), виявлення сцени, розпізнавання обличчя, розуміння природної мови, відстеження та уникнення об’єктів, жести та розпізнавання тексту.

Наприклад, Facebook планує інтегрувати Snapdragon NPE в камеру додатка Facebook, щоб прискорити функції AR на основі Caffe2. В результаті вони можуть досягти в 5 разів кращої продуктивності на графічному процесорі Adreno в порівнянні з загальним процесором, що призводить до більш плавного, безпроблемного та реалістичного застосування функцій AR під час зйомки фотографій і відео в реальному часі.

Snapdragon NPE SDK включає в себе наступне:

• Середини виконання Android та Linux для виконання моделі нейронної мережі
• Підтримка прискорення для процесорів Qualcomm Hexagon DSP, графічних процесорів Qualcomm Adreno і процесорів Qualcomm Kryo
• Підтримка моделей у форматах Caffe, Caffe2 і TensorFlow³
• API для контролю завантаження, виконання та планування під час виконання
• Настільні інструменти для перетворення моделі
• Контроль продуктивності для виявлення вузьких місць
• Приклад коду та підручники
• Документація HTML

Snapdragon NPE сумісний з мобільними платформами серії Snapdragon 600 і 800. За моєю оцінкою, буде щонайменше 200 мільйонів активних мобільних пристроїв із процесорами серії Snapdragon 600 і 800. Сподіваємося, розробники скористаються перевагами цієї платформи NPE для створення чудового досвіду AR на мобільних пристроях. Ви можете завантажити SDK тут.

У зв’язку з цим, раніше цього тижня Microsoft оголосила, що наступна версія HoloLens матиме другу версію HPU, яка включатиме співпроцесор AI для власної та гнучкої реалізації глибоких нейронних мереж. Детальніше про це читайте тут.