高通骁龙神经处理引擎将带来更好的AR体验

Apple ARKit 在今年晚些时候推出时将成为世界上最大的 AR 平台。 数以亿计的 iPhone 和 iPad 设备将与 ARKit 兼容，这要归功于这些设备上已有的强大 CPU 和 GPU。 为了实现高度准确的场景检测和对象跟踪，您需要运行设备上神经网络驱动的算法。 这些算法不能像任何其他算法一样完全在 CPU 上运行，因为它们需要更多的功率并消耗更多的电池。 由于 Apple 完全了解这些设备内部的硬件，因此他们优化了 ARKit，以便以节能的方式在 iOS 设备上良好运行。

另一方面，谷歌无法做到这一点，因为他们的 Android 生态系统是建立在来自不同供应商（如高通、三星、联发科等）的各种 CPU 和 GPU 型号上，并且它们的功能差异很大。 最受欢迎的移动处理器制造商高通公司正在尝试使用神经处理引擎 (NPE) SDK 解决这个问题。 Snapdragon NPE 是专为 Snapdragon 移动平台设计的深度学习软件框架。 它可以帮助开发人员在 Snapdragon 移动平台（无论是 CPU、GPU 还是 DSP）上运行一个或多个经过 Caffe/Caffe2 或 TensorFlow 训练的神经网络模型。 它支持卷积神经网络和自定义层。

• Snapdragon NPE 旨在帮助开发人员节省时间和精力来优化配备 Snapdragon 的设备上训练有素的神经网络的性能。
• 它通过提供用于模型转换和执行的工具以及用于针对具有功率和性能配置文件以匹配所需用户体验的核心的 API 来做到这一点。
• 开发人员可以利用深度学习用户体验，例如风格迁移和过滤器（增强现实）、场景检测、面部识别、自然语言理解、对象跟踪和回避、手势和文本识别等等。

例如，Facebook 正计划将 Snapdragon NPE 集成到 Facebook 应用程序的摄像头中，以加速基于 Caffe2 的 AR 功能。 因此，与通用 CPU 实现相比，它们可以在 Adreno GPU 上实现 5 倍更好的性能，从而在拍摄照片和实时视频时更流畅、无缝和逼真地应用 AR 功能。

Snapdragon NPE SDK 包括以下内容：

• 用于神经网络模型执行的 Android 和 Linux 运行时
• 加速支持 Qualcomm Hexagon DSP、Qualcomm Adreno GPU 和 Qualcomm Kryo、CPU
• 支持 Caffe、Caffe2 和 TensorFlow 格式的模型³
• 用于控制运行时加载、执行和调度的 API
• 用于模型转换的桌面工具
• 瓶颈识别的性能基准
• 示例代码和教程
• HTML文档

Snapdragon NPE 与 Snapdragon 600 和 800 系列移动平台兼容。 据我估计，运行骁龙 200 和 600 系列处理器的活跃移动设备将至少有 800 亿台。 希望开发人员能够利用这个 NPE 平台在移动设备上创建出色的 AR 体验。 您可以下载 SDK 此处.

与此相关的是，微软本周早些时候宣布，下一版本的 HoloLens 将采用 HPU 的第二个版本，其中将包括一个人工智能协处理器，以本地灵活地实现深度神经网络。 阅读更多关于它的信息 此处.