高通驍龍神經處理引擎將帶來更好的AR體驗

Apple ARKit 在今年晚些時候推出時將成為世界上最大的 AR 平台。 數以億計的 iPhone 和 iPad 設備將與 ARKit 兼容，這要歸功於這些設備上已有的強大 CPU 和 GPU。 為了實現高度準確的場景檢測和對象跟踪，您需要運行設備上神經網絡驅動的算法。 這些算法不能像任何其他算法一樣完全在 CPU 上運行，因為它們需要更多的功率並消耗更多的電池。 由於 Apple 完全了解這些設備內部的硬件，因此他們優化了 ARKit 以在 iOS 設備上以一種節能的方式運行。

另一方面，谷歌無法做到這一點，因為他們的 Android 生態系統是建立在來自不同供應商（如高通、三星、聯發科等）的各種 CPU 和 GPU 型號之上，並且它們的功能差異很大。 最受歡迎的移動處理器製造商高通公司正在嘗試使用神經處理引擎 (NPE) SDK 解決這個問題。 Snapdragon NPE 是專為 Snapdragon 移動平台設計的深度學習軟件框架。 它可以幫助開發人員在 Snapdragon 移動平台上運行一個或多個在 Caffe/Caffe2 或 TensorFlow 中訓練的神經網絡模型，無論是 CPU、GPU 還是 DSP。 它支持卷積神經網絡和自定義層。

• Snapdragon NPE 旨在幫助開發人員節省時間和精力來優化配備 Snapdragon 的設備上經過訓練的神經網絡的性能。
• 它通過提供用於模型轉換和執行的工具以及用於針對具有功率和性能配置文件的核心的 API 來實現這一點，以匹配所需的用戶體驗。
• 開發人員可以利用深度學習用戶體驗，例如風格遷移和過濾器（增強現實）、場景檢測、面部識別、自然語言理解、對象跟踪和迴避、手勢和文本識別等等。

例如，Facebook 正計劃將 Snapdragon NPE 集成到 Facebook 應用程序的攝像頭中，以加速基於 Caffe2 的 AR 功能。 因此，與通用 CPU 實現相比，它們可以在 Adreno GPU 上實現 5 倍更好的性能，從而在拍攝照片和實時視頻時更流暢、無縫和逼真地應用 AR 功能。

Snapdragon NPE SDK 包括以下內容：

• 用於神經網絡模型執行的 Android 和 Linux 運行時
• 對 Qualcomm Hexagon DSP、Qualcomm Adreno GPU 和 Qualcomm Kryo、CPU 的加速支持
• 支持 Caffe、Caffe2 和 TensorFlow 格式的模型³
• 用於控制運行時加載、執行和調度的 API
• 用於模型轉換的桌面工具
• 瓶頸識別的性能基準
• 示例代碼和教程
• HTML文檔

Snapdragon NPE 與 Snapdragon 600 和 800 系列移動平台兼容。 據我估計，運行驍龍 200 和 600 系列處理器的活躍移動設備將至少有 800 億台。 希望開發人員能夠利用這個 NPE 平台在移動設備上創造出色的 AR 體驗。 您可以下載 SDK 点击這裡.

與此相關的是，微軟本週早些時候宣布，下一版本的 HoloLens 將採用 HPU 的第二個版本，其中將包括一個人工智能協處理器，以本地和靈活地實現深度神經網絡。 閱讀更多關於它的信息 点击這裡.