クアルコムの Snapdragon Neural Processing Engine により、より優れた AR エクスペリエンスが可能になります

Apple ARKitは、今年後半に発売されると、世界最大のARプラットフォームになる予定です。 何億ものiPhoneおよびiPadデバイスは、これらのデバイスですでに利用可能な強力なCPUおよびGPUのおかげで、ARKitと互換性があります。 高精度のシーン検出とオブジェクト追跡を可能にするには、デバイス上でニューラルネットワーク駆動のアルゴリズムを実行する必要があります。 これらのアルゴリズムは、より多くの電力を必要とし、より多くのバッテリーを消費するため、他のアルゴリズムと同じようにCPU上で完全に実行することはできません。 Appleはこれらのデバイス内のハードウェアを正確に知っているため、電力効率の高い方法でiOSデバイス上で適切に動作するようにARKitを最適化しました。

一方、GoogleのAndroidエコシステムは、Qualcomm、Samsung、MediaTekなどのさまざまなベンダーのさまざまなCPUおよびGPUモデルに基づいて構築されており、機能が大幅に異なるため、同じことはできません。 最も人気のあるモバイルプロセッサメーカーであるQualcommは、Neural Processing Engine（NPE）SDKを使用してこの問題を解決しようとしています。 Snapdragon NPEは、Snapdragonモバイルプラットフォーム用に設計されたディープラーニングソフトウェアフレームワークです。 これは、開発者が、CPU、GPU、DSPのいずれであっても、SnapdragonモバイルプラットフォームでCaffe / Caffe2またはTensorFlowでトレーニングされたXNUMXつ以上のニューラルネットワークモデルを実行するのに役立ちます。 畳み込みニューラルネットワークとカスタムレイヤーの両方をサポートします。

• Snapdragon NPEは、開発者がSnapdragonを搭載したデバイスでトレーニングされたニューラルネットワークのパフォーマンスを最適化する際の時間と労力を節約できるように設計されています。
• これは、モデルの変換と実行のためのツールと、目的のユーザーエクスペリエンスに一致するパワーとパフォーマンスプロファイルでコアをターゲットにするためのAPIを提供することによって実現されます。
• 開発者は、スタイル転送とフィルター（拡張現実）、シーン検出、顔認識、自然言語理解、オブジェクトの追跡と回避、ジェスチャー、テキスト認識などのディープラーニングユーザーエクスペリエンスを利用できます。

たとえば、Facebookは、Snapdragon NPEをFacebookアプリのカメラに統合して、Caffe2を利用したAR機能を高速化することを計画しています。 その結果、一般的なCPU実装と比較して、Adreno GPUで5倍優れたパフォーマンスを実現でき、写真やライブビデオをキャプチャするときにAR機能をより流動的でシームレスかつ現実的に適用できます。

Snapdragon NPESDKには次のものが含まれています。

• ニューラルネットワークモデルを実行するためのAndroidおよびLinuxランタイム
• Qualcomm Hexagon DSP、Qualcomm Adreno GPU、Qualcomm Kryo、CPUのアクセラレーションサポート
• Caffe、Caffe2、TensorFlow形式のモデルのサポート³
• ランタイムでのロード、実行、およびスケジューリングを制御するためのAPI
• モデル変換用のデスクトップツール
• ボトルネックを特定するためのパフォーマンスベンチマーク
• サンプルコードとチュートリアル
• HTMLドキュメント

Snapdragon NPEは、Snapdragon600および800シリーズモバイルプラットフォームと互換性があります。 私の見積もりによると、Snapdragon200および600シリーズプロセッサを実行しているアクティブなモバイルデバイスは少なくとも800億台あります。 うまくいけば、開発者はこのNPEプラットフォームを利用して、モバイルデバイスで優れたARエクスペリエンスを作成できます。 SDKをダウンロードできます こちら.

関連するメモとして、Microsoftは今週初めに、HoloLensの次のバージョンがDeep NeuralNetworksをネイティブかつ柔軟に実装するためのAIコプロセッサーを含むHPUのXNUMX番目のバージョンを備えていることを発表しました。 それについてもっと読む こちら.