A Qualcomm Snapdragon Neural Processing Engine jobb AR-élményt tesz lehetővé
3 perc olvas
Publikálva
Ossza meg ezt a cikket
Javítsa ezt az útmutatót
Olvassa el közzétételi oldalunkat, hogy megtudja, hogyan segítheti az MSPowerusert a szerkesztői csapat fenntartásában Tovább
Az Apple ARKit a világ legnagyobb AR-platformja lesz, amikor még idén elindul. Több száz millió iPhone és iPad készülék lesz kompatibilis az ARKittel, köszönhetően az ezeken az eszközökön már elérhető nagy teljesítményű CPU-nak és GPU-nak. A rendkívül pontos jelenetészlelés és objektumkövetés engedélyezéséhez eszközön neurális hálózat által vezérelt algoritmusokat kell futtatnia. Ezeket az algoritmusokat nem lehet teljesen CPU-n futtatni, mint bármely más algoritmust, mivel több energiát igényelnek és több akkumulátort fogyasztanak. Mivel az Apple pontosan ismeri ezekben az eszközökben a hardvert, úgy optimalizálták az ARKit-et, hogy energiatakarékos módon jól fusson iOS-eszközökön.
A Google viszont nem tudja megtenni ugyanezt, mivel az Android-ökoszisztéma a különböző gyártók, például a Qualcomm, a Samsung, a MediaTek stb. CPU- és GPU-modelljeinek széles skálájára épül, és ezek képességei drámaian eltérőek. A Qualcomm, a legnépszerűbb mobil processzorgyártó a Neural Processing Engine (NPE) SDK segítségével próbálja megoldani ezt a problémát. A Snapdragon NPE egy mély tanulási szoftver keretrendszer, amelyet Snapdragon mobilplatformokhoz terveztek. Segíti a fejlesztőket egy vagy több Caffe/Caffe2-ben vagy TensorFlow-ban betanított neurális hálózati modell futtatásában a Snapdragon mobilplatformokon, legyen az CPU, GPU vagy DSP. Támogatja a konvolúciós neurális hálózatokat és az egyéni rétegeket is.
- A Snapdragon NPE úgy lett megtervezve, hogy segítse a fejlesztőket, hogy időt és erőfeszítést takarítsanak meg a betanított neurális hálózatok teljesítményének optimalizálása során a Snapdragont használó eszközökön.
- Ezt úgy éri el, hogy eszközöket biztosít a modellkonverzióhoz és -végrehajtáshoz, valamint API-kat biztosít a mag megcélzásához a kívánt felhasználói élménynek megfelelő teljesítmény- és teljesítményprofillal.
- A fejlesztők kihasználhatják az olyan mély tanulási felhasználói élményeket, mint a stílusátvitel és a szűrők (kiterjesztett valóság), a jelenetészlelés, az arcfelismerés, a természetes nyelv megértése, a tárgyak követése és elkerülése, a gesztusok és a szövegfelismerés, hogy csak néhányat említsünk.
A Facebook például azt tervezi, hogy integrálja a Snapdragon NPE-t a Facebook alkalmazás kamerájába, hogy felgyorsítsa a Caffe2-vel működő AR-funkciókat. Ennek eredményeként ötször jobb teljesítményt érhetnek el az Adreno GPU-n, mint egy általános CPU-megvalósítás, ami az AR-funkciók gördülékenyebb, zökkenőmentesebb és valósághűbb alkalmazását eredményezi fotók és élő videók rögzítésekor.
A Snapdragon NPE SDK a következőket tartalmazza:
- Android és Linux futtatókörnyezet a neurális hálózati modell végrehajtásához
- Gyorsítási támogatás Qualcomm Hexagon DSP-khez, Qualcomm Adreno GPU-khoz és Qualcomm Kryo-hoz, CPU-khoz
- Caffe, Caffe2 és TensorFlow formátumú modellek támogatása3
- API-k a betöltés, a végrehajtás és a futási idők ütemezésének vezérléséhez
- Asztali eszközök a modellkonverzióhoz
- Teljesítmény-benchmark a szűk keresztmetszetek azonosításához
- Mintakód és oktatóanyagok
- HTML dokumentáció
A Snapdragon NPE kompatibilis a Snapdragon 600 és 800 sorozatú mobilplatformokkal. Becslésem szerint legalább 200 millió aktív mobileszköz lesz Snapdragon 600-as és 800-as sorozatú processzorokkal. Remélhetőleg a fejlesztők kihasználják ezt az NPE platformot, hogy nagyszerű AR-élményeket teremtsenek mobileszközökön. Letöltheti az SDK-t itt.
Ehhez kapcsolódóan a Microsoft a hét elején bejelentette, hogy a HoloLens következő verziója tartalmazza a HPU második verzióját, amely AI társprocesszort tartalmaz a Deep Neural Networks natív és rugalmas megvalósításához. Olvass róla többet itt.
