Qualcommov Snapdragon Neural Processing Engine bo omogočil boljše izkušnje AR
3 min. prebrati
Objavljeno dne
Dajte v skupno rabo ta članek
Izboljšajte ta vodnik
Preberite našo stran za razkritje, če želite izvedeti, kako lahko pomagate MSPoweruser vzdrževati uredniško skupino Preberi več
Apple ARKit bo največja platforma AR na svetu, ko bo predstavljen pozneje letos. Na stotine milijonov naprav iPhone in iPad bo združljivih z ARKit, zahvaljujoč zmogljivemu CPU in GPU, ki sta že na voljo v teh napravah. Če želite omogočiti zelo natančno zaznavanje prizorov in sledenje predmetom, morate v napravi zagnati algoritme, ki jih poganja nevronska mreža. Teh algoritmov ni mogoče v celoti izvajati na CPE tako kot kateri koli drug algoritem, saj zahtevajo več energije in porabijo več baterije. Ker Apple natančno pozna strojno opremo v teh napravah, so optimizirali ARKit za dobro delovanje na napravah iOS na energetsko učinkovit način.
Google po drugi strani ne more storiti enakega, saj je njihov ekosistem Android zgrajen na najrazličnejših modelih CPU in GPU različnih proizvajalcev, kot so Qualcomm, Samsung, MediaTek itd., njihove zmogljivosti pa se močno razlikujejo. Qualcomm, najbolj priljubljen proizvajalec mobilnih procesorjev, poskuša rešiti to težavo z uporabo SDK-ja Neural Processing Engine (NPE). Snapdragon NPE je programski okvir za globoko učenje, zasnovan za mobilne platforme Snapdragon. Razvijalcem pomaga izvajati enega ali več modelov nevronskih omrežij, usposobljenih v Caffe/Caffe2 ali TensorFlow na mobilnih platformah Snapdragon, ne glede na to, ali je to CPU, GPU ali DSP. Podpira tako konvolucijske nevronske mreže kot plasti po meri.
- Snapdragon NPE je zasnovan tako, da pomaga razvijalcem prihraniti čas in trud pri optimizaciji zmogljivosti izurjenih nevronskih mrež na napravah s Snapdragonom.
- To doseže z zagotavljanjem orodij za pretvorbo in izvedbo modela ter API-jev za ciljanje na jedro s profilom moči in zmogljivosti, ki ustreza želeni uporabniški izkušnji.
- Razvijalci lahko izkoristijo uporabniške izkušnje globokega učenja, kot so prenosi slogov in filtri (razširjena resničnost), zaznavanje prizorov, prepoznavanje obrazov, razumevanje naravnega jezika, sledenje in izogibanje predmetom, kretnje in prepoznavanje besedila, če naštejemo le nekaj.
Facebook na primer načrtuje integracijo Snapdragon NPE v kamero aplikacije Facebook, da bi pospešil funkcije AR, ki jih poganja Caffe2. Posledično lahko dosežejo 5-krat boljšo zmogljivost na Adreno GPU v primerjavi z generično izvedbo CPE, kar ima za posledico bolj tekočo, brezhibno in realistično uporabo funkcij AR pri zajemanju fotografij in videoposnetkov v živo.
Snapdragon NPE SDK vključuje naslednje:
- Android in Linux izvajalni časi za izvedbo modela nevronskih omrežij
- Podpora za pospeševanje za Qualcomm Hexagon DSP, Qualcomm Adreno GPU in Qualcomm Kryo, CPE
- Podpora za modele v formatih Caffe, Caffe2 in TensorFlow3
- API-ji za nadzor nalaganja, izvajanja in razporejanja v času izvajanja
- Namizna orodja za pretvorbo modelov
- Merilo uspešnosti za identifikacijo ozkih grl
- Vzorčna koda in vadnice
- HTML dokumentacija
Snapdragon NPE je združljiv z mobilnimi platformami serije Snapdragon 600 in 800. Po moji oceni bo vsaj 200 milijonov aktivnih mobilnih naprav s procesorji Snapdragon 600 in 800. Upajmo, da bodo razvijalci izkoristili to platformo NPE za ustvarjanje odličnih izkušenj AR na mobilnih napravah. Lahko prenesete SDK tukaj.
V zvezi s tem je Microsoft v začetku tega tedna objavil, da bo naslednja različica HoloLens vsebovala drugo različico HPU, ki bo vključeval koprocesor AI za izvorno in prilagodljivo izvajanje globokih nevronskih omrežij. Preberite več o tem tukaj.
