Qualcomms Snapdragon Neural Processing Engine vil muliggjøre bedre AR-opplevelser

Apple ARKit kommer til å bli den største AR-plattformen i verden når den lanseres senere i år. Hundrevis av millioner av iPhone- og iPad-enheter vil være kompatible med ARKit, takket være den kraftige CPU og GPU som allerede er tilgjengelig på disse enhetene. For å muliggjøre svært nøyaktig scenedeteksjon og objektsporing, må du kjøre nevrale nettverksdrevne algoritmer på enheten. Disse algoritmene kan ikke kjøres helt på CPU akkurat som alle andre algoritmer siden de krever mer strøm og bruker mer batteri. Siden Apple nøyaktig kjenner maskinvaren inne i disse enhetene, har de optimalisert ARKit for å kjøre godt på iOS-enhetene på en strømeffektiv måte.

Google på den annen side kan ikke gjøre det samme siden deres Android-økosystem er bygget på en rekke CPU- og GPU-modeller fra forskjellige leverandører som Qualcomm, Samsung, MediaTek, etc, og deres evner varierer dramatisk. Qualcomm, den mest populære mobilprosessorprodusenten, prøver å løse dette problemet ved å bruke Neural Processing Engine (NPE) SDK. Snapdragon NPE er et programvarerammeverk for dyp læring designet for Snapdragon mobile plattformer. Det hjelper utviklere med å kjøre en eller flere nevrale nettverksmodeller som er trent i Caffe/Caffe2 eller TensorFlow på Snapdragon mobile plattformer, enten det er CPU, GPU eller DSP. Den støtter både konvolusjonelle nevrale nettverk og tilpassede lag.

• Snapdragon NPE er utviklet for å hjelpe utviklere med å spare tid og krefter på å optimalisere ytelsen til trente nevrale nettverk på enheter med Snapdragon.
• Den gjør dette ved å tilby verktøy for modellkonvertering og utførelse samt API-er for å målrette kjernen med kraft- og ytelsesprofilen for å matche ønsket brukeropplevelse.
• Utviklere kan dra nytte av brukeropplevelser med dyp læring som stiloverføringer og filtre (augmented reality), scenegjenkjenning, ansiktsgjenkjenning, naturlig språkforståelse, objektsporing og -unngåelse, gester og tekstgjenkjenning for å nevne noen.

Facebook planlegger for eksempel å integrere Snapdragon NPE i kameraet til Facebook-appen for å akselerere Caffe2-drevne AR-funksjoner. Som et resultat kan de oppnå 5 ganger bedre ytelse på Adreno GPU, sammenlignet med en generisk CPU-implementering som resulterer i en mer flytende, sømløs og realistisk bruk av AR-funksjoner når du tar bilder og live-videoer.

Snapdragon NPE SDK inkluderer følgende:

• Android og Linux kjøretider for kjøring av nevrale nettverksmodeller
• Akselerasjonsstøtte for Qualcomm Hexagon DSPer, Qualcomm Adreno GPUer og Qualcomm Kryo, CPUer
• Støtte for modeller i formatene Caffe, Caffe2 og TensorFlow³
• API-er for å kontrollere lasting, utførelse og planlegging på kjøretidene
• Desktop-verktøy for modellkonvertering
• Ytelsesbenchmark for flaskehalsidentifikasjon
• Eksempelkode og veiledninger
• HTML-dokumentasjon

Snapdragon NPE er kompatibel med Snapdragon 600- og 800-seriens mobile plattformer. Ifølge mitt estimat vil det være minst 200 millioner aktive mobile enheter som kjører prosessorer i Snapdragon 600- og 800-serien. Forhåpentligvis vil utviklere dra nytte av denne NPE-plattformen for å skape gode AR-opplevelser på mobile enheter. Du kan laste ned SDK her..

På et relatert notat kunngjorde Microsoft tidligere denne uken at den neste versjonen av HoloLens vil inneholde den andre versjonen av HPU som vil inkludere en AI-koprosessor for å implementere Deep Neural Networks naturlig og fleksibelt. Les mer om det her..