Qualcomms Snapdragon Neural Processing Engine kommer att möjliggöra bättre AR-upplevelser
3 min. läsa
Publicerad den
Dela den här artikeln
Förbättra den här guiden
Läs vår informationssida för att ta reda på hur du kan hjälpa MSPoweruser upprätthålla redaktionen Läs mer
Apple ARKit kommer att bli den största AR-plattformen i världen när den lanseras senare i år. Hundratals miljoner iPhone- och iPad-enheter kommer att vara kompatibla med ARKit, tack vare den kraftfulla CPU och GPU som redan finns på dessa enheter. För att möjliggöra mycket exakt scendetektering och objektspårning måste du köra på enhetens neurala nätverksdrivna algoritmer. Dessa algoritmer kan inte köras helt på CPU precis som alla andra algoritmer eftersom de kräver mer ström och drar mer batteri. Eftersom Apple exakt kan hårdvaran inuti dessa enheter har de optimerat ARKit för att fungera bra på iOS-enheterna på ett energieffektivt sätt.
Google å andra sidan kan inte göra detsamma eftersom deras Android-ekosystem är byggt på många olika CPU- och GPU-modeller från olika leverantörer som Qualcomm, Samsung, MediaTek, etc, och deras kapacitet varierar dramatiskt. Qualcomm, den mest populära mobilprocessortillverkaren, försöker lösa detta problem med hjälp av Neural Processing Engine (NPE) SDK. Snapdragon NPE är ett ramverk för djupinlärning som är designat för Snapdragons mobila plattformar. Det hjälper utvecklare att köra en eller flera neurala nätverksmodeller utbildade i Caffe/Caffe2 eller TensorFlow på Snapdragon mobila plattformar, oavsett om det är CPU, GPU eller DSP. Den stöder både konvolutionella neurala nätverk och anpassade lager.
- Snapdragon NPE är konstruerad för att hjälpa utvecklare att spara tid och ansträngning för att optimera prestandan för utbildade neurala nätverk på enheter med Snapdragon.
- Den gör detta genom att tillhandahålla verktyg för modellkonvertering och exekvering samt API:er för att rikta in sig på kärnan med kraft- och prestandaprofilen för att matcha den önskade användarupplevelsen.
- Utvecklare kan dra nytta av djupinlärning av användarupplevelser som stilöverföringar och filter (förstärkt verklighet), scenidentifiering, ansiktsigenkänning, naturlig språkförståelse, objektspårning och undvikande, gester och textigenkänning för att nämna några.
Facebook planerar till exempel att integrera Snapdragon NPE i kameran i Facebook-appen för att accelerera Caffe2-drivna AR-funktioner. Som ett resultat kan de uppnå 5 gånger bättre prestanda på Adreno GPU, jämfört med en generisk CPU-implementering som resulterar i en mer flytande, sömlös och realistisk tillämpning av AR-funktioner när du tar foton och livevideor.
Snapdragon NPE SDK innehåller följande:
- Android- och Linux-körtider för exekvering av neurala nätverksmodeller
- Accelerationsstöd för Qualcomm Hexagon DSP:er, Qualcomm Adreno GPU:er och Qualcomm Kryo, processorer
- Stöd för modeller i formaten Caffe, Caffe2 och TensorFlow3
- API:er för att kontrollera laddning, exekvering och schemaläggning på körtiderna
- Desktopverktyg för modellkonvertering
- Prestandariktmärke för identifiering av flaskhalsar
- Exempelkod och handledning
- HTML-dokumentation
Snapdragon NPE är kompatibel med Snapdragon 600- och 800-seriens mobila plattformar. Enligt min uppskattning kommer det att finnas minst 200 miljoner aktiva mobila enheter som kör Snapdragon 600- och 800-seriens processorer. Förhoppningsvis kommer utvecklare att dra nytta av denna NPE-plattform för att skapa fantastiska AR-upplevelser på mobila enheter. Du kan ladda ner SDK här..
På en relaterad notering meddelade Microsoft tidigare i veckan att nästa version av HoloLens kommer att innehålla den andra versionen av HPU:n som kommer att inkludera en AI-samprocessor för att integrerat och flexibelt implementera Deep Neural Networks. Läs mer om det här..
