Neural Processing Engine Snapdragon od Qualcommu umožní lepšie zážitky z AR

Apple ARKit bude po spustení koncom tohto roka najväčšou platformou AR na svete. Stovky miliónov zariadení iPhone a iPad budú kompatibilné s ARKit vďaka výkonnému CPU a GPU, ktoré sú už na týchto zariadeniach k dispozícii. Ak chcete umožniť vysoko presnú detekciu scény a sledovanie objektov, musíte na zariadení spustiť algoritmy riadené neurónovou sieťou. Tieto algoritmy nie je možné spustiť úplne na CPU, rovnako ako akýkoľvek iný algoritmus, pretože vyžadujú viac energie a spotrebujú viac batérie. Keďže Apple presne pozná hardvér vo vnútri týchto zariadení, optimalizovali ARKit tak, aby dobre fungoval na zariadeniach iOS energeticky efektívnym spôsobom.

Google na druhej strane nemôže urobiť to isté, pretože ich ekosystém Android je postavený na širokej škále modelov CPU a GPU od rôznych predajcov, ako sú Qualcomm, Samsung, MediaTek atď., A ich možnosti sa dramaticky líšia. Qualcomm, najpopulárnejší výrobca mobilných procesorov, sa snaží vyriešiť tento problém pomocou súpravy Neural Processing Engine (NPE) SDK. Snapdragon NPE je softvérový rámec pre hlboké vzdelávanie navrhnutý pre mobilné platformy Snapdragon. Pomáha vývojárom spustiť jeden alebo viac modelov neurónových sietí vyškolených v Caffe/Caffe2 alebo TensorFlow na mobilných platformách Snapdragon, či už ide o CPU, GPU alebo DSP. Podporuje konvolučné neurónové siete aj vlastné vrstvy.

• Snapdragon NPE je navrhnutý tak, aby pomohol vývojárom ušetriť čas a námahu pri optimalizácii výkonu trénovaných neurónových sietí na zariadeniach so Snapdragonom.
• Robí to tak, že poskytuje nástroje na konverziu a vykonávanie modelov, ako aj rozhrania API na zacielenie na jadro s profilom výkonu a výkonu tak, aby zodpovedal požadovanej používateľskej skúsenosti.
• Vývojári môžu využívať výhody hĺbkového učenia sa používateľov, ako sú prenosy štýlov a filtre (rozšírená realita), detekcia scén, rozpoznávanie tváre, porozumenie prirodzenému jazyku, sledovanie objektov a vyhýbanie sa im, gestikulácia a rozpoznávanie textu.

Facebook napríklad plánuje integrovať Snapdragon NPE do fotoaparátu aplikácie Facebook, aby urýchlil funkcie AR s podporou Caffe2. V dôsledku toho môžu dosiahnuť 5x lepší výkon na GPU Adreno v porovnaní so všeobecnou implementáciou CPU, čo vedie k plynulejšej, bezproblémovej a realistickejšej aplikácii funkcií AR pri zachytávaní fotografií a živých videí.

Snapdragon NPE SDK obsahuje nasledovné:

• Runtime Android a Linux na spustenie modelu neurónovej siete
• Podpora zrýchlenia pre Qualcomm Hexagon DSP, Qualcomm Adreno GPU a Qualcomm Kryo, CPU
• Podpora modelov vo formátoch Caffe, Caffe2 a TensorFlow³
• API na riadenie načítania, vykonávania a plánovania na runtime
• Desktopové nástroje na konverziu modelov
• Výkonnostné kritérium pre identifikáciu úzkych miest
• Vzorový kód a návody
• HTML dokumentácia

Snapdragon NPE je kompatibilný s mobilnými platformami série Snapdragon 600 a 800. Podľa môjho odhadu bude mať minimálne 200 miliónov aktívnych mobilných zariadení s procesormi Snapdragon 600 a 800. Dúfajme, že vývojári využijú túto platformu NPE na vytvorenie skvelých zážitkov AR na mobilných zariadeniach. Môžete si stiahnuť SDK tu.

Spoločnosť Microsoft začiatkom tohto týždňa oznámila, že ďalšia verzia HoloLens bude obsahovať druhú verziu HPU, ktorá bude obsahovať koprocesor AI na natívnu a flexibilnú implementáciu Deep Neural Networks. Prečítajte si o tom viac tu.