Neural Processing Engine Snapdragon společnosti Qualcomm umožní lepší zážitky v AR
3 min. číst
Publikované dne
Sdílejte tento článek
Vylepšete tuto příručku
Přečtěte si naši informační stránku a zjistěte, jak můžete pomoci MSPoweruser udržet redakční tým Dozvědět se více
Apple ARKit se stane největší platformou AR na světě, až bude koncem tohoto roku spuštěn. Stovky milionů zařízení iPhone a iPad budou kompatibilní s ARKit díky výkonnému CPU a GPU, které jsou již na těchto zařízeních k dispozici. Chcete-li umožnit vysoce přesnou detekci scén a sledování objektů, musíte na zařízení spustit algoritmy řízené neuronovou sítí. Tyto algoritmy nelze spustit zcela na CPU stejně jako jakýkoli jiný algoritmus, protože vyžadují více energie a spotřebovávají více baterie. Vzhledem k tomu, že Apple přesně zná hardware uvnitř těchto zařízení, optimalizovali ARKit tak, aby dobře fungoval na zařízeních iOS energeticky úsporným způsobem.
Google na druhé straně nemůže udělat totéž, protože jejich ekosystém Android je postaven na široké škále modelů CPU a GPU od různých dodavatelů, jako je Qualcomm, Samsung, MediaTek atd., a jejich možnosti se dramaticky liší. Qualcomm, nejpopulárnější výrobce mobilních procesorů, se snaží tento problém vyřešit pomocí sady Neural Processing Engine (NPE) SDK. Snapdragon NPE je softwarový rámec pro hluboké učení navržený pro mobilní platformy Snapdragon. Pomáhá vývojářům provozovat jeden nebo více modelů neuronové sítě vyškolených v Caffe/Caffe2 nebo TensorFlow na mobilních platformách Snapdragon, ať už jde o CPU, GPU nebo DSP. Podporuje jak konvoluční neuronové sítě, tak vlastní vrstvy.
- Snapdragon NPE je navržen tak, aby pomohl vývojářům ušetřit čas a úsilí při optimalizaci výkonu trénovaných neuronových sítí na zařízeních se Snapdragonem.
- Dosahuje toho tím, že poskytuje nástroje pro konverzi a provádění modelu a také rozhraní API pro zacílení na jádro pomocí profilu výkonu a výkonu tak, aby odpovídal požadované uživatelské zkušenosti.
- Vývojáři mohou využít hloubkové uživatelské zkušenosti, jako jsou přenosy stylů a filtry (rozšířená realita), detekce scén, rozpoznávání obličeje, porozumění přirozenému jazyku, sledování objektů a vyhýbání se jim, gestikulace a rozpoznávání textu, abychom jmenovali alespoň některé.
Facebook například plánuje integrovat Snapdragon NPE do fotoaparátu aplikace Facebook, aby urychlil funkce AR založené na Caffe2. V důsledku toho mohou dosáhnout 5x lepšího výkonu na GPU Adreno ve srovnání s generickou implementací CPU, což vede k plynulejšímu, bezproblémovějšímu a realističtějšímu použití funkcí AR při pořizování fotografií a živých videí.
Snapdragon NPE SDK obsahuje následující:
- Runtime Android a Linux pro spouštění modelu neuronové sítě
- Podpora akcelerace pro Qualcomm Hexagon DSP, Qualcomm Adreno GPU a Qualcomm Kryo, CPU
- Podpora modelů ve formátech Caffe, Caffe2 a TensorFlow3
- API pro řízení načítání, provádění a plánování v běhových prostředích
- Desktopové nástroje pro konverzi modelů
- Výkonnostní měřítko pro identifikaci úzkých míst
- Ukázkový kód a návody
- Dokumentace HTML
Snapdragon NPE je kompatibilní s mobilními platformami řady Snapdragon 600 a 800. Podle mého odhadu bude aktivních minimálně 200 milionů mobilních zařízení s procesory řady Snapdragon 600 a 800. Doufejme, že vývojáři využijí této platformy NPE k vytvoření skvělých zážitků AR na mobilních zařízeních. Můžete si stáhnout SDK zde.
V souvislosti s tím Microsoft začátkem tohoto týdne oznámil, že příští verze HoloLens bude obsahovat druhou verzi HPU, která bude obsahovat koprocesor AI pro nativní a flexibilní implementaci Deep Neural Networks. Přečtěte si o tom více zde.
