Silnik przetwarzania neuronowego Snapdragon firmy Qualcomm umożliwi lepsze doświadczenia AR
3 minuta. czytać
Opublikowany
Udostępnij ten artykuł
Ulepsz ten przewodnik
Przeczytaj naszą stronę z informacjami, aby dowiedzieć się, jak możesz pomóc MSPoweruser w utrzymaniu zespołu redakcyjnego Czytaj więcej
Apple ARKit będzie największą platformą AR na świecie, kiedy zostanie uruchomiona jeszcze w tym roku. Setki milionów urządzeń iPhone i iPad będzie kompatybilnych z ARKit, dzięki potężnemu procesorowi i GPU, które są już dostępne na tych urządzeniach. Aby umożliwić bardzo dokładne wykrywanie scen i śledzenie obiektów, należy uruchomić na urządzeniu algorytmy oparte na sieci neuronowej. Algorytmy te nie mogą być uruchamiane całkowicie na procesorze, tak jak każdy inny algorytm, ponieważ wymagają więcej mocy i zużywają więcej baterii. Ponieważ Apple dokładnie zna sprzęt wewnątrz tych urządzeń, zoptymalizowali ARKit, aby działał dobrze na urządzeniach z systemem iOS w energooszczędny sposób.
Z drugiej strony Google nie może zrobić tego samego, ponieważ ich ekosystem Androida opiera się na szerokiej gamie modeli procesorów i GPU od różnych dostawców, takich jak Qualcomm, Samsung, MediaTek itp., A ich możliwości znacznie się różnią. Qualcomm, najpopularniejszy producent procesorów mobilnych, próbuje rozwiązać ten problem za pomocą zestawu SDK Neural Processing Engine (NPE). Snapdragon NPE to platforma oprogramowania do głębokiego uczenia się zaprojektowana dla platform mobilnych Snapdragon. Pomaga programistom uruchomić jeden lub więcej modeli sieci neuronowych wyszkolonych w Caffe/Caffe2 lub TensorFlow na platformach mobilnych Snapdragon, niezależnie od tego, czy jest to CPU, GPU czy DSP. Obsługuje zarówno splotowe sieci neuronowe, jak i warstwy niestandardowe.
- Snapdragon NPE został zaprojektowany, aby pomóc programistom zaoszczędzić czas i wysiłek w optymalizacji wydajności wytrenowanych sieci neuronowych na urządzeniach z Snapdragon.
- Czyni to, zapewniając narzędzia do konwersji i wykonywania modeli, a także interfejsy API do kierowania rdzenia z profilem mocy i wydajności, aby dopasować się do pożądanego doświadczenia użytkownika.
- Deweloperzy mogą skorzystać z doświadczeń użytkowników głębokiego uczenia, takich jak przenoszenie stylów i filtry (rzeczywistość rozszerzona), wykrywanie scen, rozpoznawanie twarzy, rozumienie języka naturalnego, śledzenie i unikanie obiektów, gestykulowanie i rozpoznawanie tekstu.
Facebook na przykład planuje zintegrować Snapdragon NPE z kamerą aplikacji Facebook, aby przyspieszyć funkcje AR oparte na Caffe2. W rezultacie mogą osiągnąć 5-krotnie lepszą wydajność procesora graficznego Adreno w porównaniu z ogólną implementacją procesora, co zapewnia płynniejsze, płynniejsze i bardziej realistyczne zastosowanie funkcji AR podczas przechwytywania zdjęć i filmów na żywo.
Snapdragon NPE SDK zawiera następujące elementy:
- Środowiska wykonawcze Android i Linux do wykonywania modeli sieci neuronowych
- Obsługa akceleracji dla procesorów Qualcomm Hexagon DSP, procesorów graficznych Qualcomm Adreno i Qualcomm Kryo, procesorów
- Obsługa modeli w formatach Caffe, Caffe2 i TensorFlow3
- API do kontrolowania ładowania, wykonywania i planowania w środowiskach wykonawczych
- Narzędzia komputerowe do konwersji modeli
- Test wydajności do identyfikacji wąskich gardeł
- Przykładowy kod i samouczki
- Dokumentacja HTML
Snapdragon NPE jest kompatybilny z platformami mobilnymi Snapdragon 600 i 800 Series. Według moich szacunków będzie co najmniej 200 milionów aktywnych urządzeń mobilnych z procesorami Snapdragon z serii 600 i 800. Mamy nadzieję, że programiści wykorzystają tę platformę NPE do tworzenia wspaniałych doświadczeń AR na urządzeniach mobilnych. Możesz pobrać pakiet SDK tutaj.
W podobnej notatce Microsoft na początku tego tygodnia ogłosił, że następna wersja HoloLens będzie zawierać drugą wersję HPU, która będzie zawierać koprocesor AI do natywnej i elastycznej implementacji głębokich sieci neuronowych. Przeczytaj więcej na ten temat tutaj.
