Le moteur de traitement neuronal Snapdragon de Qualcomm permettra de meilleures expériences de réalité augmentée

Apple ARKit sera la plus grande plate-forme AR au monde lors de son lancement plus tard cette année. Des centaines de millions d'appareils iPhone et iPad seront compatibles avec ARKit, grâce aux puissants CPU et GPU déjà disponibles sur ces appareils. Pour permettre une détection de scène et un suivi d'objet très précis, vous devez exécuter des algorithmes pilotés par un réseau neuronal sur l'appareil. Ces algorithmes ne peuvent pas être exécutés entièrement sur le processeur comme n'importe quel autre algorithme car ils nécessitent plus de puissance et consomment plus de batterie. Étant donné qu'Apple connaît exactement le matériel à l'intérieur de ces appareils, ils ont optimisé l'ARKit pour qu'il fonctionne bien sur les appareils iOS de manière économe en énergie.

Google, d'autre part, ne peut pas faire de même puisque son écosystème Android est construit sur une grande variété de modèles de CPU et de GPU de différents fournisseurs comme Qualcomm, Samsung, MediaTek, etc., et leurs capacités varient considérablement. Qualcomm, le fabricant de processeurs mobiles le plus populaire, tente de résoudre ce problème à l'aide du SDK Neural Processing Engine (NPE). Le Snapdragon NPE est un cadre logiciel d'apprentissage en profondeur conçu pour les plates-formes mobiles Snapdragon. Il aide les développeurs à exécuter un ou plusieurs modèles de réseaux neuronaux formés dans Caffe/Caffe2 ou TensorFlow sur les plates-formes mobiles Snapdragon, qu'il s'agisse du CPU, du GPU ou du DSP. Il prend en charge à la fois les réseaux de neurones convolutionnels et les couches personnalisées.

• Le Snapdragon NPE est conçu pour aider les développeurs à économiser du temps et des efforts en optimisant les performances des réseaux de neurones formés sur les appareils avec Snapdragon.
• Pour ce faire, il fournit des outils de conversion et d'exécution de modèles ainsi que des API pour cibler le noyau avec le profil de puissance et de performances correspondant à l'expérience utilisateur souhaitée.
• Les développeurs peuvent profiter d'expériences utilisateur d'apprentissage en profondeur telles que les transferts de style et les filtres (réalité augmentée), la détection de scènes, la reconnaissance faciale, la compréhension du langage naturel, le suivi et l'évitement d'objets, les gestes et la reconnaissance de texte pour n'en nommer que quelques-uns.

Facebook, par exemple, prévoit d'intégrer le Snapdragon NPE dans la caméra de l'application Facebook pour accélérer les fonctionnalités AR alimentées par Caffe2. En conséquence, ils peuvent atteindre des performances 5 fois supérieures sur le GPU Adreno, par rapport à une implémentation CPU générique, ce qui se traduit par une application plus fluide, transparente et réaliste des fonctionnalités AR lors de la capture de photos et de vidéos en direct.

Le SDK Snapdragon NPE comprend les éléments suivants :

• Runtimes Android et Linux pour l'exécution du modèle de réseau neuronal
• Prise en charge de l'accélération pour les DSP Qualcomm Hexagon, les GPU Qualcomm Adreno et Qualcomm Kryo, les processeurs
• Prise en charge des modèles aux formats Caffe, Caffe2 et TensorFlow³
• API pour contrôler le chargement, l'exécution et la planification sur les runtimes
• Outils de bureau pour la conversion de modèles
• Référence de performance pour l'identification des goulots d'étranglement
• Exemple de code et tutoriels
• Documentation HTML

Le Snapdragon NPE est compatible avec les plates-formes mobiles des séries Snapdragon 600 et 800. Selon mon estimation, il y aura au moins 200 millions d'appareils mobiles actifs exécutant des processeurs Snapdragon séries 600 et 800. Espérons que les développeurs profiteront de cette plate-forme NPE pour créer de superbes expériences AR sur les appareils mobiles. Vous pouvez télécharger le SDK ici.

Sur une note connexe, Microsoft a annoncé plus tôt cette semaine que la prochaine version de HoloLens comportera la deuxième version du HPU qui comprendra un coprocesseur d'IA pour implémenter de manière native et flexible les réseaux de neurones profonds. En savoir plus ici.