Το Snapdragon Neural Processing Engine της Qualcomm θα επιτρέψει καλύτερες εμπειρίες AR

Το Apple ARKit θα είναι η μεγαλύτερη πλατφόρμα AR στον κόσμο όταν κυκλοφορήσει αργότερα φέτος. Εκατοντάδες εκατομμύρια συσκευές iPhone και iPad θα είναι συμβατές με το ARKit, χάρη στην ισχυρή CPU και GPU που είναι ήδη διαθέσιμα σε αυτές τις συσκευές. Για να ενεργοποιήσετε την ανίχνευση σκηνής με υψηλή ακρίβεια και την παρακολούθηση αντικειμένων, πρέπει να εκτελέσετε αλγόριθμους που βασίζονται σε νευρωνικά δίκτυα στη συσκευή. Αυτοί οι αλγόριθμοι δεν μπορούν να εκτελεστούν εξ ολοκλήρου σε CPU όπως οποιοσδήποτε άλλος αλγόριθμος, καθώς απαιτούν περισσότερη ισχύ και καταναλώνουν περισσότερη μπαταρία. Εφόσον η Apple γνωρίζει ακριβώς το υλικό μέσα σε αυτές τις συσκευές, έχει βελτιστοποιήσει το ARKit ώστε να λειτουργεί καλά στις συσκευές iOS με αποδοτικό τρόπο ενέργειας.

Η Google από την άλλη δεν μπορεί να κάνει το ίδιο, καθώς το οικοσύστημά της Android είναι χτισμένο σε μεγάλη ποικιλία μοντέλων CPU και GPU από διαφορετικούς προμηθευτές όπως Qualcomm, Samsung, MediaTek κ.λπ., και οι δυνατότητές τους ποικίλλουν δραματικά. Η Qualcomm, ο πιο δημοφιλής κατασκευαστής επεξεργαστών για κινητά, προσπαθεί να λύσει αυτό το πρόβλημα χρησιμοποιώντας το SDK Μηχανής Επεξεργασίας Νευρωνικού (NPE). Το Snapdragon NPE είναι ένα πλαίσιο λογισμικού βαθιάς εκμάθησης που έχει σχεδιαστεί για Snapdragon Mobile Platforms. Βοηθά τους προγραμματιστές να εκτελέσουν ένα ή περισσότερα μοντέλα νευρωνικών δικτύων που έχουν εκπαιδευτεί στο Caffe/Caffe2 ή στο TensorFlow σε κινητές πλατφόρμες Snapdragon, είτε πρόκειται για CPU, GPU ή DSP. Υποστηρίζει τόσο συνελικτικά νευρωνικά δίκτυα όσο και προσαρμοσμένα επίπεδα.

• Το Snapdragon NPE έχει σχεδιαστεί για να βοηθά τους προγραμματιστές να εξοικονομούν χρόνο και προσπάθεια για τη βελτιστοποίηση της απόδοσης εκπαιδευμένων νευρωνικών δικτύων σε συσκευές με Snapdragon.
• Αυτό το επιτυγχάνει παρέχοντας εργαλεία για τη μετατροπή και την εκτέλεση μοντέλων, καθώς και API για τη στόχευση του πυρήνα με το προφίλ ισχύος και απόδοσης ώστε να ταιριάζει με την επιθυμητή εμπειρία χρήστη.
• Οι προγραμματιστές μπορούν να επωφεληθούν από εμπειρίες χρήστη βαθιάς εκμάθησης, όπως μεταφορές στυλ και φίλτρα (επαυξημένη πραγματικότητα), ανίχνευση σκηνής, αναγνώριση προσώπου, κατανόηση φυσικής γλώσσας, παρακολούθηση και αποφυγή αντικειμένων, χειρονομίες και αναγνώριση κειμένου για να αναφέρουμε μερικά.

Το Facebook για παράδειγμα σχεδιάζει να ενσωματώσει το Snapdragon NPE στην κάμερα της εφαρμογής Facebook για να επιταχύνει τις λειτουργίες AR που τροφοδοτούνται από το Caffe2. Ως αποτέλεσμα, μπορούν να επιτύχουν 5 φορές καλύτερη απόδοση στη GPU Adreno, σε σύγκριση με μια γενική υλοποίηση CPU, με αποτέλεσμα μια πιο ρευστή, απρόσκοπτη και ρεαλιστική εφαρμογή των λειτουργιών AR κατά τη λήψη φωτογραφιών και ζωντανών βίντεο.

Το Snapdragon NPE SDK περιλαμβάνει τα εξής:

• Χρόνοι εκτέλεσης Android και Linux για εκτέλεση μοντέλου νευρωνικών δικτύων
• Υποστήριξη επιτάχυνσης για Qualcomm Hexagon DSP, Qualcomm Adreno GPU και Qualcomm Kryo, CPU
• Υποστήριξη για μοντέλα σε μορφές Caffe, Caffe2 και TensorFlow³
• API για τον έλεγχο της φόρτωσης, της εκτέλεσης και του προγραμματισμού στους χρόνους εκτέλεσης
• Εργαλεία επιτραπέζιου υπολογιστή για μετατροπή μοντέλων
• Σημείο αναφοράς απόδοσης για τον εντοπισμό σημείων συμφόρησης
• Δείγμα κώδικα και σεμινάρια
• Τεκμηρίωση HTML

Το Snapdragon NPE είναι συμβατό με πλατφόρμες φορητών συσκευών Snapdragon 600 και 800 Series. Σύμφωνα με την εκτίμησή μου, θα υπάρχουν τουλάχιστον 200 εκατομμύρια ενεργές κινητές συσκευές με επεξεργαστές Snapdragon 600 και 800 series. Ας ελπίσουμε ότι οι προγραμματιστές θα επωφεληθούν από αυτήν την πλατφόρμα NPE για να δημιουργήσουν εξαιρετικές εμπειρίες AR σε κινητές συσκευές. Μπορείτε να κάνετε λήψη του SDK εδώ.

Σε σχετική σημείωση, η Microsoft νωρίτερα αυτή την εβδομάδα ανακοίνωσε ότι η επόμενη έκδοση του HoloLens θα διαθέτει τη δεύτερη έκδοση του HPU που θα περιλαμβάνει έναν συνεπεξεργαστή AI για την εγγενή και ευέλικτη εφαρμογή των Deep Neural Networks. Διαβάστε περισσότερα για αυτό εδώ.