מנוע העיבוד העצבי Snapdragon של קוואלקום יאפשר חוויות AR טובות יותר

Apple ARKit הולכת להיות פלטפורמת ה-AR הגדולה בעולם כאשר היא תושק מאוחר יותר השנה. מאות מיליוני מכשירי אייפון ואייפד יהיו תואמים ל-ARKit, הודות למעבד וה-GPU החזקים שכבר זמינים במכשירים אלו. כדי לאפשר זיהוי סצנה ומעקב אחר אובייקטים מדויקים ביותר, עליך להפעיל אלגוריתמים מונעי רשת עצבית במכשיר. לא ניתן להפעיל את האלגוריתמים הללו במלואם על מעבד ממש כמו כל אלגוריתם אחר מכיוון שהם דורשים יותר חשמל וצורכים יותר סוללה. מכיוון שאפל מכירה בדיוק את החומרה בתוך המכשירים הללו, הם עשו אופטימיזציה של ה-ARKit כך שיפעל היטב במכשירי iOS בצורה חסכונית בחשמל.

גוגל לעומת זאת לא יכולה לעשות את אותו הדבר מכיוון שהמערכת האקולוגית של אנדרואיד שלהם בנויה על מגוון רחב של דגמי CPU ו-GPU של ספקים שונים כמו קוואלקום, סמסונג, MediaTek וכו', והיכולות שלהם משתנות באופן דרמטי. קוואלקום, יצרנית המעבדים הניידים הפופולרית ביותר, מנסה לפתור בעיה זו באמצעות SDK של מנוע עיבוד עצבי (NPE). ה-Snapdragon NPE היא מסגרת תוכנת למידה עמוקה המיועדת לפלטפורמות Snapdragon Mobile. זה עוזר למפתחים להפעיל מודל רשת עצבית אחד או יותר מאומנים ב-Caffe/Caffe2 או TensorFlow בפלטפורמות ניידות של Snapdragon, בין אם זה ה-CPU, GPU או DSP. הוא תומך הן ברשתות עצביות קונבולוציוניות והן בשכבות מותאמות אישית.

• ה-Snapdragon NPE תוכנן כדי לעזור למפתחים לחסוך זמן ומאמץ באופטימיזציה של הביצועים של רשתות עצביות מאומנות במכשירים עם Snapdragon.
• הוא עושה זאת על ידי מתן כלים להמרה וביצוע של מודלים וכן ממשקי API למיקוד הליבה עם פרופיל הכוח והביצועים כדי להתאים לחוויית המשתמש הרצויה.
• מפתחים יכולים לנצל את היתרונות של חוויות משתמש בלמידה עמוקה כמו העברות סגנונות ופילטרים (מציאות מוגברת), זיהוי סצנות, זיהוי פנים, הבנת שפה טבעית, מעקב והימנעות מאובייקטים, מחוות וזיהוי טקסט.

פייסבוק, למשל, מתכננת לשלב את ה-Snapdragon NPE במצלמה של אפליקציית פייסבוק כדי להאיץ את תכונות ה-AR המופעלות על ידי Caffe2. כתוצאה מכך, הם יכולים להשיג ביצועים טובים יותר פי 5 ב-Adreno GPU, בהשוואה למימוש CPU גנרי וכתוצאה מכך יישום זורם יותר, חלק ומציאותי יותר של תכונות AR בעת צילום תמונות וסרטונים חיים.

Snapdragon NPE SDK כולל את הדברים הבאים:

• זמני ריצה של אנדרואיד ולינוקס לביצוע מודלים של רשתות עצביות
• תמיכת האצה עבור Qualcomm Hexagon DSPs, Qualcomm Adreno GPUs ו-Qualcomm Kryo, CPUs
• תמיכה בדגמים בפורמטים Caffe, Caffe2 ו- TensorFlow³
• ממשקי API לשליטה בטעינה, ביצוע ותזמון בזמני הריצה
• כלים שולחניים להמרת מודלים
• אמת מידה לביצועים לזיהוי צוואר בקבוק
• קוד לדוגמא ומדריכים
• תיעוד HTML

ה-Snapdragon NPE תואם לפלטפורמות ניידות מסדרות Snapdragon 600 ו-800. לפי הערכתי, יהיו לפחות 200 מיליון מכשירים ניידים פעילים המריצים מעבדי Snapdragon 600 ו-800. בתקווה, מפתחים ינצלו את פלטפורמת NPE זו כדי ליצור חוויות AR נהדרות במכשירים ניידים. אתה יכול להוריד את ה-SDK כאן.

בנימה קשורה, מיקרוסופט הודיעה מוקדם יותר השבוע כי הגרסה הבאה של HoloLens תכלול את הגרסה השנייה של ה-HPU שתכלול מעבד AI ליישום טבעי וגמיש של Deep Neural Networks. קרא עוד על זה כאן.