موتور پردازش عصبی اسنپدراگون کوالکام تجربه‌های واقعیت افزوده بهتری را فراهم می‌کند

Apple ARKit قرار است بزرگترین پلتفرم AR در جهان باشد که اواخر امسال راه اندازی شود. صدها میلیون دستگاه آیفون و آیپد به لطف CPU و GPU قدرتمندی که در حال حاضر در این دستگاه ها موجود است، با ARKit سازگار خواهند بود. برای فعال کردن تشخیص صحنه بسیار دقیق و ردیابی اشیا، باید الگوریتم‌های مبتنی بر شبکه عصبی روی دستگاه را اجرا کنید. این الگوریتم‌ها را نمی‌توان مانند هر الگوریتم دیگری به طور کامل بر روی CPU اجرا کرد زیرا به انرژی بیشتری نیاز دارند و باتری بیشتری مصرف می‌کنند. از آنجایی که اپل دقیقاً سخت‌افزار درون این دستگاه‌ها را می‌شناسد، ARKit را بهینه‌سازی کرده است تا به‌خوبی بر روی دستگاه‌های iOS به روشی کارآمد در مصرف انرژی اجرا شود.

از سوی دیگر، گوگل نمی‌تواند همین کار را انجام دهد زیرا اکوسیستم اندروید آن‌ها بر روی انواع مدل‌های CPU و GPU از فروشندگان مختلف مانند Qualcomm، Samsung، MediaTek و غیره ساخته شده است و قابلیت‌های آن‌ها به‌طور چشمگیری متفاوت است. Qualcomm، محبوب‌ترین سازنده پردازنده‌های تلفن همراه، در تلاش است تا با استفاده از موتور پردازش عصبی (NPE) SDK این مشکل را حل کند. Snapdragon NPE یک چارچوب نرم افزار یادگیری عمیق است که برای پلتفرم های موبایل اسنپدراگون طراحی شده است. این به توسعه دهندگان کمک می کند تا یک یا چند مدل شبکه عصبی آموزش دیده در Caffe/Caffe2 یا TensorFlow را روی پلتفرم های موبایل Snapdragon اجرا کنند، خواه CPU، GPU یا DSP باشد. هم از شبکه های عصبی کانولوشنال و هم از لایه های سفارشی پشتیبانی می کند.

• Snapdragon NPE برای کمک به توسعه دهندگان در صرفه جویی در زمان و تلاش در بهینه سازی عملکرد شبکه های عصبی آموزش دیده در دستگاه های دارای Snapdragon مهندسی شده است.
• این کار را با ارائه ابزارهایی برای تبدیل و اجرای مدل و همچنین APIهایی برای هدف قرار دادن هسته با مشخصات قدرت و عملکرد برای مطابقت با تجربه کاربری مورد نظر انجام می دهد.
• توسعه‌دهندگان می‌توانند از تجربیات کاربر یادگیری عمیق مانند انتقال سبک و فیلترها (واقعیت افزوده)، تشخیص صحنه، تشخیص چهره، درک زبان طبیعی، ردیابی و اجتناب از اشیا، ژست‌ها، و تشخیص متن استفاده کنند.

به عنوان مثال، فیس بوک در حال برنامه ریزی برای ادغام Snapdragon NPE در دوربین برنامه فیس بوک برای سرعت بخشیدن به ویژگی های AR مبتنی بر Caffe2 است. در نتیجه، آن‌ها می‌توانند 5 برابر عملکرد بهتری در پردازنده گرافیکی Adreno در مقایسه با اجرای CPU عمومی داشته باشند که منجر به کاربرد روان‌تر، یکپارچه‌تر و واقعی‌تر از ویژگی‌های AR هنگام ثبت عکس‌ها و ویدیوهای زنده می‌شود.

Snapdragon NPE SDK شامل موارد زیر است:

• زمان اجرا اندروید و لینوکس برای اجرای مدل شبکه عصبی
• پشتیبانی از شتاب برای Qualcomm Hexagon DSP، Qualcomm Adreno GPU و Qualcomm Kryo، CPU
• پشتیبانی از مدل ها در قالب های Caffe، Caffe2 و TensorFlow³
• API برای کنترل بارگذاری، اجرا و زمان‌بندی در زمان‌های اجرا
• ابزار دسکتاپ برای تبدیل مدل
• معیار عملکرد برای شناسایی گلوگاه
• نمونه کد و آموزش
• مستندات HTML

اسنپدراگون NPE با پلتفرم های موبایل سری اسنپدراگون 600 و سری 800 سازگار است. طبق برآورد من، حداقل 200 میلیون دستگاه تلفن همراه فعال با پردازنده های سری 600 و 800 اسنپدراگون وجود خواهد داشت. امیدواریم توسعه دهندگان از این پلتفرم NPE برای ایجاد تجربیات AR عالی در دستگاه های تلفن همراه استفاده کنند. می توانید SDK را دانلود کنید اینجا کلیک نمایید.

در یادداشتی مرتبط، مایکروسافت در اوایل این هفته اعلام کرد که نسخه بعدی هولولنز دارای نسخه دوم HPU است که شامل یک پردازشگر هوش مصنوعی برای پیاده سازی بومی و انعطاف پذیر شبکه های عصبی عمیق است. در مورد آن بیشتر بخوانید اینجا کلیک نمایید.