חוקרי מיקרוסופט עובדים על מערכות למעקב מדויק אחר תנועת היד

מעקב אחר תנועה אינו דבר חדש עבור Microsoft, ראינו את המומחיות שלהם במוצרים מסחריים כמו Microsoft Kinect. צוות הראייה הממוחשבת של Microsoft Research עובד כעת על ההתקדמות העדכנית ביותר במעקב אחר ידיים מפורט. הם יצרו מערכת שיכולה לעקוב אחר ידיים בצורה חלקה, מהירה ומדויקת - בזמן אמת - אבל יכולה לפעול על גאדג'ט צרכני רגיל. ניתן להשתמש במערכת זו עם יישומי מציאות מדומה.

המערכת, עדיין פרויקט מחקר לעת עתה, יכולה לעקוב אחר תנועת ידיים מפורטת עם אוזניות מציאות מדומה או בלעדיה, מה שמאפשר למשתמש לתקוע ארנב רך ומפוחלץ, לסובב כפתור או להזיז חוגה.

יתרה מכך, המערכת מאפשרת לך לראות מה הידיים שלך עושות, ומתקן ניתוק נפוץ ומבלבל שקורה כאשר אנשים מקיימים אינטראקציה עם מציאות מדומה אך אינם יכולים לראות את הידיים שלהם.

HoloLens כבר כולל תמיכה במחוות המאפשר למשתמשים ליצור אינטראקציה עם הולוגרמות. יש לקוות שהפרויקט החדש הזה מ- MSR ישפר עוד יותר את חווית קלט המחוות ב-HoloLens.

תקציר הפרויקט:

מעקב ידיים בעל ביטוי מלא מבטיח לאפשר אינטראקציות חדשות ביסודו עם עולמות וירטואליים ומוגדלים, אך הדיוק והיעילות המוגבלים של המערכות הנוכחיות מנעו אימוץ נרחב. הפרדיגמה השלטת של היום משתמשת בלמידת מכונה לאתחול והתאוששות ואחריה אופטימיזציה איטרטיבית של מודלים כדי להשיג תנוחה מפורטת. אנו פועלים לפי פרדיגמה זו, אך מבצעים מספר שינויים במודל-?tting, כלומר באמצעות: (1) פונקציה אובייקטיבית מפלה יותר; (2) מודל משטח חלק המספק שיפועים לאופטימיזציה לא ליניארית; ו (3) אופטימיזציה משותפת הן על תנוחת המודל והן על ההתאמות בין נקודות הנתונים שנצפו לבין פני הדגם. בעוד שכל אחד מהשינויים הללו עשוי להגדיל את העלות לכל איטרציה, אנו מוצאים ירידה מפצה במספר האיטרציות. יתר על כן, אגן ההתכנסות הרחב אומר שדרושות פחות נקודות התחלה ליצירת מודל מוצלח. המערכת שלנו פועלת בזמן אמת על מעבד בלבד, מה שמשחרר את ה-GPU שעמוס מדי עבור מעצבי ניסיון. הגשש הידיים יעיל מספיק כדי לפעול במכשירים בעלי הספק נמוך כגון טאבלטים. אנחנו יכולים לעקוב עד כמה מטרים מהמצלמה כדי לספק נפח עבודה גדול לאינטראקציה, אפילו באמצעות הנתונים הרועשים ממצלמות עומק מהדור הנוכחי. הערכות כמותיות על מערכי נתונים סטנדרטיים מראות שהגישה החדשה עולה על רמת הדיוק של הטכנולוגיה. תוצאות איכותיות לובשות צורה של הקלטות חיות של מגוון חוויות אינטראקטיביות המאפשרות גישה חדשה זו.

קרא עוד על כך פרויקט כאן.