מבט על אתגרים ביצירת הדור הבא של Kinect ל-Xbox One

אני חושב שפלייסטיישן הולכת להתחרט ברצינות על כך שלא חיברו את הגרסה שלהם ל-Kinect עם ה-PS4. אולי הם ידעו שזה לא יהיה טוב כמו Kinect 2.0 בכל מקרה.

Cyrus Bamji, אדריכל חומרה שותף של מיקרוסופט עבור קבוצת הארכיטקטורה וניהול הסיליקון המבוססת על עמק הסיליקון של מיקרוסופט, וחברי הצוות שלו ניסו לשלב מצלמת זמן טיסה ב-Xbox One. 

מצלמת זמן טיסה פולטת אותות אור ואז מודדת כמה זמן לוקח להם לחזור. זה צריך להיות מדויק עד 1/10,000,000,000 של שניה; מהירות האור. בעזרת מדידות כאלה, המצלמה מסוגלת להבדיל בין אור המוחזר מחפצים בחדר ובסביבה הסובבת. זה מספק הערכת עומק מדויקת המאפשרת לחשב את הצורה של אותם אובייקטים.

יכולת מהירות האור הזו תהיה התקדמות גדולה עבור חלק חיישני ה-Kinect של ה-Xbox One, שישוחרר ל-13 שווקי השקה בחודש הבא. ה-Kinect החדש, המבדיל העיקרי ל-Xbox One מול המתחרים שלו, היה צריך ללכוד שדה ראייה גדול יותר עם דיוק רב יותר וברזולוציה גבוהה יותר. חיישן אינפרא אדום יאפשר זיהוי אובייקטים הדורשים מעט אור, וזיהוי משופר של תנוחות יד, ונותן לגיימרים ולמשתמשים מזדמנים יותר את היכולת לשלוט בקונסולה עם הידיים.

"כשאנחנו לוקחים טכנולוגיה חדשה יחסית, כמו זמן טיסה, ומכניסים אותה למוצר מסחרי, יש הרבה דברים שקורים", הוא אומר. "יש דברים שלא ידענו עד כמה הם חשובים עד שהמוצר נוצר. לדוגמה, אנו יודעים באופן תיאורטי שטשטוש תנועה בזמן טיסה הוא בעיה גדולה, אבל עד כמה חשוב ניתן לגלות רק כאשר אתה בונה איתו מוצר והמוצר הזה צריך לספק חוויה מעולה".

מדידת עומק מדויקת בסצנות מגוונות עם הרזולוציה הגבוהה של המצלמה החדשה ושדה הראייה הרחב יותר מציבות גם בעיות בחוויית המשתמש, מה שמקשה על מניעת דהיית אובייקטים קטנים, כמו אצבע, לרקע, למשל. בעוד שתכונות אלה סיפקו ביצועי מכשיר מגוונים יותר, הם גם יצרו בעיות משלהם בתרחישים אמיתיים, כגון הצורך במדידת עומק מדויקת בסצנות מגוונות ברזולוציה גבוהה. זה, כמו גם שיפור שדה הראייה הרחב יותר וטשטוש התנועה, דרש נתונים נקיים - במהירות. Xbox One היה צריך להיות מוכן לעונת החגים של 2013.

האופי האנלוגי של נתוני זמן הטיסה הציב אתגרים לאספקת פתרון כזה.

"נתוני זמן הטיסה שיוצאים מהחיישן שלנו הם לפי פיקסל, לכל פריים, ויש הרבה יותר מידע אנלוגי", אומר אצ'ריה. "בעיה נוספת הייתה שאובייקטי החזית הקרובים לאובייקטי הרקע יימסו לתוך הרקע - שוב, בשל האופי האנלוגי של האופן שבו החיישן שלנו מספק את נתוני העומק עבור פיקסלים שנוחתים בקצוות."

"זה הביא מידע רב, וכדי להקל על חילוץ חזית/רקע ופילוח סצנות, שימוש על ידי מפתחי תוכנה ומשחקים, הדרישה הייתה לנקות את הנתונים הללו בו-זמנית על ידי הוספת אלגוריתמי תוכנה בצינור, אך ללא עלות להיט ביצועים. זה היה מכריע. התחלנו עם זרמי עבודה שונים ובסופו של דבר התמקמנו בביצוע אופטימיזציה לפרמטרים במערכת כדי להתגבר על הבעיה".

משתפי הפעולה רצו לספק הפרדה ברורה בין החזית לרקע גם אם האובייקטים קרובים זה לזה. גם זה התגלה כקשה. ואז היה טשטוש תנועה.

 "טשטוש תנועה", מסביר אצ'ריה, "הוא פרמטר שצריך למזער ואינו ספציפי לטכנולוגיה. מצלמת זמן הטיסה משתמשת בצמצם גלובלי, שעזר להפחית את טשטוש התנועה באופן משמעותי - מ-65 מילישניות ב-Kinect המקורי ועד פחות מ-14 מילישניות כעת".

אתגרים אחרים הציגו את עצמם. ראשית, זמן העיבוד הפך לבעיה. בספרות האקדמית על מערכות זמן טיסה, זמן העיבוד לא היה בעיה. בסביבת המעבדה, הטכנולוגיה עבדה מצוין. אבל Xbox One צריך לעבד עצום של 6.5 מיליון פיקסלים לשנייה. ורק חלק קטן מכוח המחשוב של Xbox One ניתן היה לרתום למשימה זו. חלקו של האריה שמור, באופן מובן, עבור דברים חיוניים כגון משחקים, מעקב שלד, זיהוי פנים ואודיו.

"צריך לעשות חישוב מאוד מאוד קל עבור כל פיקסל", אומר קרופקה, "וזה אחד הדברים שהפכו את הבעיה למאתגרת ושונה מהגישה האופיינית בספרות האקדמית בתחום הזה".

למרבה הפלא, הכל התאחד, וזה אומר שבעוד שחובבי בידור ברחבי העולם ימצאו את עצמם בקרוב מתמוגגים מחוויית ה-Xbox One, כך גם אלה שרוצים להתפתח עבור הפלטפורמה. הפחתת רעש הנתונים הקצה הופך את מפתח הנתונים מוכן, והיכולת לפלח בבירור בין החזית לרקע פותרת בעיה חישובית מורכבת. הנתונים נקיים, והם יכולים להיקלט בקלות רבה יותר על ידי מפתחי משחקים.

תכונה מרתקת נוספת של מכשיר החישה של Kinect ב-Xbox One נובעת מהחיישן האינפרא אדום שלו, שיכול לזהות עצמים בחדר חשוך לחלוטין. הוא יכול לזהות אנשים ולעקוב אחר גופות גם ללא כל אור הנראה לעין בלתי מזוינת. זה יכול לזהות תנוחת יד ממרחק של ארבעה מטרים, לראות אצבעות של ילד, ולזכור את הזהות שלך אפילו מינוס תאורת החדר.

שדה הראייה הרחב יותר מאפשר ליותר שחקנים לשחק במשחק Xbox One בו-זמנית. עם הקונסולה החדשה, עד שישה שחקנים יכולים להצטופף בסצנה אחת. מבוגר גבוה יכול לשחק עם ילד קטן מבלי שיידחקו מהתמונה. משתמשים מקבלים חוויה טובה יותר אם הם עומדים קרוב, רחוק יותר או בשולי החדר.

וזיהוי תנוחות היד המשופר מאפשר למשתמשים ליצור אינטראקציה עם ה-Xbox One רק על ידי שימוש בידיים שלהם - אין צורך בבקר. הודות למצלמת האינפרא אדום, ניתן לזהות פעילויות ידיים בכל תאורה או ללא תאורה כלל. פתרונות קודמים לתנוחה ידנית הצליחו לספק מהירות או דיוק, אך לא שניהם. פתרון התנוחה הידנית שהוקם במשותף על ידי צוות ה-Xbox ו-Microsoft Research יכול לעשות את שניהם.

מקור: הבלוג הרשמי של מיקרוסופט