Kinect חדש יכול לקרוא שפת סימנים אנושית בקלות

Microsoft Kinect יוצרת מהפכה לא קטנה בתחום ממשק המשתמש הטבעי. מצלמת העומק התלת מימדית בעלות נמוכה כמו Kinect פותחת אינסוף אפשרויות בעולם המחשוב שלנו. שפת הסימנים היא השפה העיקרית עבור אנשים חירשים וכבדי שמיעה רבים, אך כיום לא ניתן לאנשים אלה לקיים אינטראקציה עם מחשבים באמצעות שפת האם שלהם. Microsoft Research Asia פיתחה מערכת באמצעות Kinect שיכולה לזהות שפות סימנים המשמשות אנשים אלה והיא עובדת היטב.

הנה קצת מידע על הפרויקט,

Kinect, עם היכולת שלה לספק מידע עומק ונתוני צבע בו זמנית, מקלה על מעקב אחר פעולות היד והגוף בצורה מדויקת יותר - ומהירה יותר.

בפרויקט זה - שמוצג במהלך ה DemoFest חלק של פסגת הפקולטה 2013, שמביאה יותר מ-400 חוקרים אקדמיים אל המטה של ​​מיקרוסופט כדי לחלוק תובנות לגבי מחקר משפיע - מעקב הידיים מוביל לתהליך של יישור תנועה-מסלול תלת מימד והתאמה למילים בודדות בשפת הסימנים. המילים נוצרות באמצעות מעקב ידני על ידי Kinect עבור Windows תוכנה ולאחר מכן מנורמל, וציוני התאמה מחושבים כדי לזהות את המועמדים הרלוונטיים ביותר כאשר מנתחים מילה חתומה.

האלגוריתם להתאמת מסלול תלת מימד זה, בתורו, אפשר בניית מערכת לזיהוי ותרגום שפת סימנים, המורכבת משני מצבים. הראשון, תרגום מצב, מתרגם את שפת הסימנים לטקסט או לדיבור. הטכנולוגיה תומכת כיום בשפת הסימנים האמריקאית אך יש לה פוטנציאל לכל סוגי שפת הסימנים.

השני, מצב תקשורת, מאפשר תקשורת בין אדם שומע לאדם חירש או כבד שמיעה באמצעות אווטאר. בהנחיית קלט טקסט ממקלדת, האווטאר יכול להציג את המשפט המתאים בשפת הסימנים. האדם החירש או כבד השמיעה מגיב בשפת הסימנים, והמערכת ממירה את התשובה לטקסט.

קרא עוד מהקישור למטה.

מקור: מיקרוסופט