นักวิจัยของ Microsoft กำลังทำงานเกี่ยวกับระบบสำหรับการติดตามการเคลื่อนไหวของมืออย่างแม่นยำ

การติดตามความเคลื่อนไหวไม่ใช่เรื่องใหม่สำหรับ Microsoft เราได้เห็นความเชี่ยวชาญของพวกเขาในผลิตภัณฑ์เชิงพาณิชย์ เช่น Microsoft Kinect ทีมงานคอมพิวเตอร์วิทัศน์ของ Microsoft Research กำลังทำงานเกี่ยวกับความก้าวหน้าล่าสุดในการติดตามด้วยมืออย่างละเอียด พวกเขาได้สร้างระบบที่สามารถติดตามมือได้อย่างราบรื่น รวดเร็ว และแม่นยำในแบบเรียลไทม์ แต่สามารถทำงานบนอุปกรณ์ผู้บริโภคทั่วไปได้ ระบบนี้สามารถใช้กับแอปพลิเคชัน Virtual Reality ได้

ระบบซึ่งยังคงเป็นโครงการวิจัยอยู่ในขณะนี้ สามารถติดตามการเคลื่อนไหวของมืออย่างละเอียดด้วยชุดหูฟังเสมือนจริงหรือไม่มีชุดหูฟัง ทำให้ผู้ใช้สามารถสะกิดตุ๊กตากระต่ายนุ่มนิ่ม หมุนปุ่ม หรือหมุนแป้นหมุนได้

ยิ่งไปกว่านั้น ระบบยังช่วยให้คุณเห็นสิ่งที่มือของคุณกำลังทำ แก้ไขการเชื่อมต่อที่ธรรมดาและยุ่งเหยิงที่เกิดขึ้นเมื่อผู้คนโต้ตอบกับความเป็นจริงเสมือนแต่ไม่สามารถมองเห็นมือของตัวเองได้

HoloLens รวมแล้ว การสนับสนุนท่าทาง ซึ่งช่วยให้ผู้ใช้สามารถโต้ตอบกับโฮโลแกรมได้ หวังว่าโครงการใหม่นี้จาก MSR จะปรับปรุงประสบการณ์การป้อนข้อมูลด้วยท่าทางสัมผัสใน HoloLens ให้ดียิ่งขึ้น

บทคัดย่อโครงการ:

การติดตามด้วยมืออย่างชัดแจ้งสัญญาว่าจะเปิดใช้งานการโต้ตอบใหม่โดยพื้นฐานกับโลกเสมือนจริงและโลกที่เติมเต็ม แต่ความแม่นยำและประสิทธิภาพของระบบปัจจุบันที่จำกัดได้ขัดขวางการยอมรับอย่างกว้างขวาง กระบวนทัศน์ที่โดดเด่นในปัจจุบันใช้แมชชีนเลิร์นนิงสำหรับการเริ่มต้นและการกู้คืน ตามด้วยการปรับให้เหมาะสมแบบจำลองซ้ำเพื่อให้ได้รูปแบบที่มีรายละเอียด เราปฏิบัติตามกระบวนทัศน์นี้ แต่ทำการเปลี่ยนแปลงหลายอย่างในแบบจำลอง กล่าวคือการใช้ (1) ฟังก์ชันวัตถุประสงค์ที่เลือกปฏิบัติมากขึ้น (2) แบบจำลองพื้นผิวเรียบที่ให้การไล่ระดับสีสำหรับการปรับให้เหมาะสมที่ไม่เป็นเชิงเส้น และ (3) การปรับให้เหมาะสมร่วมกันเหนือทั้งแบบจำลองก่อให้เกิดและความสอดคล้องระหว่างจุดข้อมูลที่สังเกตได้กับพื้นผิวของแบบจำลอง แม้ว่าการเปลี่ยนแปลงแต่ละครั้งอาจเพิ่มต้นทุนต่อการทำซ้ำ จริง ๆ แล้ว เราก็มีการชดเชยการลดลงในจำนวนการทำซ้ำ นอกจากนี้ แอ่งที่กว้างของการบรรจบกันหมายความว่าต้องมีจุดเริ่มต้นน้อยลงสำหรับการสร้างแบบจำลองที่ประสบความสำเร็จ ระบบของเราทำงานแบบเรียลไทม์บน CPU เท่านั้น ซึ่งทำให้ GPU ที่มีภาระงานมากเกินไปโดยทั่วไปสำหรับนักออกแบบที่มีประสบการณ์ เครื่องติดตามมือมีประสิทธิภาพเพียงพอที่จะทำงานบนอุปกรณ์ที่ใช้พลังงานต่ำ เช่น แท็บเล็ต เราสามารถติดตามได้ไกลถึงหลายเมตรจากกล้องเพื่อให้มีปริมาณการทำงานมากสำหรับการโต้ตอบ แม้กระทั่งการใช้ข้อมูลที่มีเสียงรบกวนจากกล้องความลึกรุ่นปัจจุบัน การประเมินเชิงปริมาณในชุดข้อมูลมาตรฐานแสดงให้เห็นว่าแนวทางใหม่มีความแม่นยำมากกว่าความทันสมัย ผลลัพธ์เชิงคุณภาพจะอยู่ในรูปแบบของการบันทึกสดของประสบการณ์เชิงโต้ตอบที่หลากหลายซึ่งเปิดใช้งานโดยแนวทางใหม่นี้

อ่านเพิ่มเติมเกี่ยวกับเรื่องนี้ โครงการที่นี่.