Xem xét những thách thức trong việc tạo ra Kinect thế hệ tiếp theo cho Xbox One

Tôi nghĩ rằng Playstation sẽ thực sự hối tiếc khi không kết hợp phiên bản Kinect của họ với PS4. Có thể họ biết rằng nó sẽ không tốt bằng Kinect 2.0.

Cyrus Bamji, kiến ​​trúc sư phần cứng đối tác của Microsoft cho nhóm Kiến trúc và Quản lý Silicon có trụ sở tại Thung lũng Silicon của Microsoft, và các thành viên trong nhóm của ông đang cố gắng kết hợp máy ảnh thời gian bay vào Xbox One. 

Máy ảnh thời gian bay phát ra tín hiệu ánh sáng và sau đó đo thời gian chúng quay trở lại. Điều đó cần phải chính xác đến 1 / 10,000,000,000 giây; tốc độ ánh sáng. Với các phép đo như vậy, máy ảnh có thể phân biệt ánh sáng phản xạ từ các vật thể trong phòng và môi trường xung quanh. Điều đó cung cấp ước tính độ sâu chính xác cho phép tính toán hình dạng của những đối tượng đó.

Khả năng tốc độ ánh sáng đó sẽ là một bước tiến lớn cho phần cảm biến Kinect của Xbox One, sẽ được phát hành cho 13 thị trường ra mắt vào tháng tới. Kinect mới, một điểm khác biệt chính của Xbox One so với các đối thủ của nó, cần thiết để thu được trường xem lớn hơn với độ chính xác cao hơn và độ phân giải cao hơn. Một cảm biến hồng ngoại sẽ cho phép nhận dạng đối tượng cần ít hoặc không cần ánh sáng và cải thiện khả năng nhận dạng tư thế tay, mang lại cho game thủ và người dùng bình thường hơn khả năng điều khiển bảng điều khiển bằng tay của họ.

Ông nói: “Khi chúng tôi sử dụng một công nghệ tương đối mới, chẳng hạn như thời gian bay, và đưa nó vào một sản phẩm thương mại, sẽ có rất nhiều điều xảy ra. “Có những thứ mà chúng tôi không biết chúng quan trọng như thế nào cho đến khi sản phẩm được làm ra. Ví dụ: về mặt lý thuyết, chúng tôi biết rằng chuyển động mờ trong thời gian bay là một vấn đề lớn, nhưng mức độ quan trọng chỉ có thể phát hiện được khi bạn đang xây dựng một sản phẩm với nó và sản phẩm đó cần mang lại trải nghiệm xuất sắc. ”

Đo độ sâu chính xác trong các cảnh đa dạng với độ phân giải cao của máy ảnh mới và trường nhìn rộng hơn cũng đặt ra các vấn đề về trải nghiệm người dùng, khiến cho việc giữ các vật thể nhỏ, chẳng hạn như ngón tay mờ dần vào hậu cảnh, chẳng hạn. Trong khi các tính năng đó mang lại hiệu suất thiết bị linh hoạt hơn, chúng cũng tạo ra các vấn đề của riêng chúng trong các tình huống thực tế, chẳng hạn như nhu cầu đo độ sâu chính xác trong các cảnh đa dạng, có độ phân giải cao. Điều đó, cũng như cải thiện trường nhìn rộng hơn và độ mờ chuyển động, yêu cầu dữ liệu sạch - nhanh chóng. Xbox One đã phải sẵn sàng cho kỳ nghỉ lễ năm 2013.

Bản chất tương tự của dữ liệu thời gian bay đã đặt ra những thách thức để đưa ra một giải pháp như vậy.

“Dữ liệu thời gian bay từ cảm biến của chúng tôi là trên mỗi pixel, mỗi khung hình và có nhiều thông tin tương tự hơn,” Acharya nói. “Một vấn đề khác là các đối tượng tiền cảnh gần với các đối tượng hậu cảnh sẽ tan vào hậu cảnh — một lần nữa, do tính chất tương tự của cách cảm biến của chúng tôi cung cấp dữ liệu độ sâu cho các điểm ảnh tiếp đất trên các cạnh.”

“Điều này dẫn đến rất nhiều thông tin và để giúp việc trích xuất tiền cảnh / hậu cảnh và phân đoạn cảnh dễ dàng hơn được các nhà phát triển phần mềm và trò chơi sử dụng, yêu cầu là phải làm sạch dữ liệu này đồng thời bằng cách thêm các thuật toán phần mềm vào đường ống, nhưng không phát sinh một bản hit hiệu suất. Điều này rất quan trọng. Chúng tôi đã bắt đầu với các luồng công việc khác nhau và cuối cùng, đã quyết định việc tối ưu hóa các thông số trong hệ thống để khắc phục sự cố. ”

Các cộng tác viên muốn phân tách rõ ràng tiền cảnh và hậu cảnh ngay cả khi các vật thể ở gần nhau. Điều đó cũng tỏ ra khó khăn. Và sau đó là chuyển động mờ.

 “Nhòe chuyển động”, Acharya giải thích, “là một thông số cần được giảm thiểu và không dành riêng cho công nghệ. Máy ảnh thời gian bay sử dụng màn trập toàn cầu, đã giúp giảm đáng kể hiện tượng nhòe chuyển động — từ 65 mili giây trong Kinect gốc xuống còn dưới 14 mili giây hiện tại ”.

Những thách thức khác tự trình bày. Đối với một điều, thời gian xử lý đã trở thành một vấn đề. Trong tài liệu học thuật về hệ thống thời gian bay, thời gian xử lý không phải là một vấn đề. Trong môi trường phòng thí nghiệm, công nghệ này hoạt động tốt. Nhưng Xbox One cần xử lý con số khổng lồ 6.5 triệu pixel mỗi giây. Và chỉ một phần nhỏ sức mạnh tính toán của Xbox One có thể được khai thác cho nhiệm vụ này. Phần chia sẻ của sư tử được dành riêng, dễ hiểu, cho các yếu tố cần thiết như chơi game, theo dõi bộ xương, nhận dạng khuôn mặt và âm thanh.

Krupka nói: “Bạn cần phải thực hiện tính toán rất nhẹ nhàng cho từng pixel, và đây là một trong những điều khiến vấn đề trở nên thách thức và khác biệt so với cách tiếp cận điển hình trong các tài liệu học thuật trong lĩnh vực này.”

Đáng chú ý, tất cả đều kết hợp với nhau, và điều đó có nghĩa là trong khi những người yêu thích giải trí trên toàn thế giới sẽ sớm cảm thấy thích thú với trải nghiệm Xbox One, thì những người mong muốn phát triển nền tảng này cũng sẽ không. Việc giảm nhiễu dữ liệu cạnh đó làm cho nhà phát triển dữ liệu sẵn sàng và có thể phân đoạn rõ ràng giữa nền trước và nền sau giải quyết một vấn đề tính toán phức tạp. Dữ liệu sạch sẽ và nó có thể được các nhà phát triển trò chơi hấp thụ dễ dàng hơn.

Một tính năng hấp dẫn khác của thiết bị cảm biến Kinect trong Xbox One bắt nguồn từ cảm biến hồng ngoại của nó, có thể xác định các vật thể trong một căn phòng tối hoàn toàn. Nó có thể nhận ra người và theo dõi cơ thể ngay cả khi không có bất kỳ ánh sáng nào có thể nhìn thấy bằng mắt thường. Nó có thể xác định tư thế bàn tay từ cách xa bốn mét, nhìn thấy các ngón tay của trẻ em và ghi nhớ danh tính của bạn ngay cả khi trừ ánh sáng phòng.

Trường nhìn rộng hơn giúp nhiều người chơi có thể chơi trò chơi Xbox One cùng lúc. Với bảng điều khiển mới, có đến sáu người chơi có thể tập trung vào một cảnh. Một người lớn cao có thể chơi với một đứa trẻ nhỏ mà không bị ép ra khỏi bức tranh. Người dùng có được trải nghiệm tốt hơn nếu họ đứng gần, xa hơn hoặc ở ngoại vi của căn phòng.

Và nhận dạng tư thế tay được cải tiến cho phép người dùng tương tác với Xbox One chỉ bằng cách sử dụng tay của họ — không cần bộ điều khiển. Nhờ camera hồng ngoại, các hoạt động của bàn tay có thể được xác định ở bất kỳ ánh sáng nào hoặc không có bất kỳ hoạt động nào. Các giải pháp tư thế bằng tay trước đây có thể mang lại tốc độ hoặc độ chính xác, nhưng không phải cả hai. Giải pháp tư thế bằng tay do nhóm Xbox và Microsoft Research cùng nghĩ ra có thể làm được cả hai điều này.

nguồn: Blog chính thức của Microsoft