Melihat Tantangan Dalam Menciptakan Kinect Generasi Selanjutnya Untuk Xbox One

Saya pikir Playstation akan sangat menyesal tidak menggabungkan versi Kinect mereka dengan PS4. Mungkin mereka tahu itu tidak akan sebagus Kinect 2.0.

Cyrus Bamji, arsitek perangkat keras mitra Microsoft untuk grup Arsitektur dan Manajemen Silikon yang berbasis di Lembah Silikon Microsoft, dan anggota timnya mencoba memasukkan kamera waktu penerbangan ke Xbox One. 

Kamera time-of-flight memancarkan sinyal cahaya dan kemudian mengukur berapa lama waktu yang dibutuhkan untuk kembali. Itu harus akurat hingga 1/10,000,000,000 detik; kecepatan cahaya. Dengan pengukuran tersebut, kamera mampu membedakan pantulan cahaya dari objek di dalam ruangan dan lingkungan sekitar. Itu memberikan perkiraan kedalaman yang akurat yang memungkinkan bentuk objek-objek itu dihitung.

Kemampuan kecepatan cahaya itu akan menjadi kemajuan besar untuk bagian sensor Kinect dari Xbox One, yang dirilis ke 13 pasar peluncuran bulan depan. Kinect baru, pembeda utama untuk Xbox One melawan pesaingnya, diperlukan untuk menangkap bidang pandang yang lebih besar dengan akurasi yang lebih besar dan resolusi yang lebih tinggi. Sensor inframerah akan memungkinkan identifikasi objek yang membutuhkan sedikit atau tanpa cahaya, dan pengenalan pose tangan yang lebih baik, memberi gamer dan pengguna biasa kemampuan untuk mengontrol konsol dengan tangan mereka.

“Ketika kami mengambil teknologi yang relatif baru, seperti time-of-flight, dan memasukkannya ke dalam produk komersial, ada banyak hal yang terjadi,” katanya. “Ada hal-hal yang kami tidak tahu betapa pentingnya sampai produk itu dibuat. Misalnya, kita tahu secara teoritis bahwa gerakan kabur dalam waktu penerbangan adalah masalah besar, tetapi betapa pentingnya hanya dapat ditemukan ketika Anda sedang membangun produk dengan itu dan produk itu perlu memberikan pengalaman yang sangat baik.

Pengukuran kedalaman yang akurat dalam beragam pemandangan dengan resolusi tinggi kamera baru dan bidang pandang yang lebih luas juga menimbulkan masalah pengalaman pengguna, sehingga sulit untuk menjaga objek kecil, seperti jari, agar tidak memudar ke latar belakang, misalnya. Sementara fitur-fitur tersebut memberikan kinerja perangkat yang lebih serbaguna, mereka juga menciptakan masalah mereka sendiri dalam skenario kehidupan nyata, seperti kebutuhan akan pengukuran kedalaman yang akurat dalam beragam adegan resolusi tinggi. Itu, selain meningkatkan bidang pandang yang lebih luas dan keburaman gerakan, membutuhkan data yang bersih—dengan cepat. Xbox One harus siap untuk musim liburan 2013.

Sifat analog dari data waktu penerbangan menimbulkan tantangan untuk memberikan solusi semacam itu.

“Data waktu penerbangan yang keluar dari sensor kami adalah per piksel, per bingkai, dan ada lebih banyak informasi analog,” kata Acharya. “Masalah lainnya adalah objek latar depan yang dekat dengan objek latar belakang akan melebur ke latar belakang—sekali lagi, karena sifat analog dari cara sensor kami menyediakan data kedalaman untuk piksel yang mendarat di tepian.”

“Hal ini menghasilkan banyak informasi, dan untuk memudahkan ekstraksi latar depan/latar belakang dan segmentasi adegan, yang digunakan oleh pengembang perangkat lunak dan game, persyaratannya adalah membersihkan data ini secara bersamaan dengan menambahkan algoritme perangkat lunak di dalam pipa, namun tanpa menimbulkan hit kinerja. Ini sangat penting. Kami memulai dengan berbagai aliran kerja dan, pada akhirnya, memutuskan untuk melakukan optimasi pada parameter dalam sistem untuk mengatasi masalah tersebut.”

Kolaborator ingin memberikan pemisahan yang jelas antara latar depan dan latar belakang bahkan jika objeknya berdekatan satu sama lain. Itu juga terbukti sulit. Dan kemudian ada gerakan kabur.

 “Motion blur,” Acharya menjelaskan, “adalah parameter yang perlu diminimalkan dan tidak spesifik teknologi. Kamera time-of-flight menggunakan rana global, yang telah membantu mengurangi keburaman gerakan secara signifikan—dari 65 milidetik di Kinect asli menjadi kurang dari 14 milidetik sekarang.”

Tantangan lain muncul dengan sendirinya. Untuk satu hal, waktu pemrosesan menjadi masalah. Dalam literatur akademis tentang sistem waktu penerbangan, waktu pemrosesan tidak menjadi masalah. Di lingkungan laboratorium, teknologinya bekerja dengan baik. Tetapi Xbox One perlu memproses 6.5 juta piksel per detik. Dan hanya sebagian kecil dari kekuatan komputasi Xbox One yang dapat dimanfaatkan untuk tugas ini. Bagian terbesar dicadangkan, dapat dimengerti, untuk hal-hal penting seperti game, pelacakan kerangka, pengenalan wajah, dan audio.

“Anda perlu melakukan perhitungan yang sangat, sangat ringan untuk setiap piksel,” kata Krupka, “dan ini adalah salah satu hal yang membuat masalah ini menantang dan berbeda dari pendekatan tipikal dalam literatur akademis di bidang ini.”

Hebatnya, semuanya datang bersama-sama, dan itu berarti bahwa sementara pecinta hiburan di seluruh dunia akan segera menemukan diri mereka senang dengan pengalaman Xbox One, demikian juga mereka yang ingin mengembangkan platform tersebut. Mengurangi kebisingan tepi-data membuat pengembang data siap, dan mampu membagi dengan jelas antara latar depan dan latar belakang memecahkan masalah komputasi yang kompleks. Datanya bersih, dan lebih mudah diserap oleh pengembang game.

Fitur menarik lainnya dari perangkat penginderaan Kinect di Xbox One berasal dari sensor inframerahnya, yang dapat mengidentifikasi objek di ruangan yang benar-benar gelap. Itu dapat mengenali orang dan melacak tubuh bahkan tanpa cahaya yang terlihat dengan mata telanjang. Ini dapat mengidentifikasi pose tangan dari jarak empat meter, melihat jari-jari anak, dan mengingat identitas Anda bahkan tanpa penerangan ruangan.

Bidang pandang yang lebih luas memungkinkan lebih banyak pemain memainkan game Xbox One secara bersamaan. Dengan konsol baru, sebanyak enam pemain dapat berkumpul dalam satu adegan. Orang dewasa yang tinggi dapat bermain dengan anak kecil tanpa harus tersingkir dari gambar. Pengguna mendapatkan pengalaman yang lebih baik jika mereka berdiri di dekat, lebih jauh, atau di pinggiran ruangan.

Dan pengenalan pose tangan yang ditingkatkan memungkinkan pengguna untuk berinteraksi dengan Xbox One hanya dengan menggunakan tangan mereka—tidak perlu pengontrol. Berkat kamera inframerah, aktivitas tangan dapat diidentifikasi pada pencahayaan apa pun atau tanpa pencahayaan sama sekali. Solusi pose tangan sebelumnya mampu memberikan kecepatan atau akurasi, tetapi tidak keduanya. Solusi pose tangan yang dirancang bersama oleh tim Xbox dan Microsoft Research dapat melakukan keduanya.

Sumber: Blog Resmi Microsoft