Xbox One İçin Yeni Nesil Kinect Yaratmanın Zorluklarına Bir Bakış

Bence Playstation, Kinect sürümlerini PS4 ile birleştirmediği için ciddi şekilde pişman olacak. Belki de zaten Kinect 2.0 kadar iyi olmayacağını biliyorlardı.

Microsoft'un Silikon Vadisi tabanlı Mimari ve Silikon Yönetimi grubu için Microsoft ortak donanım mimarı olan Cyrus Bamji ve ekibinin üyeleri, Xbox One'a bir uçuş süresi kamerası eklemeye çalışıyorlardı. 

Bir uçuş süresi kamerası, ışık sinyalleri yayar ve ardından geri dönmelerinin ne kadar sürdüğünü ölçer. Bunun saniyenin 1/10,000,000,000'i kadar doğru olması gerekir; Işık hızı. Bu tür ölçümlerle kamera, bir odadaki nesnelerden ve çevredeki ortamdan yansıyan ışığı ayırt edebilir. Bu, nesnelerin şeklinin hesaplanmasını sağlayan doğru bir derinlik tahmini sağlar.

Bu ışık hızı özelliği, Xbox One'ın Kinect sensör kısmı için büyük bir ilerleme olacak ve önümüzdeki ay 13 lansman pazarına sunulacak. Xbox One'ın rakiplerine karşı önemli bir farklılaştırıcısı olan yeni Kinect'in daha fazla doğruluk ve daha yüksek çözünürlükle daha geniş bir görüş alanı yakalaması gerekiyordu. Kızılötesi sensör, çok az ışık gerektiren veya hiç ışık gerektirmeyen nesne tanımlamasına ve gelişmiş el duruşu tanımaya olanak tanıyarak, oyunculara ve daha sıradan kullanıcılara konsolu elleriyle kontrol etme yeteneği verir.

"Uçuş süresi gibi nispeten yeni bir teknolojiyi alıp ticari bir ürüne koyduğumuzda, bir sürü şey oluyor" diyor. “Ürün yapılana kadar ne kadar önemli olduğunu bilmediğimiz şeyler var. Örneğin, teorik olarak uçuş sırasında hareket bulanıklığının büyük bir sorun olduğunu biliyoruz, ancak ne kadar önemli olduğunu ancak onunla bir ürün oluşturduğunuzda keşfedebilirsiniz ve bu ürünün mükemmel bir deneyim sunması gerekiyor.”

Yeni kameranın yüksek çözünürlüğü ve daha geniş görüş alanı ile çeşitli sahnelerde doğru derinlik ölçümü de kullanıcı deneyimi sorunları yaratarak, örneğin parmak gibi küçük nesnelerin arka planda solmasını engellemeyi zorlaştırıyor. Bu özellikler daha çok yönlü cihaz performansı sağlarken, farklı, yüksek çözünürlüklü sahnelerde doğru derinlik ölçümü ihtiyacı gibi gerçek yaşam senaryolarında da kendilerine özgü sorunları yarattılar. Bu, daha geniş görüş alanını ve hareket bulanıklığını iyileştirmenin yanı sıra hızlı bir şekilde temiz veriler gerektiriyordu. Xbox One'ın 2013 tatil sezonu için hazır olması gerekiyordu.

Uçuş süresi verilerinin analog yapısı, böyle bir çözümün sağlanmasında zorluklar ortaya çıkardı.

Acharya, "Sensörümüzden çıkan uçuş süresi verileri, piksel başına, kare başınadır ve çok daha fazla analog bilgi vardır" diyor. "Başka bir sorun da, arka plan nesnelerine yakın ön plan nesnelerinin arka planda erimesiydi - yine, sensörümüzün kenarlara inen pikseller için derinlik verilerini nasıl sağladığının analog doğası nedeniyle."

“Bu, çok fazla bilgi ile sonuçlandı ve yazılım ve oyun geliştiricileri tarafından ön plan/arka plan çıkarma ve sahne segmentasyonu için kullanımı kolaylaştırmak için, gereklilik, boruya yazılım algoritmaları ekleyerek, ancak herhangi bir işlem yapmadan bu verileri aynı anda temizlemekti. bir performans vuruşu. Bu çok önemliydi. Çeşitli iş akışlarıyla başladık ve sonunda sorunun üstesinden gelmek için sistemdeki parametrelerde optimizasyon yapmaya karar verdik.”

İşbirlikçiler, nesneler birbirine yakın olsa bile ön plan ve arka planın net bir şekilde ayrılmasını sağlamak istediler. Bu da zor oldu. Sonra hareket bulanıklığı oldu.

 "Hareket bulanıklığı" diye açıklıyor Acharya, "en aza indirilmesi gereken ve teknolojiye özgü olmayan bir parametre. Uçuş süresi kamerası, orijinal Kinect'teki 65 milisaniyeden şimdi 14 milisaniyeden daha azına kadar hareket bulanıklığını önemli ölçüde azaltmaya yardımcı olan global deklanşör kullanıyor."

Diğer zorluklar kendilerini gösterdi. Birincisi, işlem süresi bir sorun haline geldi. Uçuş süresi sistemleriyle ilgili akademik literatürde, işlem süresi bir sorun değildi. Laboratuvar ortamında teknoloji iyi çalıştı. Ancak Xbox One'ın saniyede 6.5 milyon piksel işlemesi gerekiyor. Ve Xbox One'ın bilgi işlem gücünün yalnızca küçük bir kısmı bu görev için kullanılabilirdi. Aslan payı, anlaşılır bir şekilde oyun, iskelet takibi, yüz tanıma ve ses gibi temel özellikler için ayrılmıştır.

Krupka, "Her piksel için çok, çok hafif hesaplama yapmanız gerekiyor" diyor ve "sorunu zorlu ve bu alandaki akademik literatürdeki tipik yaklaşımdan farklı kılan şeylerden biri de bu."

Dikkat çekici bir şekilde, hepsi bir araya geldi ve bu, dünya çapındaki eğlence severlerin yakında Xbox One deneyiminden memnun kalacakları anlamına gelirken, platform için geliştirmeye istekli olanlar da öyle olacak. Bu uç veri gürültüsünü azaltmak, veri geliştiricisini hazır hale getirir ve ön plan ile arka plan arasında net bir şekilde bölümlere ayrılabilmesi, karmaşık bir hesaplama sorununu çözer. Veriler temizdir ve oyun geliştiricileri tarafından daha kolay emilebilir.

Xbox One'daki Kinect algılama cihazının bir başka büyüleyici özelliği, tamamen karanlık bir odadaki nesneleri tanımlayabilen kızılötesi sensöründen kaynaklanmaktadır. Çıplak gözle görülebilen herhangi bir ışık olmadan bile insanları tanıyabilir ve cesetleri takip edebilir. Dört metre öteden bir el pozunu tanıyabilir, bir çocuğun parmaklarını görebilir ve oda aydınlatması bile yokken kimliğinizi hatırlayabilir.

Daha geniş görüş alanı, daha fazla oyuncunun aynı anda Xbox One oyunu oynamasını mümkün kılar. Yeni konsolla birlikte, altı oyuncu bir sahnede toplanabilir. Uzun boylu bir yetişkin, küçük bir çocukla resimden sıkılmadan oynayabilir. Kullanıcılar yakınlarda, uzakta veya odanın çevresinde duruyorlarsa daha iyi bir deneyim yaşarlar.

Geliştirilmiş el duruşu tanıma özelliği, kullanıcıların Xbox One ile yalnızca ellerini kullanarak etkileşim kurmasını sağlar; denetleyici gerekmez. Kızılötesi kamera sayesinde, herhangi bir aydınlatmada veya hiç aydınlatma olmadan el aktiviteleri belirlenebilir. Önceki elle poz çözümleri hız veya doğruluk sağlayabiliyordu, ancak ikisini birden değil. Xbox ekibi ve Microsoft Research tarafından ortaklaşa geliştirilen el duruşu çözümü, her ikisini de yapabilir.

Kaynak: Resmi Microsoft Blogu