Yeni Kinect İnsan İşaret Dilini Kolaylıkla Okuyabiliyor

Microsoft Kinect, Doğal Kullanıcı Arayüzü alanında büyük bir devrim yaratıyor. Kinect gibi düşük maliyetli 3D derinlik kamerası, bilgi işlem dünyamızda sonsuz olanaklar sunar. İşaret dili, birçok sağır ve işitme güçlüğü çeken insan için birincil dildir, ancak şu anda bu kişilerin ana dillerini kullanarak bilgisayarlarla etkileşim kurmaları mümkün değildir. Microsoft Research Asia, bu kişilerin kullandığı işaret dillerini tespit edebilen Kinect kullanan bir sistem geliştirdi ve gayet iyi çalışıyor.

İşte proje hakkında bazı bilgiler,

Derinlik bilgisi ve renk verilerini aynı anda sağlama yeteneğiyle Kinect, el ve vücut hareketlerini daha doğru ve hızlı bir şekilde izlemeyi kolaylaştırır.

sırasında gösterilmekte olan bu projede DemoFest kısmı Fakülte Zirvesi 2013400'den fazla akademik araştırmacıyı, etkili araştırmalara ilişkin içgörüleri paylaşmak için Microsoft genel merkezine getiren , el izleme, işaret dilindeki tek tek kelimeler için 3 boyutlu hareket yörüngesi hizalama ve eşleştirme sürecine yol açar. Sözcükler, el takibi ile oluşturulur. Windows için Kinect yazılım ve ardından normalleştirilir ve işaretli bir kelime analiz edildiğinde en uygun adayları belirlemek için eşleşen puanlar hesaplanır.

Bu 3 boyutlu yörünge eşleştirme algoritması, iki moddan oluşan bir işaret dili tanıma ve çeviri sisteminin oluşturulmasını sağlamıştır. Birincisi, Çeviri Modu, işaret dilini metne veya konuşmaya çevirir. Teknoloji şu anda Amerikan işaret dilini desteklemektedir, ancak tüm işaret dili çeşitleri için potansiyele sahiptir.

İkincisi, İletişim Modu, bir avatar kullanarak işiten bir kişi ile sağır veya işitme güçlüğü çeken bir kişi arasındaki iletişimi sağlar. Bir klavyeden metin girişiyle yönlendirilen avatar, karşılık gelen işaret dili cümlesini görüntüleyebilir. Sağır veya işitme güçlüğü çeken kişi işaret dilini kullanarak yanıt verir ve sistem bu yanıtı metne dönüştürür.

Aşağıdaki bağlantıdan daha fazlasını okuyun.

Kaynak: Microsoft