Microsoft nutzt die Kraft der Community, um die Forschung zur Gebärdenspracherkennung zu verbessern

Über 360 Millionen Menschen mit schwerem Hörverlust verwenden täglich Gebärdensprache. Da die meisten hörenden Personen keine Gebärdensprache verstehen, sind sie nicht in der Lage, in Echtzeit ungeschriebene Kommunikation mit Menschen mit Hörverlust zu führen. Um dieses Problem zu lösen, startete Microsoft Research im Februar 2012 das Kinect Sign Language-Projekt in Zusammenarbeit mit der Chinesischen Akademie der Wissenschaften (CAS) und der Beijing Union University. Sie haben ein Tool namens Kinect Sign Language Translator entwickelt, das Echtzeitgespräche zwischen unterzeichnenden und nicht unterzeichnenden Teilnehmern ermöglicht, indem Gebärdensprache in von einem Computer gesprochene Wörter umgewandelt und gleichzeitig gesprochene Wörter in von einem Avatar wiedergegebene Gebärdensprache umgewandelt werden.

Jetzt haben sie kürzlich damit begonnen Arbeitsgruppe für Kinect-Gebärdensprache Community, um die Forschung zur Erkennung von Gebärdensprache voranzutreiben.

Als ersten Schritt öffnen wir der Wissenschaft die DEVISIGN, Chinese Sign Language Database. Zusammengestellt von der Visuelle Informationsverarbeitung und Lernen (VIPL)-Gruppe des Institute of Computing Technology, unter der Schirmherrschaft von Microsoft Research Asia, deckt DEVISIGN etwa 4,400 Standardwörter der chinesischen Gebärdensprache ab, basierend auf 331,050 Vokabeldaten von 30 Unterzeichnern (13 Männer und 17 Frauen). Die Vokabulardaten umfassen RGB-Video (im AVI-Format) und Tiefen- und Skelettinformationen (im BIN-Format). Das DEVISIGN bietet somit Gebärdensprachforschern einen reichen Datenschatz zum Trainieren und Evaluieren ihrer Algorithmen und zum Erstellen hochmoderner praktischer Anwendungen, wie z. B. Lösungen zum Trainieren des Systems zur Anpassung an einen unbekannten Unterzeichner.

Lesen Sie mehr darüber unter dem folgenden Link.

Quelle: MSR