Η Microsoft αξιοποιεί τη δύναμη της κοινότητας για να βελτιώσει την έρευνα στην αναγνώριση της νοηματικής γλώσσας

Πάνω από 360 εκατομμύρια άνθρωποι με σοβαρή απώλεια ακοής χρησιμοποιούν τη νοηματική γλώσσα καθημερινά. Δεδομένου ότι τα περισσότερα από τα άτομα με ακοή δεν καταλαβαίνουν τη νοηματική γλώσσα, δεν είναι σε θέση να εμπλακούν σε πραγματικό χρόνο, άγραφη επικοινωνία με άτομα με απώλεια ακοής. Για την επίλυση αυτού του ζητήματος, η Microsoft Research τον Φεβρουάριο του 2012 ξεκίνησε το έργο Kinect Sign Language σε συνεργασία με την Κινεζική Ακαδημία Επιστημών (CAS) και το Πανεπιστήμιο της Ένωσης του Πεκίνου. Έχουν αναπτύξει ένα εργαλείο που ονομάζεται Kinect Sign Language Translator, το οποίο επιτρέπει συνομιλίες σε πραγματικό χρόνο μεταξύ υπογράφων και μη συμμετεχόντων, μετατρέποντας τη νοηματική γλώσσα σε λέξεις που ομιλούνται από υπολογιστή και ταυτόχρονα αλλάζοντας τις προφορικές λέξεις σε νοηματική γλώσσα που αποδίδεται από ένα avatar.

Τώρα, άρχισαν πρόσφατα Ομάδα Εργασίας για τη Νοηματική Γλώσσα Kinect κοινότητα να προωθήσει την έρευνα στην αναγνώριση της νοηματικής γλώσσας.

Ως πρώτο βήμα, ανοίγουμε στον ακαδημαϊκό κόσμο τη Βάση Δεδομένων της Κινεζικής Νοηματικής Γλώσσας DEVISIGN. Συντάχθηκε από το Επεξεργασία και εκμάθηση οπτικών πληροφοριών Η ομάδα (VIPL) του Ινστιτούτου Τεχνολογίας Υπολογιστών, υπό τη χορηγία της Microsoft Research Asia, το DEVISIGN καλύπτει περίπου 4,400 τυπικές λέξεις της κινεζικής νοηματικής γλώσσας που βασίζονται σε 331,050 λεξιλογικά δεδομένα από 30 υπογράφοντες (13 άνδρες και 17 γυναίκες). Τα δεδομένα λεξιλογίου περιλαμβάνουν βίντεο RGB (σε μορφή AVI) και πληροφορίες βάθους και σκελετού (σε μορφή BIN). Το DEVISIGN παρέχει έτσι στους ερευνητές της νοηματικής γλώσσας ένα πλούσιο απόθεμα δεδομένων για εκπαίδευση και αξιολόγηση των αλγορίθμων τους και για δημιουργία πρακτικών εφαρμογών τελευταίας τεχνολογίας, όπως λύσεις για την εκπαίδευση του συστήματος ώστε να προσαρμοστεί σε έναν άγνωστο υπογράφοντα.

Διαβάστε περισσότερα σχετικά από τον παρακάτω σύνδεσμο.

πηγή: MSR