Microsoft khai thác sức mạnh của cộng đồng để cải thiện nghiên cứu trong nhận dạng ngôn ngữ ký hiệu

Hơn 360 triệu người bị mất thính lực nghiêm trọng sử dụng ngôn ngữ ký hiệu hàng ngày. Vì hầu hết các cá nhân thính giác không hiểu ngôn ngữ ký hiệu, họ không thể tham gia giao tiếp thời gian thực, không bằng văn bản với những người bị khiếm thính. Để giải quyết vấn đề này, Microsoft Research vào tháng 2012 năm XNUMX đã bắt đầu dự án Ngôn ngữ ký hiệu Kinect với sự hợp tác của Học viện Khoa học Trung Quốc (CAS) và Đại học Liên hiệp Bắc Kinh. Họ đã phát triển một công cụ có tên là Kinect Sign Language Translator cho phép các cuộc trò chuyện thời gian thực giữa những người tham gia ký tên và không ký tên bằng cách chuyển ngôn ngữ ký hiệu thành các từ được máy tính nói và đồng thời thay đổi các từ đã nói thành ngôn ngữ ký hiệu được hiển thị bằng hình đại diện.

Bây giờ, họ đã bắt đầu gần đây Nhóm làm việc về ngôn ngữ ký hiệu Kinect cộng đồng để nâng cao nghiên cứu trong nhận dạng ngôn ngữ ký hiệu.

Bước đầu tiên, chúng tôi đang mở cho giới học thuật Cơ sở dữ liệu ngôn ngữ ký hiệu Trung Quốc DEVISIGN. Tổng hợp bởi Xử lý và học tập thông tin trực quan (VIPL) thuộc Viện Công nghệ Máy tính, dưới sự tài trợ của Microsoft Research Asia, DEVISIGN bao gồm khoảng 4,400 từ Ngôn ngữ ký hiệu tiêu chuẩn của Trung Quốc dựa trên 331,050 mẩu dữ liệu từ vựng từ 30 người ký tên (13 nam và 17 nữ). Dữ liệu từ vựng bao gồm video RGB (ở định dạng AVI), thông tin về độ sâu và khung xương (ở định dạng BIN). Do đó, DEVISIGN cung cấp cho các nhà nghiên cứu ngôn ngữ ký hiệu một kho dữ liệu phong phú để đào tạo và đánh giá các thuật toán của họ cũng như để tạo ra các ứng dụng thực tế hiện đại, chẳng hạn như các giải pháp để đào tạo hệ thống thích ứng với một người ký không xác định.

Đọc thêm về nó từ liên kết bên dưới.

nguồn: MSR