微软创建应用程序,让患有 ALS 的人更容易沟通
2分钟读
更新
阅读我们的披露页面,了解如何帮助 MSPoweruser 维持编辑团队 查看更多
微软开发了一款名为 GazeSpeak 的智能手机应用程序,它使患有运动神经元疾病的人更容易只用眼睛进行交流。
该应用程序使用智能手机摄像头实时录制的视频将凝视转换为语音,并在手机背面使用带有字母网格的贴纸,说话者看着这些字母来指示他们的选择并拼出他们的信息。
该应用程序使用类似于预测短信的人工智能来了解说话者正在选择网格的每个臂中的哪些字母。 前四个单词预测显示在屏幕上,前一个被大声朗读。
“例如,说‘任务’这个词时,他们首先向下选择包含‘t’的组,然后向上选择包含‘a’的组,以此类推,”开发 GazeSpeak 的张晓义说。在微软实习。
“我们正在使用计算机视觉来识别眼睛手势,并使用 AI 来进行单词预测,”位于华盛顿州雷德蒙德的微软研究院的 Meredith Morris 说。
患有运动神经元疾病(通常称为 ALS)的人通常只有眼睛运动,这是他们表达自己的唯一方法。
运动神经元疾病协会的马修霍利斯说:“人们在尝试交流时会变得非常沮丧,所以如果这个应用程序可以让事情变得更容易,那就太好了。”
智能手机应用程序是使用板子和由受过专门训练的口译员进行手动注视跟踪的旧做法的一个很好的替代方案,这既困难又不那么有效,GazeSpeak 在测试中平均需要 78 秒才能完成一个句子,而使用板子需要 123 秒.
“我喜欢电话技术; 我只是觉得那会很巧妙,”其中一位口译员说。
微软将于 XNUMX 月在科罗拉多州的计算系统中的人为因素会议上展示该应用程序。 该应用程序仅适用于 iOS,将在 App Store 中提供,源代码也将免费提供。