点赞 | 牛!把手语翻译成语音!两名90后女生发明翻译臂环

孟秀莹 2017-05-25 14:49:23

王娜娜:“我有一个聋人朋友讲说,他投简历,然后别人给他打电话,他接不了,也说不了。”

黄爽:“我们身边有这样一个群体,他们因为种种原因,造成语言功能障碍,我们叫他们“失语者”。在中国,他们的数量达到了7000万。”

王娜娜:“好像我们是两个世界,他有他们的语言,我们有我们的语言,但是这两种语言之间是存在隔阂的。”

黄爽:“我们缺乏一个能让它们之间相互转换的工具。”

王娜娜和黄爽,是北京航空航天大学和清华大学的一年级研究生,一个23岁,一个22岁。和许多这个年纪的女孩不同,她俩并不热衷梳妆打扮,也很少关注流行的影视剧、偶像明星。大约两年前,她们开始用业余时间,为失语者群体,研究一款直接将手语转化成语音的翻译臂环。

两名90后女生决心帮助失语者群体

两年前,读大三的王娜娜结识了聋人朋友张权。因为不懂手语,即使当面交流,她也不得不用微信打字。明明是现实中的朋友,相处起来却更像网友。特别当许多人一起聊天时,她更为无声世界中的张权感到抱歉,担心自己说话,是不是忽略、伤害了他?当时,计算机专业的王娜娜,正在实验室里研究基于图像的手势识别技术。她想,手语也是有一定规则的手势,是不是可以用摄像头识别,转化成语音,打破无声到有声的隔阂?

王娜娜:“黄爽就跟我说,用摄像头去做不现实,在大街上谁帮失语者拿摄像头?”

黄爽是王娜娜的本科室友。这次交谈前,王娜娜已经为翻译手语忙了八、九个月。听到“闺蜜”几乎从根本上否定自己的研究,王娜娜不但没有生气,反而感到庆幸。她说,自己一直在沿着技术逻辑推进,却忽略了最重要的部分——如何才能让失语者使用。

从钢琴指法得到启发 把手语转化成语音

王娜娜:“后来我看家里的小朋友,学弹钢琴,老师说手指该用力的时候,小朋友没用力。我就问老师这怎么能看出来的,老师说看肌肉的用力情况,肌肉没有动指法肯定不对。这点提醒了我,我就上网查,有一种研究是戴着一个臂环来判断小朋友的指法正确不正确,我立马就想到了手语。”

不同的手指动作,会触动不同区域的小臂肌肉,发出不一样的肌肉电信号。受益于钢琴臂环的启发,王娜娜和黄爽打算也应用这项技术:将每个手语词汇的肌肉电信号录入系统,让人工智能深度学习,再次遇见时,识别和转化成语音,应该并不难。在运动手环、智能手表普及的今天,佩戴臂环,也不会让失语者显得突兀。然而,想让电脑准确识别一个手势动作,需要反复采集肌肉电信号上千次。

黄爽:“我们两人就成天不停地在那儿抬手放手、抬手放手。”

让失语者像普通人一样流利对话

一个多月时间,王娜娜和黄爽对着手语教材,完成30个手势的录入,每人至少重复比划了一万五千多次。证实方案可行后,她们将更多志同道合的朋友拉入团队。如同八万多个汉字,只有3500字常用,8000多个手语手势,也只有一小部分被失语者熟知。

经过天津理工大学聋人工学院的推荐,团队决定先录入400个常用的手语动作。尽管目前,臂环只能逐个翻译手语,实现失语者像普通人一样流利对话,也存在许多技术难题,但她们相信,随着人工智能的成熟,这些都将迎刃而解。

手语识别臂环在联合国获奖

一个多月前,王娜娜团队的手语识别臂环,在联合国和国内一家互联网公司共同举办的创新大赛上,夺得冠军。同台竞技的,还有2074份来自国内外知名高校、科研机构的创新方案。与大多数盯紧收益的项目相比,这份冠军创业计划,显得另类。王娜娜和黄爽说,团队开始做这个项目,只是想解决失语者朋友遇到的难题,没太考虑过赚钱的事。

黄爽:“我们没想通过这个来赚到钱,就是发现了朋友这个迫切的需求,只想帮他们解决这个沟通的问题。”

王娜娜:“这个世界买房的人太多了,谁知道谁。但是你会记得那些,为社会进步做出一点点贡献的人。”

白岩松:让科技进步 打破障碍  白岩松:“科技的发展的确有时太快了,让我们更忙碌、更奔波,但我们还是喜欢科技的进步,因为它帮助我们更健康,很多障碍可以打破,行走及交流更自由、更无障碍。归根到底,让生活更好,让生命更有尊严。所以,让科技更进步吧,说小了,让失语者有方法谈话并交流。”

(原标题:点赞 | 牛!把手语翻译成语音!两名90后女生发明翻译臂环)