手语是聋哑人与外界沟通最重要也是最直接的方式。据世界聋人联合会(WFD)公布的数据,全世界目前大约有7000万聋哑人。然而,由于手语的普及程度较低,大多数人并不具备手语基础,因此无法准确理解手语含义,进而导致聋哑人在日常交流中面临诸多障碍。而现有的手语翻译系统在实际应用中又存在灵敏度低、响应时间长、可穿戴性差、工艺复杂、成本高昂等问题。
近日,bat365信息获取与仪器系统研究室杨进教授团队研制了一款柔性无线可穿戴手势翻译系统,该系统由螺旋芯鞘型可拉伸传感阵列和无线电路模块组成;螺旋芯鞘型可拉伸传感阵列最大拉伸应变可达100%,同时具备高灵敏度、快速响应时间以及良好的机械和化学稳定性,可以舒适的贴附在皮肤表面实现关节运动信息和表情变化实时、精确的捕捉;结合无线电路模块与机器学习算法,该系统可以将手语手势直接转换为语音进行输出,系统的识别准确率可达98.63%,平均识别时间< 1s,同时系统的总重量仅为25.8 g,大大提高了手语翻译系统的可穿戴性及实用性。
该研究工作得到了国家自然科学基金等项目资助,文献链接:Nature Electronics, 2020, DOI: 10.1038/s41928-020-0428-6。目前该项工作已分别被Science、Nature Electronics 、Matter作为“研究亮点”进行报道。同时得到了包括MIT Technology Review、Science Daily、TechXplore等在内的多家国外媒体报道。