摘 要：针对现有聋哑人交流困难的问题，文章设计并实现了基于智能眼镜与云服务的聋哑人交流系统。该系统通过智能眼镜平台采集聋哑人的手势和正常人的语音，利用部署在云服务器上的手语识别模型和语音识别模型完成识别，并将识别结果发送至用户智能眼镜，通过所设计的对话交流子模块为用户提供无障碍交流。该系统采用数据缓冲处理可达到实时性要求，采用深度神经网络模型可使手语和语音的识别率分别达到 95.37% 和 97.3%，可广泛应用于聋哑人交流。
关键词：手语识别；语音识别；云服务；蓝牙通信
DOI:10.19850/j.cnki.2096-4706.2022.23.039
基金项目：国家级大学生创新创业训练计划（202110554011）
中图分类号：TP391.4 文献标识码：A 文章编号：2096-4706（2022）23-0151-03
Design of Deaf-mutes Communication System Based on Smart Glasses and Cloud Service
XIE Benqi, JIANG Huan, LIU Youyu, JIANG Lin
(School of Computer Science, Hunan Technology and Business University, Changsha 410205, China)
Abstract: To address difficulty of the existing deaf-mutes communication, we design and implement a deaf-mutes communication system based on smart glasses and cloud services. In this system, we use smart glasses platform to collect deaf-mutes gestures and normal person speech. The sign language recognition models and speech recognition model which are deployed on the cloud server are used to complete recognition, and the recognition results are sent to use's smart glasses. Provide users with barrier free communication through the designed dialogue and communication sub module. The system can meet the real-time requirement by using data buffer processing, and the recognition rate of sign language and speech can reach 95.37% and 97.3% respectively by using deep neural network model, which can be widely used in the communication of deaf-mutes.
Keywords: sign language recognition; speech recognition; cloud service; Bluetooth communication
参考文献：
[1] 国家统计局 . 第二次全国残疾人抽样调查结果正式发布 [EB/OL].[2022-06-25].http://www.stats.gov.cn/tjgz/ tjdt/200612/t20061205_16908.html.
[2] 世界卫生组织 . 耳聋和听力损失 [EB/OL].[2022-06-19].https://www.who.int/zh/news-room/fact-sheets/detail/ deafness-and-hearing-loss.
[3] 环球网 . 美加州大团队研发特殊手套可实现手语转语 音 [EB/OL].[2022-06-24].https://3w.huanqiu.com/a/ c36dc8/3z2wV7qmLo7.
[4] 杨淑莹，田迪，郭杨杨，等 . 仿真手语翻译系统开发 [J]. 计算机仿真，2022，39（2）：278-282+418.
[5] 王卫民，贺冬春 . 自然手语翻译器系统设计和实现 [J]. 无线互联科技，2015（15）：41-42.
[6] 李浩亮，毛晓波，宋纪元，等 . 智能仿生双向手语翻译系统 [J]. 电子技术应用，2016，42（7）：83-86.
[7] PIGOU L，DIELEMAN S，Kindermans P J，et al. Sign Language Recognition Using Convolutional Neural Networks [C]// European Conference on Computer Vision.Zurich：Springer，2014：572-578.
[8] KOPUKLU O，GUNDUZ A，KOSE N，et al. Real-time Hand Gesture Detection and Classification Using Convolutional Neural Networks [C]//2019 14th IEEE International Conference on Automatic Face and Gesture Recognition. Lille：IEEE，2019：1-8.
[9] WEN B，LIU Y H，MAO W F .Bluetooth connection establishing method：US20190116621A1 [P].2019-04-18.
[10] 祝志远，张庆辉 . 基于 OpenCV 实现 Android 系统对摄像头的调用及操作 [J]. 信息与电脑（理论版），2015（4）：3-4.
[11] 唐武生，田立红，曹伟.Base64编码的实现与应用研究 [J].长春大学学报，2006（4）：69-72.
作者简介：谢本齐（2001—），男，汉族，湖南衡阳人，本科在读，研究方向：机器学习；江焕（2001—），男，汉族，湖南衡阳人，本科在读，研究方向：计算机视觉；刘又瑜（2002—），女，汉族，湖南郴州人，本科在读，研究方向：计算机视觉；通讯作者：姜林（1977—），男，汉族，湖南常德人，副教授，博士，研究方向：智能语音处理。