摘 要：教学系统中的人机互动一直是智慧教育的重要研究议题，文章提出基于骨骼信息的手势识别互动教学系统。系统采用姿态识别算法提取手势关节点、基于关节点信息构建 LSTM 神经网络模型，进行模型训练预测，实现对手势动作进行识别，将手势动作与课堂教学答题进行体感交互，将课堂教学过程游戏化，让学生不仅体验到体感交互课堂的乐趣，提高了学习兴趣，也对课本上的知识理解更深刻。
关键词：深度学习；姿态识别；手势识别
DOI:10.19850/j.cnki.2096-4706.2023.03.018
基金项目：2022 年度广州市基础研究计划基础与应用基础研究项目（202201011753）；广东省教育厅青年创新人才类项目（2019GKQNCX043）；广东省教育厅 2021 年度普通高校重点科研项目（2021ZDZX3040）；广东省教育科学规划课题（2018GXJK318）
中图分类号：TP391.4 文献标识码：A 文章编号：2096-4706（2023）03-0079-04
Hand Gesture Recognition Interaction System Based on Skeletal Information
HU Jianhua 1, LIU Xiaolin1, ZHONG Yunfeng1, LUO Guixiang2, ZHANG Haoxian1
(1.Computer Engineering Technical College, Guangdong Polytechnic of Science and Technology, Zhuhai 519090, China; 2.School of Computer Science, Guangdong Polytechnic Normal University, Guangzhou 510665, China)
Abstract: The human-computer interaction in teaching systems is an important research topic in smart education. This paper proposes the hand gesture recognition interactive teaching system based on skeletal information. The system extracts hand gesture nodes using a gesture recognition algorithm, builds an LSTM neural network model based on the node information, performs model training and prediction, recognizes hand gesture actions, physically interacts the hand gesture actions with classroom teaching and answering questions, and achieves the gamification of the classroom teaching process. So that students not only enjoy the fun of the physically interactive classroom, but also improve their interest in learning, and have a deeper understanding of the knowledge in the textbooks.
Keywords: deep learning; gesture recognition; hand gesture recognition
参考文献：
[1] 翟雪松，史聪聪 .《教育信息化十年发展规划（2011-2020年）》的实施现状、挑战与展望 [J]. 现代教育技术，2020，30（12）：20-27.
[2] 葛永普 . 构“六新”智慧课堂，促学生深度学习 [J]. 贵州教育，2022（1）：37-39.
[3] 董琪琪，刘剑飞，郝禄国，等 . 基于改进 SSD 算法的学生课堂行为状态识别 [J]. 计算机工程与设计，2021，42（10）：2924-2930.
[4] 胡建华，张军，吴伟美，等 . 基于深度学习的课堂行为识别系统 [J]. 电子技术与软件工程，2021（20）：103-105.
[5] 苏超，王国中 . 基于改进 OpenPose 的学生行为识别研究[J]. 计算机应用研究，2021，38（10）：3183-3188.
[6] 吴彩芳，谢钧，俞璐 . 基于骨骼和深度信息的手势识别的研究与应用 [J]. 计算机技术与发展，2016，26（8）：200-204.
[7] 高翔 . 基于手势识别的虚实交互技术研究 [J]. 电子制作，2022，30（9）：88-90+52.
[8] PALACIOS J M，SAGÜÉS C，MONTIJANO E，et al. Human-Computer Interaction Based on Hand Gestures Using RGB-D Sensors [J].Sensors，2013，13（9）：11842-11860.
作者简介：胡建华（1984—），男，汉族，湖南娄底人，高级工程师，硕士，研究方向：图像视频处理、计算机视觉、深度学习；通讯作者：刘晓林（1978—），男，汉族，湖南怀化人，高级工程师，硕士，研究方向：移动应用开发、IT 项目管理、虚拟现实。