摘 要：面部表情能够反映人的内心情绪，在智慧课堂真实场景中识别学生面部表情从而获知学生的学习状态一直是研究的热点与难点。文章对图像进行预处理，然后分别输入到卷积神经网络层提取特征，并使用长短期记忆神经网络与提取到的特征融合。最后，将它们加权融合在一起，通过 Softmax 层对人脸表情进行分类。分别使用 JAFFE 等 4 个数据集、智慧课堂真实场景验证模型准确性，结果表明所提出的模型具有较强的泛化能力。
关键词：人脸表情；CNN；LSTM；智慧课堂
DOI:10.19850/j.cnki.2096-4706.2022.01.023
课题项目： 2020 年湖南省教育厅科学研究项目（20C1240）
中图分类号：TP391.4；TP18 文献标识码：A 文章编号：2096-4706（2022）01-0086-04
Research on Facial Expression Recognition Based on Deep Learning
LIU Jinfeng1, HUANG Jiangfeng2
(1. School of Electronic Commerce, Hunan International Business Vocational College, Changsha 410200, China; 2.Hunan Aerospace Jiecheng Electronic Equipment Co., Ltd., Changsha 420205, China)
Abstract: Facial expressions can reflect people’s inner emotions. It has always been a hot and difficult research topic to recognize students’ facial expressions in real scenes of smart classrooms to know their learning status. This paper preprocesses the images, then inputs them to the convolutional neural network (CNN) layer to extract the features, and uses the long and short-term memory (LSTM) neural network to fuse with the extracted features. Finally, they are weighted and fused together to classify facial expressions through a Softmax layer. The accuracy of the model is verified by using respectively 4 datasets including JAFFE and the real scene of the smart classrooms, and the results show that the proposed model has strong generalization ability.
Keywords: facial expression; CNN; LSTM; smart classroom
参考文献：
[1]K ELTNER D， EKMAN P. Facial Expression of Emotion [M]. Handbook ofEmotions 3rd. New York: The Guilford Press， 2010: 173-183.
[2] Lancet T. Communication without Words[J]. University of East London， 1968， 24（23）: 1084-5.
[3] 魏为民，孟繁星等 . 人脸表情识别综述 [J]. 上海电力大学学报，2021（12）：597-602.
[4] 景晨凯，宋涛等 . 基于深度卷积神经网络的人脸识别技术综述 [J]. 计算机应用与软件，2018（1）：223-231.
[5] 靳显智，林霏等 . 基于 CNN 的面部表情识别算法 [J]. 齐鲁工业大学学报，2021（6）：64-69.
[6] 程换新，王雪等 . 基于 CNN 和 LSTM 的人脸表情识别模型设计 [J]. 电子测量技术，2021（9）：160-164.
[7] 周丽芳，刘俊林等 . 深度二值卷积网络的人脸表情识别方法 [J]. 计算机辅助设计与图形学学报，2022（1）：1-12.
[8] 陈汤慧，高美凤 . 基于 ME-Xception 卷积神经网络的微表情识别 [J]. 信号处理，2021（12）：1-12.
[9] 王涛，彭欣荣等 . 基于几何特征和 LBP 特征融合的笑脸识别算法的研究 [J]. 电子测试，2021（12）：52-54.
[10] 吕秀丽，黄兆昊等 . 基于改进 LBP 和 DBN 的人脸识别算法研究 [J]. 工业仪表与自动化装置，2021（5）：80-82.
作者简介：刘锦峰（1982—），女，汉族，湖南娄底人，副教授，硕士，主要研究方向：高职教育、智能教育、电子商务。