摘 要：针对手写体数据集在卷积神经网络训练时分别使用 sigmoid、tanh、relu 与 mish 激活函数进行实验，对这四种激活函数下训练集误差值收敛曲线以及测试集精度曲线进行算法结果分析，实验结果表明，mish 激活函数在手写体数据集上进行卷积神经网络训练时效果更佳，而同样得出不同的训练数据集、激活函数的选择会影响算法对数据的拟合度和神经网络的收敛性。
关键词：手写体数字识别；mish 激活函数；卷积神经网络；mnist 数据集
DOI:10.19850/j.cnki.2096-4706.2023.04.024
基金项目：2022 年度广西中青年教师科研基础能力提升项目（2022KY0606）；河池学院 2021 年科研启动项目（2021GCC013）；2021 年度广西中青年教师科研基础能力提升项目 (2021KY0620，2021KY0615)
中图分类号：TP391.4；TP183 文献标识码：A 文章编号：2096-4706（2023）04-0095-03
Comparative Study of Activation Functions Based on Handwritten Digital Recognition
SONG Qian, LUO Fugui
(Academy of Big Data and Computer Science, Hechi University, Hechi 546300, China)
Abstract: For the training of Convolution Neural Network for handwritten data sets, sigmoid, tanh, relu and mish activation functions are used to conduct experiments, and the algorithm results are analyzed for the convergence curve of the error value of the training set and the accuracy curve of the test set under these four activation functions. The experimental results show that the mish activation function performs better in the training of Convolution Neural Network on handwritten data sets. It is also concluded that the selection of different training data sets and activation functions will affect the fitting degree of the algorithm to the data and the convergence of the neural network.
Keywords: handwritten digital recognition; mish activation function; Convolutional Neural Network; mnist
参考文献：
[1] 于文生，张轩雄 . 改进误差反向传播法神经网络对手写数字识别 [J]. 电子设计工程，2021，29（23）：20-24.
[2] 高宇鹏，胡众义 . 基于 Keras 手写数字识别模型的改进 [J].计算技术与自动化，2021，40（2）：164-169.
[3] 杨善敏 . 面向异质人脸识别的域不变特征学习方法研究[D]. 成都：四川大学，2021.
[4] QIAO J，WANG G，LI W，et al. An adaptive deep Q-learning strategy for handwriteen digit recognition [J].Neural Networks the Official Jourrnal of the International Netural Network Society，2018，107：61-71.
[5] 宋晓茹，吴雪，高嵩，等 . 基于深度神经网络的手写数字识别模拟研究 [J]. 科学技术与工程，2019，19（5）：193-196.
[6] 杨永翌 . 基于 Keras 框架 MNIST 数据集识别方法研究 [J].汽车实用技术，2019（23）：101-103.
[7] 郭梦洁，杨梦卓，马京九 . 基于 Keras 框架 MNIST 数据集识别模型 [J]. 现代信息科技，2019，3（14）：18-23.
[8] 郭晓敏，黄新 . 改进 YOLOv3 算法在肺结节检测中的应用 [J]. 激光杂志，2022，43（5）：207-213.
[9] 樊继慧，滕少华，金弘林 . 基于改进 Sigmoid 卷积神经网络的手写体数字识别 [J]. 计算机科学，2022，49（12）：244-249.
[10] 董庆伟 . 基于 Keras 深度学习算法在结构化数据分类中的应用研究 [J]. 佳木斯大学学报：自然科学版，2022，40（4）：47-49+54.
[11] 郝雅娴，孙艳蕊 . 基于手写体数字识别的损失函数对比研究 [J]. 电子技术与软件工程，2022（6）：203-206.
[12] 储汇，宋陈，汪晨灿 . 基于 Keras 卷积神经网络的多人脸识别抗干扰研究 [J]. 洛阳理工学院学报：自然科学版，2022，32（1）：62-67.
作者简介：宋倩（1995—），女，汉族，山东莱阳人，助教，硕士，研究方向：深度强化学习、图像识别；罗富贵（1984—），女，壮族，广西来宾人，副教授，硕士，研究方向：数字图像处理、模式识别。