摘 要：智能问答是自然语言处理领域一个非常热门的研究方向，其综合运用了很多自然语言处理技术。为提高智能问答系统的正确性和准确性，文章提出了融合注意力机制的 Unified-Transformer 模型。在数据集上对提出的算法进行了测试，实验结果表明，相较于常用的模型，该模型可以更好地解决问答问题，提升问答系统的精度，可以为其他领域的问答系统提供全新的思路。
关键词：记忆网络；智能问答；Transformer
DOI:10.19850/j.cnki.2096-4706.2021.23.031
中图分类号：TP391.1；TP18 文献标识码：A 文章编号：2096-4706（2021）23-0123-05
Research on Unified-Transformer Automatic Question Answering System Integrating Attention Mechanism
PEI Mingxuan1 , FENG Yanhong2 , WANG Jinyu1
(1.School of Information Engineering, Dalian Ocean University, Dalian 116023, China; 2.Key Laboratory of Marine Information Technology of Liaoning Province, Dalian Ocean University, Dalian 116023, China)
Abstract: Intelligent question answering is a very popular research direction in the field of natural language processing. It comprehensively uses many natural language processing technologies. In order to improve the correctness and accuracy of intelligent question answering system, this paper proposes the Unified-Transformer model integrating attention mechanism. The proposed algorithm is tested on the data set. The experimental results show that compared with the commonly used models, the model can better solve the question answering problem, improve the accuracy of the question answering system, and can provide a new idea for the question answering system in other fields.
Keywords: memory network; intelligent question answering; Transformer
参考文献：
[1] 郑实福，刘挺，秦兵，等 . 自动问答综述 [J]. 中文信息学报，2002（6）：46-52.
[2] 毛先领，李晓明 . 问答系统研究综述 [J]. 计算机科学与探索，2012，6（3）：193-207.
[3] SHI M. Knowledge Graph Question and Answer System for Mechanical Intelligent Manufacturing Based on Deep Learning [J]. Mathematical Problems in Engineering，2021：1-8.
[4] WEIZENBAUM J. ELIZA—a computer program for the study of natural language communication between man and machine [J]. Communications of the ACM，9（1）：6–45.
[5] CARPENTER R. Jabberwacky [EB/OL].[2021-08-16].http：// www.jabberwacky.com.
[6] WALLACE R S.The Anatomy of A.L.I.C.E. [M]//EPSTEIN R，ROBERTS G，BEBER G.Parsing the Turing Test，Dordrecht： Springer，2009.
[7] COLBY K M，WEBER S，HILF F D. Artificial paranoia [J]. Artificial Intelligence，1971，2（1）：1-25.
[8] CHEN Y，WY L F，ZAKI M J. Bidirectional Attentive Memory Networks for Question Answering over Knowledge Bases [J/ OL].arXiv：1903.02188 [cs.CL].（2019-03-06）.https://arxiv.org/ abs/1903.02188.
[9] MILLER A，FISCH A，DODEG J，et al. Key-Value Memory Networks for Directly Reading Documents [J/OL].arXiv： 1606.03126 [cs.CL].（2016-06-09）.https://arxiv.org/abs/1606.03126.
[10] ZAREMBA W，SUTSKEVER I，VINYALS O. Recurrent Neural Network Regularization [J/OL].arXiv：1409.2329 [cs.NE]. （2014-09-08）.https://arxiv.org/abs/1409.2329.
[11] 胡新辰 . 基于 LSTM 的语义关系分类研究 [D]. 哈尔滨：哈尔滨工业大学，2015.
[12] 杨鹤，于红，孙哲涛，等 . 基于双重注意力机制的渔业标准实体关系抽取 [J]. 农业工程学报，2021，37（14）：204-212.
[13] TAI K S，SOCHR R，MANNING C D. Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks [C]//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing.Beijing：Association for Computational Linguistics，2015：1556-1566.
[14] 李洋，董红斌 . 基于 CNN 和 BiLSTM 网络特征融合的文本情感分析 [J]. 计算机应用，2018，38（11）：3075-3080.
[ 1 5 ] F a c e b o o k I n c . E N D - T O - E N D M EM O R Y NETWORKS：US20170200077A1 [P].2017-07-13.
[16] 黄立威，江碧涛，吕守业，等 . 基于深度学习的推荐系统研究综述 [J]. 计算机学报，2018，41（7）：1619-1647.
[17] HU R H，SINGH A. UniT：Multimodal Multitask Learning with a Unified Transformer [J/OL].arXiv：2102.10772 [cs.CV].（2021- 02-22）.https://arxiv.org/abs/2102.10772.
[18] VASWANI A，SHAZEER N，PARMAR N，et al. Attention Is All You Need [J/OL].arXiv：1706.03762 [cs.CL].（2017-06-12）. https://arxiv.org/abs/1706.03762.
[19] ZHU F R，ZHU Y，ZHANG L，et al. A Unified Efficient Pyramid Transformer for Semantic Segmentation [J/ OL].arXiv:2107.14209 [cs.CV].（2021-07-29）.https://arxiv.org/ abs/2107.14209.
[20] XIAO Y Q，LI Y ，YUAN A，et al. History-based attention in Seq2Seq model for multi-label text classification [J/OL]. KnowledgeBased Systems，2021，224（19）：107094. [2021-08-27].https://doi. org/10.1016/j.knosys.2021.107094.
作者简介：裴鸣轩（1997—），男，汉族，河北衡水人，硕士研究生在读，研究方向：自然语言处理；冯艳红（1980—），女，汉族， 黑龙江绥化人，副教授，硕士研究生，研究方向：自然语言处理、 机器学习。王金玉（1995—），女，蒙古族，河南南阳人，硕士研 究生在读，研究方向：自然语言处理、机器学习。