摘 要：本文通过对基于字符的长短记忆递归神经网络的研究与实现，探究了其在自然语言模型中的应用，并选用了小说《挪威的森林》对递归神经网络进行了训练与文本生成，总结了不足之处，探讨了未来应该解决的问题与研究方向。研究结果表明递归神经网络仅能学会字与字或词与词之间在表面的连接或变化关系，而自然语言不仅仅是文字表面的异同，更多的是字里行间中情感或思维上的变化，这些是一组序列数据所不能表达的。因此，未来自然语言模型应更加注重对于文字间情感和思维的学习，构建更接近自然语言的模型。
关键词：长短记忆单元；递归神经网络；自然语言处理；字词嵌入
中图分类号：TP391.1；TP183 文献标识码：A 文章编号：2096-4706（2018）08-0012-03
Research and Implementation of Character-based Recurrent Neural Network inChinese Language Model
WU Yifan，ZHU Longjiao，SHI Junping
（College of Information Science and Engineering，Jishou University，Jishou 416000，China）
Abstract：Through the research and implementation of character-based recursive neural networks of long and short memory，thisessay explored its application in natural language models，and selected the novel Forest in Norway to train recurrent neural networks andgenerate the corresponding text. Summed up the shortcomings，discussed the problems and research directions that should be solved inthe future. The research results show that the recurrent neural network can only learn the connection or change relations between word andwords or words on the surface，and the natural language is not only the similarities and differences between the surface of the words，but also more changes in emotions or thoughts between lines. These are a group of sequence data far from being able to express，so in thefuture natural language models should pay more attention to the study of sentiment and thinking between words to build a model that iscloser to natural language.
Keywords：long short term memory unit；recursive neural network；natural language processing；word embedding
参考文献：
[1] 彭程. 基于递归神经网络的中文自然语言处理技术研究 [D]. 南京：东南大学，2014.
[2] 李长亮. 基于神经网络的自然语言处理研究 [D]. 北京：中国科学院大学，2015.
[3] 梁天新，杨小平，王良，等. 记忆神经网络的研究与发展 [J].软件学报，2017，28（11）：2905-2924.
[4] 张晓. 基于LSTM 神经网络的中文语义解析技术研究 [D].南京：东南大学，2017.
[5] 吴禀雅，魏苗. 从深度学习回顾自然语言处理词嵌入方法 [J]. 电脑知识与技术，2016，12（36）：184-185.
[6] Liu P，Qiu X，Huang X. Learning context-sensitive wordembeddings with neural tensor skip-gram model [C]//InternationalConference on Artificial Intelligence. AAAI Press，2015：1284-1290.
[7] 张钹，张铃. 人工神经网络的设计方法 [J]. 清华大学学报（自然科学版），1998（S1）：4-7.
作者简介：
伍逸凡（1996.11-），男，汉族，湖南人，本科，研究方向：深度学习。
石俊萍（1974.10-），女，苗族，湖南花垣人，副教授，硕士研究生，研究方向：大数据分析与处理。