摘 要：近年来，多模态情感分析技术业已成为深度学习和自然语言处理领域的热门研究课题。情感分析是指利用计算机高效的计算和学习能力识别发表意见者的主观意向或情感态度，多模态则是指融合不同模态的信息以提高情感识别的准确性与稳定性。文章首先从情感分析技术的研究现状出发，介绍了传统单模态情感分析的分析角度及应用技术，接下来阐述了多模态融合方法并分析其优劣势，最后讨论了多模态情感技术的应用领域及发展前景。
关键词：多模态情感分析；深度学习；机器学习；自然语言处理
DOI:10.19850/j.cnki.2096-4706.2022.10.019
中图分类号：TP368 文献标识码：A 文章编号：2096-4706（2022）10-0078-04
Research on Application of Multi-modal Emotion Analysis Technology
ZHAO Zhiwen
(Changwang School of Honors, Nanjing University of Information Science & Technology, Nanjing 210044, China)
Abstract: In recent years, multi-modal emotion analysis technology has become a hot research topic in the fields of deep learning and natural language processing. Emotion analysis refers to the use of computers’ efficient computing and learning ability to identify the subjective intention or sentiment attitude of the speaker. Multi-modal refers to the integration of different modal information to improve the accuracy and stability of emotion recognition. Firstly, starting from the research status of emotion analysis technology, this paper introduces the analysis angle and application technology of traditional single-modal emotion analysis, then expounds the multi-modal fusion method and analyzes its advantages and disadvantages, and finally discusses the application fields and development prospect of multi-modal emotion technology.
Keywords: multi-modal emotion analysis; deep learning; machine learning; natural language processing
参考文献：
[1] ZHANG Y Z，RONG L，SONG D W，et al. A Survey on Multimodal Sentiment Analysis [J].Pattern Recognition and Artificial Intelligence，2020，33（5）：426-438.
[2]刘继明，张培翔，刘颖，等.多模态的情感分析技术综述 [J].计算机科学与探索，2021，15（7）：1165-1182.
[3] SUN Y Y，JIA Z T，ZHU H Y. Survey of multimodal deep learning [J].Computer Engineering and Applications，2020，56（21）：1-10.
[4] YANG S，LI S C，ZHENG L，et al. Emotion mining research on micro-blog [C]//2009 1st IEEE Symposium on Web Society. Lanzhou：IEEE，2009：71-75.
[5] ZADEH A，ZELLERS R，PINCUS E，et al. MOSI: Multimodal Corpus of Sentiment Intensity and Subjectivity Analysis in Online Opinion Videos[J/OL].arXiv:1606.06259 [cs.CL].[2022-03-25].https://ui.adsabs.harvard.edu/ abs/2016arXiv160606259Z/abstract.
[6] ZHENG W L，LU B L. Investigating Critical Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks [J].IEEE transactions on autonomous mental development，2015，7（3）：162-175.
[7] SUN X，PAN T，REN F J. Expression recognition using ROI-KNN deep convolutional neural networks [J].Acta Automatica Sinica，2016，42（6）：883-891.
[8] YOU Q，LUO J，JIN H，et al. Robust Image Sentiment Analysis Using Progressively Trained and Domain Transferred Deep Networks [J/OL].arXiv:1509.06041v1 [cs.CV].[2022-03-26].https://doi.org/10.48550/ arXiv.1509.06041v1.
[9] YUAN J，MCDONOUGH S，YOU Q，e t al .
Sentribute: image sentiment analysis from a mid-level perspective [J].Higher Education Research & Development， 1993，12（2）：131-142.
[10] PANG B. Thumbs up Sentiment Classification Using Machine Learning Techniques [J/OL].arXiv:cs/0205070v1 [cs. CL].[2022-03-20].https://arxiv.org/abs/cs/0205070v1.
[11] 杨爽，陈芬，基于 SVM 多特征融合的微博情感多级分类研究 [J]. 数据分析与知识发现，2017，1（2）：73-79.
[12] ALI Y，AMENEH G S，OSMAR R Z. Current State of Text Sentiment Analysis from Opinion to Emotion Mining [J].ACM Computing Surveys (CSUR)，2017，50（2）：1-33.
[13] 余伶俐，蔡自兴，陈明义 . 语音信号的情感特征分析与识别研究综述 [J]. 电路与系统学报，2007（4）：76-84.
[14] 赵力，钱向民，邹采荣，等 . 语音信号中的情感特征分析和识别的研究 [J]. 通信学报，2000（10）：18-24.
[15] 赵力，将春辉，邹采荣，等 . 语音信号中的情感特征分析和识别的研究 [J]. 电子学报，2004（4）：606-609.
[16] YOU Q，LUO J，JIN H，et al. Cross-modality Consistent Regression for Joint Visual-Textual Sentiment Analysis of Social Multimedia [C]//ACM，2016：13-22.
[17] PORIA S. Fusing audio, visual and textual clues for sentiment analysis from multimodal content-ScienceDirect [J].Neurocomputing，2016，174（PA）：50-59.
[18] 陈珂，梁斌，柯文德，等 . 基于多通道卷积神经网络的中文微博情感分析 [J]. 计算机研究与发展，2018，55（5）：945-957.
[19] 黄欢，孙力娟，曹莹，等 . 基于注意力的短视频多模态情感分析 [J]. 图学学报，2021，42（1）：8-14.
[20] ZADEH A，ZELLERS R，PINCUS E，et al. Multimodal Sentiment Intensity Analysis in Videos: Facial Gestures and Verbal Messages [J].IEEE Intelligent Systems， 2016，31（6）：82-88.
[21] 张玥 . 面向产品评价的细粒度情感分析技术研究 [D]. 哈尔滨：哈尔滨工业大学，2013.
[22] 张继东，蒋丽萍 . 基于多模态深度学习的旅游评论反讽识别研究 [J/OL]. 情报理论与实践：1-14[2022-04-02].http://kns.cnki.net/kcms/detail/11.1762.G3.20220128.1258.002.html.
[23] 范涛，吴鹏，王昊，等 . 基于多模态联合注意力机制的网民情感分析研究 [J]. 情报学报，2021，40（6）：656-665.
作者简介：赵之文（2000—），男，汉族，江苏徐州人，本科在读，研究方向：计算机科学与技术。