摘 要：Nginx 日志详细记录了网站访问信息，可从中了解网站运行实况和用户访问行为，分析 ginx 日志，可洞悉业务整体负载情况，帮助优化服务器结构，避免业务安全和运行事故，提升竞争力。基于 Elasticsearch，构建日志实时采集、清洗、存储的完整日志处理流程，自主开发 Nginx 日志分析平台，实现日志实时分析与可视化，并探讨总结了平台自底向上的高可用设计。在实践中应用表明，该平台具有很高的日志分析、业务洞悉能力，能有效指导智能监控运维工作。
关键词：Nginx；日志分析；Elasticsearch；实时监控；智能监控
DOI:10.19850/j.cnki.2096-4706.2022.06.001
基金项目： 教育部 2021 年第一批产学合作协同育人项目（202101327018）；河南省教育厅 2021 年大学生创新创业训练计划项目（S202110471018）；河南中医药大学 2021 年苗圃工程（MP2021-118）
中图分类号：TP311 文献标识码：A 文章编号：2096-4706（2022）06-0001-08
Research and Implementation of Nginx Log Analysis Platform Based on Elasticsearch
SONG Binwei 1, DENG Wangtao1, MA Chengben1, RUAN Xiaolong2
(1.Shangzhen Shuyuan, Henan University of Chinese Medicine, Zhengzhou 450046, China; 2.School of Information Technology, Henan University of Chinese Medicine, Zhengzhou 450046, China)
Abstract: The Nginx log records the access information of the website in detail, from which we can understand the current operation situation of the website and the user’s access behavior. Analyzing the Nginx log can insight into the overall load situation of the business, help to optimize the server structure, avoid business security and operation accidents, and enhance competitiveness. Based on Elasticsearch, this paper constructs a complete log processing flow of real-time log collection, cleaning and storage, independently develops the log analysis platform of Nginx, realizes real-time log analysis and visualization, and discusses and summarizes the bottom-up high availability design of the platform. The practical application shows that the platform has high ability of log analysis and business insight, which can effectively guide the operation and maintenance of intelligent monitoring.
Keyword: Nginx; log analysis; Elasticsearch; real-time monitoring; intelligent monitoring
参考文献：
[1] 胡庆宝，姜晓巍，石京燕，等 . 基于 Elasticsearch 的实时集群日志采集和分析系统实现 [J]. 科研信息化技术与应用，2016，7（3）：13-18.
[2] 姚攀，马玉鹏，徐春香 . 基于 ELK 的日志分析系统研究及应用 [J]. 计算机工程与设计，2018，39（7）：2090-2095.
[3] VOIT A，STANKUS A，MAGOMEDOV S，et al. Big Data Processing for Full-Text Search and Visualization with Elasticsearch [J].International Journal of Advanced Computer Science and Applications，2017，8（12）：76-83.
[4] 余慧佳，刘奕群，张敏，等 . 基于大规模日志分析的网络搜索引擎用户行为分析 [J]. 中文信息学报，2007，21（1）：109-114.
[5] 陈飞，艾中良 . 基于 Flume 的分布式日志采集分析系统设计与实现 [J]. 软件，2016，37（12）：82-88.
[6] 李祥池 . 基于 ELK 和 Spark Streaming 的日志分析系统设计与实现 [J]. 电子科学技术，2015，2（6）：674-678.
[7] 程苗，陈华平 . 基于 Hadoop 的 Web 日志挖掘 [J]. 计算机工程，2011，37（11）：37-39.
[8] 阮晓龙，贺路路 . 基于 ELK+Kafka 的智慧运维大数据分析平台研究与实现 [J]. 软件导刊，2020，19（6）：150-154．
[9] 周德荣 . 基于 ELK 的高校校园网日志平台研究 [J]. 赤峰学院学报（自然科学版），2019，35（10）：45–47.
[10] 陈亚杰，王锋，邓辉，等 .ElasticSearch 分布式搜索引擎在天文大数据检索中的应用研究 [J]. 天文学报，2016，57（2）：241-251.
[11] 王立柱，朱茜 . 实时日志分析系统在河南气象信息化中的应用 [J]. 气象水文海洋仪器，2018，35（3）：65-69.
[12] 阮晓龙，张浩林 . 基于 ELK 的 Apache 日志实时分析系统探索与分析模型研究 [J]. 电脑与信息技术，2020，28（1）：54-57.
作者简介：宋斌伟（1998—），男，汉族，河南驻马店人，本科在读，研究方向：日志大数据与 AIOps；邓汪涛（2001—），男，汉族，河南开封人，本科在读，研究方向：面向互联网的软件开发；马骋犇（2001—），男，汉族，河南洛阳人，本科在读，研究方向：网络与信息系统的运维管理；通讯作者：阮晓龙（1981—），男，汉族，河南郑州人，副教授，经济学学士学位，工学学士学位，研究方向：智能运维计算机网络软件技术。