摘 要：随着互联网的飞速发展，网络爬虫技术越来越普及，恶意爬虫或技术较差的爬虫占用大量的服务器资源，影响正常用户的网络使用体验。自动化薅羊毛程序给公司带来的直接或间接损失不容小觑，同时还存在泄露用户数据等负面影响。鉴于此，文章设计开发一款反爬虫系统，重点介绍了爬虫的特征及检测技术、功能模块及系统设计、数据库设计。
关键词：反爬虫；网络爬虫；拦截系统；信息安全
DOI:10.19850/j.cnki.2096-4706.2022.07.031
基金项目：凯里学院大学生创新创业训练计划项目（202110669010）；贵州省普通高等学校青年科技人才成长项目（黔教合 KY 字〔2021〕179，黔教合 KY 字〔2021〕180）；黔东南州科技计划项目（黔东南科合J字〔2021〕39号）
中图分类号：TP309 文献标识码：A 文章编号：2096-4706（2022）07-0127-06
Intelligent Interception System for Web Crawler
MA Chaoyong, LI Qiuxian, ZHOU Quanxing
(School of Big Data Engineering, Kaili University, Kaili 556011, China)
Abstract: With the rapid development of the Internet, Web crawler technology is becoming more and more popular. Malicious crawlers or crawlers with poor technology occupy a lot of server resources and affect the network use experience of normal users. The direct or indirect losses brought to the company by the automated wool collection program should not be underestimated. At the same time, there are also negative effects such as leaking user data. In view of this, this paper designs and develops an anti crawler system, focusing on the features of crawlers and detection technology, functional modules and system design, database design.
Keywords: anti crawler; Web crawler; interception system; information security
参考文献：
[1] 丁文豪 . 恶意爬虫主动防御技术研究与实现 [D]. 北京：北京邮电大学，2019.
[2] 池毓森 . 基于 Python 的网页爬虫技术研究 [J]. 信息与电脑（理论版），2021，33（21）：41-44.
[3] 李嘉恩.大数据反爬虫技术的应用分析 [J].无线互联科技，2021，18（24）：82-83.
[4] 陈楚楠 . 大众点评反爬虫系统的设计与实现 [D]. 南京：南京大学，2015.
[5] 杨建 . 分布式网络爬虫技术及对其安全防御研究 [J]. 网络安全技术与应用，2018（4）：6-7.
[6] 丁文豪，武斌 . 一种基于 HTML 动态化的恶意爬虫主动防御方法 [J]. 软件，2019，40（1）：51-56.
作者简介：马超勇（1999—），男，土家族，贵州贵阳人，本科在读，研究方向：计算机科学与技术；李秋贤（1992—），女，汉族，河南焦作人，讲师，硕士，研究方向：密码学、博弈论；通讯作者：周全兴（1987—），男，汉族，贵州绥阳人，副教授，学士，研究方向：信息安全、数据分析。