摘 要：科技文献检索贯穿于整个科研活动的生命周期，从科研项目的申请、立项，到方案的设计与实现，再到论文的撰写与结题验收，都离不开科技文献检索的支持，传统的科技文献检索方式往往效率低下且准确性不高。近些年，网络爬虫技术被广泛应用于互联网搜索引擎当中，可以按照预先设定好的规则自动地抓取特定网站信息。文章主要介绍了如何使用网络爬虫技术实现科技文献检索，从而大大提高科技文献检索效率及准确性，更好地为科研工作服务。
关键词：科技创新；文献检索；网络爬虫；Python；Selenium
DOI:10.19850/j.cnki.2096-4706.2021.24.038
中图分类号：TP391 文献标识码：A 文章编号：2096-4706（2021）24-0150-03
Application of Web Crawler in Scientific and Technological Literature Retrieval
LONG Xuelei, TIAN Meng, XU Ying, WANG Hong
(Chinese Academy of Customs Administration, Qinhuangdao 066099, China
Abstract: Scientific and technological literature retrieval runs through the whole life cycle of scientific research activities. From the application and establishment of scientific research projects, to the design and implementation of schemes, then to the writing and final acceptance of papers, it is inseparable from the support of scientific and technological literature retrieval. The traditional scientific and technological literature retrieval methods are often inefficient and inaccurate. In recent years, web crawler technology is widely used in Internet search engines, which can automatically grab specific website information according to preset rules. This paper mainly introduces how to use web crawler technology to realize scientific and technological literature retrieval, thus greatly improve the efficiency and accuracy of scientific and technological literature retrieval and better serve for the scientific research work.
Keywords: science and technology innovation; literature retrieval; web crawler; Python; Selenium
参考文献：
[1] 韩玲 . 科技文献检索在科研选题中的重要作用 [J]. 江苏科技信息，2019，36（33）：11-13.
[2] 李刚 . 疯狂 Python 讲义 [M]. 北京：电子工业出版社，2018.
[3] 蒋程燕，孟令琴 . 基于 Python 语言的自动化测试应用实例 [J]. 工业控制计算机，2021，34（10）：109-110+113.
[4] 羊昌燕，邓印凯.基于Selenium的自动化测试框架设计[J]. 信息技术与信息化，2021（10）：65-68.
[5] 夏克付，章晓勤 . 基于 Selenium 自动化测试框架的数据驱动技术研究及应用 [J]. 齐齐哈尔大学学报（自然科学版）， 2019，35（6）：18-22.
[6] 虫师 .Selenium3 自动化测试实战——基于 Python 语言[M]. 北京：电子工业出版社，2019.
[7] 孙瑜.基于Scrapy框架的网络爬虫系统的设计与实现 [D]. 北京：北京交通大学，2019.
[8] 单艳，张帆 . 基于 Python 的网页信息爬取技术研究 [J]. 电子技术与软件工程，2021（14）：238-239.
[9] 樊涛，赵征，刘敏娟 . 基于 Selenium 的网络爬虫分析与实现 [J]. 电脑编程技巧与维护，2019（9）：155-156+170.
[10] 岳金鑫 . 论科技文献检索课程对本科生的必要性 [J]. 文化产业，2021（28）：105-107.
作者简介：龙学磊（1982—），男，汉族，河北秦皇岛人，高级工程师，本科，研究方向：数据分析。