当前位置>主页 > 期刊在线 > 信息技术 >

信息技术2020年2期

基于Golang 的地震数据共享平台Crawlab 爬虫框架的实现
黄诗涵,韦廷岳,靳一飞,黄猛
(防灾科技学院,河北 三河 065201)

摘  要:网络技术快速发展,信息资源多种多样,面对具有范围广、信息量大等特点的地震数据共享平台,如何快速又准确地抓取有用的相关信息十分重要,因此爬虫为该地震数据共享平台的重要技术之一。构建使用Docker 部署的基于Golang 的Crawlab 的爬虫框架进行数据爬取及数据处理的地震数据共享平台,解决传统爬虫技术在面对庞大数据量时会出现的效率低下问题。


关键词:地震数据;地震数据共享;Golang;Docker;数据处理



中图分类号:TP391.3;P315.69         文献标识码:A         文章编号:2096-4706(2020)02-0028-02


Implementation of Crawlab Crawler Framework for Sharing Platform of Seismic Data Based on Golang

HUANG Shihan,WEI Tingyue,JIN Yifei,HUANG Meng

(Institute of Disaster Prevention,Sanhe 065201,China)

Abstract:With the rapid development of network technology and a variety of information resources,the seismic data sharing platform with wide range and large amount of information is facing,it is very important to grasp useful information quickly and accurately in the face of the seismic data sharing platform with wide range and large amount of information. Therefore,crawler is one of the important technologies of the seismic data sharing platform. A crawler framework of Crawler based on Golang deployed by Docker is constructed to share seismic data for data crawling and data processing,so as to solve the inefficient problem of traditional crawler technology in the face of huge data volume.

Keywords:seismic data;seismic data sharing;Golang;Docker;data processing


基金项目:地震震害防御专项项目;中央高校基本科研业务费专项项目(ZY20180124)


参考文献:

[1] 詹小艳,许红梅,朱升初,等. 江苏省地震科学数据共享平台技术研究 [J]. 防灾科技学院学报,2012,14(1):57-63.

[2] 袁媛,尹京苑. 上海地震科学数据共享服务平台建设 [J].华北地震科学,2014,32(1):16-21.

[3] 高贤康. 浅析Docker 技术在Web 服务系统中的应用 [J].电脑迷,2017(6):55.

[4] 唐晓光. 基于订阅机制的数据共享平台的研究与设计 [D].大庆:东北石油大学,2013.

[5] 田建勇. 基于云计算的Web 数据挖掘研究 [J]. 信息安全与技术,2015,6(4):29-30.

[6] 孙冰. 基于Python 的多线程网络爬虫的设计与实现 [J].网络安全技术与应用,2018(4): 38-39.

[7] 王静. 面向互联网舆情分析的海量数据检索模型关键技术研究 [D]. 北京:首都师范大学,2013.

[8] 孙立伟,何国辉,吴礼发. 网络爬虫技术的研究 [J]. 电脑知识与技术,2010,6(15):4112-4115.


作者简介:黄诗涵(2000.03-),女,汉族,河南驻马店人,本科,学士学位,研究方向:人工智能和软件开发应用。