当前位置>主页 > 期刊在线 > 信息技术 >

信息技术2019年20期

基于Python 的网络爬虫研究
李俊华
(哈尔滨广厦学院 信息学院,黑龙江 哈尔滨 150025)

摘  要:随着大数据与人工智能时代的来临,有效地获取和利用信息成为了一项挑战,从而使网络爬虫越来越受到人们的重视与青睐。Python 以其简单和强大的功能在网络爬虫方向脱颖而出。本文将介绍有关Python 网络爬虫的相关知识,同时实现一次爬取豆瓣影评评论,并运用可视化库生成词云,并对其进行分析。


关键词:网络爬虫;Python;可视化



中图分类号:TP393.092;TP391.3         文献标识码:A         文章编号:2096-4706(2019)20-0026-03


Research on Web Crawler Based on Python

LI Junhua

(School of Information,Harbin Guangsha College,Harbin 150025,China)

Abstract:With the advent of the era of big data and artificial intelligence,how to effectively acquire and utilize information has become a challenge,and online crawlers have become more and more popular and favored by people. Python stands out in the direction of web crawlers with its simple and powerful features. This article will introduce you to the Python web crawler and implement a crawling Douban review commentary and use the visual library to generate a word cloud to analyze it.

Keywords:web crawler;Python;visualization


课题项目:本文系黑龙江省教育科学规划2018 年度省青年专项课题(项目编号:GJD1318004)成果。


参考文献:

[1] 常逢佳,李宗花,文静,等. 基于Python 的招聘数据爬虫设计与实现 [J/OL]. 软件导刊:1-4.[2019-08-13].http://kns.cnki.net/kcms/detail/42.1671.TP.20190731.1013.042.html.

[2] 张露. 网络爬虫技术在大数据审计中的应用 [J]. 合作经济与科技,2019(7):190-192.

[3] 李俊华. 基于Python 的数据分析 [J]. 电子技术与软件工程,2018(17):167.


作者简介:李俊华(1988-),女,汉族,黑龙江哈尔滨人,讲师,硕士研究生,研究方向:大数据、Python。