当前位置>主页 > 期刊在线 > 信息技术 >

信息技术2020年22期

基于豆瓣网某系列电影数据采集与可视化分析
黄蓉,毛红霞
(四川大学锦城学院 计算机与软件学院,四川 成都 611731)

摘  要:文章基于Python 程序设计实现了对豆瓣网站上《小时代》系列电影影评、剧照、歌曲的爬取,并针对爬取的影评做出相应的数据清洗以及数据可视化的展示。通过爬取豆瓣网站电影影评及相关剧照,分析大众对电影的态度以及电影本身的特色,并对影评数据进行清洗,进而通过数据可视化的具体形式直观的展现观众的评价,从而解释某种关于影视作品的现象。


关键词:网络爬虫;数据采集;影评;可视化



中图分类号:TP393.09         文献标识码:A        文章编号:2096-4706(2020)23-0004-04


Data Collection and Visual Analysis of a Series of Films Based on Douban.com

HUANG Rong,MAO Hongxia

(School of Computer and Software,Jincheng College of Sichuan University,Chengdu 611731,China)

Abstract:Based on Python program design,this paper realized crawling of film reviews,stills and songs of Tiny Times series on Douban.com,and made corresponding data cleaning and data visual display for crawling of film reviews. Through crawling the film reviews and relevant stills on Douban.com,analyze the public’s attitude towards the film and the characteristics of the film itself,and clean the film review data,and then intuitively show the audience’s comments through the specific form of data visualization,so as to explain a certain phenomenon about film and television works.

Keywords:web crawler;data collection;film review;visualization


参考文献:

[1] 温佐承,贾雪. 基于Python 的网络爬取 [J]. 电脑编程技巧与维护,2020(12):23-24+32.

[2] 赵文杰,古荣龙. 基于Python 的网络爬虫技术 [J]. 河北农机,2020(8):65-66.

[3] 刘石磊. 对反爬虫网站的应对策略 [J]. 电脑知识与技术,2017,13(15):19-21+23.

[4] 伏康,杜振鹏. 网站反爬虫策略的分析与研究 [J]. 电脑知识与技术,2019,15(28):28-30.

[5] 陈利婷. 大数据时代的反爬虫技术 [J]. 电脑与信息技术,2016,24(6):60-61.

[6] 张岩. 大数据反爬虫技术分析 [J]. 信息系统工程,2018(8):130.

[7] 朱寅非. 数据可视化应用领域及作用 [J]. 电子技术与软件工程,2020(16):149-150.


作者简介:

黄蓉(1999—),女,汉族,四川成都人,本科在读,研究方向:大数据分析;

毛红霞(1981—),女,汉族,宁夏石嘴山人,副教授,硕士,研究方向:大数据、人工智能。