当前位置>主页 > 期刊在线 > 计算机技术 >

计算机技术23年6期

基于 Python 的拉勾网网络爬虫设计与实现
冯晓磊
(武汉传媒学院,湖北 武汉 430205)

摘  要:随着科学技术的发展,网络资源对人们的生活产生巨大的影响,为了进一步简化查找和精准定位网络资源,网络爬虫技术日渐兴起。由于 Python 语言的强兼容性,基于 Python 的网络爬虫技术成为了一种主流爬虫技术。针对学生求职的需求,文章采用基于 Python 的网络爬虫技术,设计拉勾网的岗位信息爬取程序,实现了对岗位信息的保存,为后续的查看使用提供便利。


关键词:Python;网络爬虫;数据解析



DOI:10.19850/j.cnki.2096-4706.2023.06.022


中图分类号:TP311                                         文献标识码:A                                  文章编号:2096-4706(2023)06-0085-04


Design and Implementation of Web Crawler for Lagou APP Based on Python

FENG Xiaolei

(Wuhan University of Communication, Wuhan 430205, China)

Abstract: With the development of science and technology, network resources have a huge impact on people's lives. In order to further simplify the search and accurately locate the network resources, Web crawler technology is rising day by day. Due to the strong compatibility of Python language, Web crawler technology based on Python has become a mainstream crawler technology. In response to the needs of seeking jobs of students, this paper adopts the Web crawler technology based on Python to design the job information crawling program of Lagou APP, which realizes the saving of job information and provides convenience for the subsequent viewing and using.

Keywords: Python; Web crawler; data parsing


参考文献:

[1] 李杰秦 . 基于 Python 语言下网络爬虫的技术特点及应用设计 [J]. 数字通信世界,2020(1):209-210.

[2] 张宇超 . 基于标签路径和关键词特征的 Web 新闻抽取方法研究与实现 [D]. 西安:西安电子科技大学,2021.

[3] 孙握瑜.基于Python的新浪微博爬虫程序设计与实现 [J].科技资讯,2022,20(12):34-37.

[4] 裴丽丽 . 基于 Python 对豆瓣电影数据爬虫的设计与实现[J]. 电子技术与软件工程,2019(13):176-177.

[5] 李传科 . 基于 Python 的网页数据爬虫设计分析 [J]. 信息与电脑:理论版,2020,32(24):130-132.

[6] 简悦,汪心瀛,杨明昕 . 基于 Python 的豆瓣网站数据爬取与分析 [J]. 电脑知识与技术,2020,16(32):51-53.

[7] 李鑫欣,关菁华 . 基于 Python 的豆瓣读书网站用户信息采集 [J]. 电脑知识与技术,2019,15(8):4-6.


作者简介:冯晓磊 (1988—),女,汉族,河南汝州人,中级工程师,硕士研究生,研究方向:大数据与人工智能。