基于网络数据自动提取的爬虫设计与实现

摘要：

"互联网+"的兴起打破了数据信息的壁垒,网络爬虫被广泛应用于数据采集与数据分析中.以"豆瓣电影top250"为目标,采用基于Python语言的爬虫技术,对比BeautifulSoup、Re和Xpath 3种网页解析方式的不同,完成目标数据的爬取.实验结果表明:在数据解析速度上,Re最优;在网页解析逻辑上,BeautifulSoup最优;在综合使用角度上,Xpath较为适宜.

关键词：网络爬虫、Python、BeautifulSoup、Re、Xpath

所属期刊栏目：30

分类号：TP393(计算技术、计算机技术)

资助基金：安徽省职业与成人教育学会教研规划重点课题;安徽高校自然科学重点研究项目;安徽省教育厅高校质量工程项目

在线出版日期：2023-01-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：74-78