基于BeautifulSoup+requests和selenium爬虫网页自动化处理的实现和性能对比

摘要：

网络爬虫是一种按照一定的规则,自动地抓取网页信息的程序或者脚本,因此编写特定的网络爬虫可以用来对网页进行自动化处理,从而达到提升工作效率的目的.文章针对同一个任务清单系统,分别使用BeautifulSoup+requests和selenium两种不同的爬虫方法实现了网页自动化处理功能.并且通过对两种方法的实现原理和运行结果进行分析,对两种爬虫方法进行对比.

关键词：爬虫;网页自动化;BeautifulSoup+requests;selenium

所属期刊栏目：5

分类号：TP391(计算技术、计算机技术)

在线出版日期：2022-01-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：10-12,18