基于Pyspider的网络爬虫架构的分析与优化

摘要：

为了从互联网海量数据中获取数据资源,实现对前沿技术动态的监控,使用Pyspider框架定时爬取大批网站的信息,并通过python脚本定时将爬取的数据导入到业务系统中.最初,系统采用了Pyspider官方推荐的分布式架构,在使用中发现存在任务队列容易堵塞、受网络质量影响大、获得的数据不利于统计和使用等问题.针对上述问题和业务需要,对Pyspider框架进行优化,将分布式架构转变为集群式架构;剥离与网页内容获取和保存不相关的任务,在Pyspider框架外独立完成.经测试,改进后的架构工作效率和稳定性大幅提升,达到了预期的效果.

关键词：Pyspider、网络爬虫、分布式、集群

分类号：TP29(自动化技术及设备)

在线出版日期：2023-05-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：9-12