基于Scrapy框架的分布式网络爬虫的研究与实现

摘要：

针对网络爬虫开发时面临的攻防、去重和爬取效率等问题,通过着重分析基于Scrapy框架的分布式知乎网络爬虫的工作原理和实现方式以及一些关于分布式运行原理、反爬虫、去重算法、Redis数据库、MongoDB数据库等方面的技术,设计和实现了基于Scrapy框架的分布式网络爬虫.最后通过对该爬虫的对比测试分析,得出了如何提高爬虫的爬取效率和避免网站反爬的应对策略.

关键词：网络爬虫、分布式、Scrapy、Redis

所属期刊栏目：8

分类号：TP391.3(计算技术、计算机技术)

资助基金：国家自然科学基金61402227

在线出版日期：2018-08-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：46-50