基于Python的爬虫技术的网站设计与实现

摘要：

随着爬虫技术的不断完善,其功能越来越强大,也导致数据窃取问题越来越严重.很多网站都采用了反爬虫技术,因此为了正常获取数据,需要一些反爬虫策略.文章设计和实现面向定向网站的网络爬虫程序,使其能满足不同的性能要求,并阐述了定向网站爬虫的细节和应用环节.爬虫可以针对不同的主题网站分析构造URL并去重,多线程技术让爬虫具备更强大的抓取能力.

关键词：Python、爬虫、数据、豆瓣读书网

所属期刊栏目：4

分类号：TP391.3;TP391.1(计算技术、计算机技术)

资助基金：广东省高职高专云计算与大数据专业委员会2019年度课题;中国职业技术教育学会教学工作委员会2019—2020年度职业教育教学改革课题研究1910110;广东环境保护工程职业学院质量工程项目;校企合作项目"环保管家"大数据服务平台建设

在线出版日期：2020-10-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：73-75,78