对反爬虫网站的应对策略

摘要：

随着网络的发展和网络爬虫技术的普及,越来越多的个人用户使用了网络爬虫技术从网站获取信息,而过多的网络爬虫会对目标网站的运营造成一定的影响.某些网站为了防止自己的网站不被除搜索引擎以外的网络爬虫访问,使用了一些反爬虫技术.笔者探讨了一些常见的反爬虫措施以及对应用了该类机制的网站的进行爬虫活动的手段和策略.

关键词：网络爬虫、反爬虫、反反爬虫、抓取策略、分布式爬虫

所属期刊栏目：13

分类号：TP393(计算技术、计算机技术)

在线出版日期：2017-07-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：19-21,23