基于访问内容类型统计的Web Robot检测算法

摘要：

随着搜索引擎的广泛使用,由此而引起的网络机器人(Web Robot)对于Web站点的访问所产生的影响必须引起重视.该文分析了网络机器人的访问行为特点,提出了一个基于访问内容类型统计的检测算法.经实验验证,该算法可以有效地检测未知的和不遵守网络机器人排斥标准的Robot.

关键词：搜索引擎、网络机器人、内容分类、检测、Web日志

所属期刊栏目：32

分类号：TP3(计算技术、计算机技术)

在线出版日期：2005-10-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：179-181