面向订票服务器端爬虫的可视检测方法研究

摘要：

恶意下载爬虫对电子商务造成了不可忽视的损失,为此设计了一套适用于各航空公司的通用查订票爬虫检测系统.首先系统以航线图、柱状图、饼图等多种可视化手段展现各时段的爬虫检测效果; 其次基于SVM分类器,并结合IP地址聚合和查询量排序技术,设计了高效识别动态IP爬虫等多种爬虫的检测算法; 最后通过特征筛选、IP历史详情查询等可视界面支持用户手工筛选训练样本,以更新 SVM 分类模型.以某航空公司访问 E-Build 服务器的日志数据进行的实验结果表明,该系统能够有效地抓取多种爬虫,大大降低无效查询量,并且能方便地更新分类模型,保持检测算法的长效性.

关键词：反爬虫、订票系统、可视分析、支持向量机

所属期刊栏目：30

分类号：TP391.41(计算技术、计算机技术)

资助基金：浙江省自然科学基金LY18F020016

在线出版日期：2018-02-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：20-29