一种基于文法压缩的日志异常检测算法

周薇孟丹韩冀中高赟

中国科学院信息工程研究所;

摘要：

近年来日志挖掘是一种广泛使用的检测应用状态异常的方法.现有的异常检测算法需要大量计算,或者它们的有效性依赖于测试日志满足一些预先定义的日志事件概率分布.因此,它们无法用于在线检测并且在假设不成立时会失效.为了解决这些问题,该文提出了一种新的异常检测算法CADM.CADM使用正常日志和待检测日志之间的相对熵作为异常程度的标识.为了计算相对熵,CADM充分利用了相对熵和文法压缩编码大小之间的关系而不是预先定义日志事件概率分布的族.通过这种方式,CADM避免了对日志分布的预先假设.除此之外,CADM的计算复杂度为O(n),因此在日志较大的情况下有较好的扩展性.通过在仿真的日志和公开日志集上的评测结果可以看出…展开v

关键词：异常检测、文法压缩、日志挖掘、相对熵

所属期刊栏目：37

分类号：TP393(计算技术、计算机技术)

资助基金：the National Natural Science Foundation of ChinaGrant 61070028;National High Technology Research and Development Program 863 Program of ChinaGrant 2012AA01A401;"Strategic Priority Research Program" of the Chinese Academy of Sciences Grant No.XDA06030200.本课题得到国家自然科学基金61070028;国家“八六三”高技术研究发展计划项目基金2012AA01A401;先导专项XDA06030200

在线出版日期：2014-03-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：73-86