基于逻辑回归监督学习的大样本日志异常检测优化方法

摘要：

传统基于日志的异常检测方法依赖于人工分析,适用于数据量小的系统,而对于复杂且庞大的日志系统,其检测效率往往很低,无法满足要求.随着机器学习的发展,检测手段发生了根本的转变,检测效率及性能也大幅提高.对于同一个日志系统,针对不同的日志预处理方法及机器学习算法,尤其对日志模板及特征的提取目前还没有统一的成熟模型,导致最后得到较大差异的检测准确率、性能等指标.本文基于监督学习方法提出大样本日志异常检测优化方法,将数据集进行日志解析得到精确的日志模板,再进行日志序列的向量化处理,使用逻辑回归监督学习算法进行分类训练与测试,结合不同的测试指标来选取最佳的参数,最终得到最优模型.实验结果证明,经此方法获取的模型能够达到较优的检测结果.

关键词：监督学习、大样本、日志处理、异常检测

所属期刊栏目：32

分类号：TP301;TP181;TN919.85

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2022-11-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：789-800