基于日志模板主题特征的日志异常检测  

LTTFAD:Log Template Topic Feature-based Anomaly Detection

作　　者：孙雪奎 戴华[1,2] 周建国 杨庚 陈燕俐[1] SUN Xuekui;DAI Hua;ZHOU Jianguo;YANG Geng;CHEN Yanli(School of Computer Science,Nanjing University of Posts and Telecommunications,Nanjing 210023,China;Jiangsu Key Laboratory of Big Data Security&Intelligent Processing,Nanjing 210023,China)

机构地区：[1]南京邮电大学计算机学院,南京210023 [2]江苏省大数据安全与智能处理重点实验室,南京210023

出　　处：《计算机科学》2023年第6期313-321,共9页Computer Science

基　　金：国家自然科学基金面上项目(61872197,61972209,61902199,61771251);中国博士后自然科学基金(2019M651919);南京邮电大学自然科学基金(NY217119,NY219142)。

摘　　要：在系统安全领域,通过日志来检测软件或者系统异常是一种常用的安全防护手段。随着软件和硬件的快速发展,在大规模的日志记录上进行人工标记变得十分困难,目前已有大量的日志异常检测的相关研究。现有的自动化日志检测模型均使用日志模板作为分类,这些模型的性能以及实用性很容易受到日志模板变化的影响。因此,基于日志模板主题特征的日志异常检测模型LTTFAD被提出,LTTFAD首次引入了LDA主题模型以提取日志模板的主题特征并且通过循环神经网络LSTM实现异常检测。实验结果表明,在HDFS和OpenStack数据集上基于日志模板主题特征的日志异常检测模型LTTFAD的查准率、查全率和调和分数等性能指标均明显优于现有基于日志模板的日志异常检测模型。此外,对于新日志模板的注入,LTTFAD模型依然具有较高的稳定性。In the field of system security,using logs to detect software of system anomalies is a very popular method.With the rapid development of software and hardware,it is hard to perform manual detection on the huge scale of logs.There has been a lot of researches on log anomaly detection.Existing automatic log anomaly detection approaches are all based on log template,which is unstable when log template is modified.This paper proposes a log anomaly detection model based on topic feature of log template.Firstly,it utilizes an LDA topic model to extract topic feature of log template and implements anomaly detection through LSTM recurrent neural network.Experimental results show that the proposed anomaly detection model outperforms the existing models on HDFS and OpenStack datasets in most metrics,such as the precision,recall and F1 Score.In addition,LTTFAD model still has high stability for new log template injection.

关 键 词：异常检测 日志分析 深度学习 LDA 主题特征 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]