基于Spark技术的日志分析平台设计与应用  

作　　者：秦道祥 路阳 张荠月 陆兵 

机构地区：[1]同济大学信息化办公室,上海200092 [2]同济大学电子与信息工程学院,上海200092

出　　处：《中国教育信息化》2021年第19期50-54,共5页Chinese Journal of ICT in Education

摘　　要：日志分析在网络监控、故障排除、网络安全事件取证和溯源等管理中有着重要作用。文章设计了基于大数据技术的日志分析平台,把多源的日志接入到Hadoop集群,用Spark组件读取、清洗、转换,并把结果存储至ELK集群,可以提供查询和可视化。建成的日志分析平台可以在网络安全攻防演习、选课、选房、国家重要活动等重要保障时期,提供网络监控和日志分析,发现网络安全隐患,提高网络安全风险预警的能力,从而降低学校的网络安全风险,提升校园网管理水平。

关 键 词：日志分析 网络安全 SPARK HADOOP ELK 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]