一种云上日志采集与分析系统的研究与实现  

作　　者：张宏海[1,2] 刘亚宁 武学成 田丰[1,2] 刘硕 刘中一[1,2] ZHANG Honghai;LIU Yaning;WU Xuecheng;TIAN Feng;LIU Shuo;LIU Zhongyi

机构地区：[1]中国民航信息网络股份有限公司,北京101318 [2]北京市民航大数据工程技术研究中心,北京101318

出　　处：《信息技术与信息化》2023年第11期16-19,共4页Information Technology and Informatization

摘　　要：民航客运运价搜索业务与用户访问量息息相关,且日志量与访问量成正比,高峰时每天日志量可达TB级,而低谷时日志量仅几百MB,因此利用云服务自身的弹性扩展能力,对日志量高峰和低谷时的服务器资源进行动态调整,就变得尤为重要,这样不但可以节省服务器资源的使用,带来巨大经济效应,还可以降低运维成本。以民航客运运价搜索系统上云为背景,基于ELK体系架构,提出了一种云上日志采集与分析系统的研究与实现,完成对云上产生的海量日志进行数据收集、处理、查询和可视化构建。与云下的日志采集与分析系统相比,在功能相同的情况下,使用了近一半的服务器资源实现了云下两倍的日志数据存储。

关 键 词：日志数据 日志收集 日志分析 云上ELK 

分 类 号：V354[航空宇航科学与技术—人机与环境工程] TP311.52[自动化与计算机技术—计算机软件与理论]