分布式web日志处理平台的研究与实现  

Research and Implementation of Distributed Web log processing platform

作　　者：杨潇黎 蒋廷耀[1] 金鑫 罗神 Yang Xiaoli;Jiang Tingyao;Jin Xin;Luo Shen(School of Computer and Information,China Three Gorges University,Yichang 443000 China)

机构地区：[1]三峡大学计算机与信息学院,湖北宜昌443000

出　　处：《信息通信》2019年第3期146-148,共3页Information & Communications

摘　　要：从日志信息采集、处理、存储等方面研究了分布式技术在日志处理平台的应用。使用Flume进行采集历史数据以及实时日志数据,并将收集的数据使用Kafka来缓存进行离线与实时清洗,最后将日志数据存储到数据库中,进行数据分析以图表的形式展示,做出相应策略从而提高效益。The applications of distributed technology in log processing platform is studied from the aspects of log information collection,processing and storage.Using the Flume real time collecting history data and log data,and will collect the data using the Kafka to cache offline and real-time cleaning,finally the log data is stored in the database,for data analysis in the form of charts show,make corresponding strategy to improve efficiency.

关 键 词：分布式 离线与实时清洗 FP-GROWTH算法 Kafka Spark框架 

分 类 号：TP399[自动化与计算机技术—计算机应用技术]