基于Spark的分布式网络日志处理系统的设计与实现  

作　　者：芦成刚 王桂荣[1] 

机构地区：[1]延边大学工学院,吉林延吉133002

出　　处：《科学技术创新》2021年第15期82-83,共2页Scientific and Technological Innovation

基　　金：延边大学中青年科技计划项目(项目编号:延大科合字(2018)第11号)基于Spark的分布式网络日志处理系统的设计与实现;延边大学应用基础研究项目(项目编号:延大科合字(2021)第2号)基于VB.NET的房产中介管理系统的设计与实现。

摘　　要：通过用户浏览网页时的网络日志分析,可发现用户的一些浏览习惯,从而有针对性的对网站进行改进,给用户带来更好的体验。本文通过搭建多个虚拟机对Web日志进行离线分析,通过flume系统收集日志,利用Hadoop文件系统存储,SparkSQL进行离线分析,按照需求进行相应业务的统计的分析。

关 键 词：WEB日志 flume系统 Hadoop文件系统 SparkSQl 

分 类 号：TP393.08[自动化与计算机技术—计算机应用技术]