一种基于大数据的网络日志分析模型构建研究  

Research on the construction of a network log analysis model based on large data

作　　者：邓小盾[1] 

机构地区：[1]西安外事学院,陕西西安710077

出　　处：《电子设计工程》2017年第23期97-100,共4页Electronic Design Engineering

基　　金：2015-2016年度陕西省高教学会高水平民办大学建设研究项目(15GJ044);2016年度西安市社会科学规划基金项目(16IN13);2016年度陕西省教育厅科学研究项目(16JK2178)

摘　　要：针对海量web日志数据在存储和计算方面存在的问题,结合当前的大数据技术,提出一种基于Hadoop与聚类分析的网络日志分析模型。利用Hadoop中的Map Reduce编程模型对海量Web日志进行处理;利用HDFS结合的方式对数据进行存储;利用聚类分析算法构建web日志分析模型,对用户行为进行分析。最后通过搭建Hadoop测试环境对日志分析系统功能进行测试,并与单机系统比较,验证了该设计方案的优势。In view of the problems existing in the storage and computation of massive web log data,a new network log analysis model based on Hadoop and cluster analysis is proposed. To deal with the massive Web log using Map Reduce programming model in Hadoop;using the combination of HDFS for data storage;model Web log analysis algorithm based on clustering,user behavior analysis. Finally,the function of the log analysis system is tested by building the Hadoop test environment,and the advantages of the design scheme are verified by comparing with the single machine system.

关 键 词：大数据 WEB日志 MapReducc编程模型 HDFS 聚类分析 

分 类 号：TN0[电子电信—物理电子学]