高校网站日志分析系统的研究与应用  

作　　者：尹鑫 种兰祥[2] 杨建锋 

机构地区：[1]西北大学现代教育技术中心,陕西西安710069 [2]西北大学信息科学与技术学院,陕西西安710069

出　　处：《中国教育信息化》2019年第13期64-67,共4页Chinese Journal of ICT in Education

基　　金：陕西省教育厅2018年度重点科学研究计划“陕西教育信息化检测技术研究”(18JX004);西北大学研究生创新人才培养项目“基于高校网站访问日志的数据挖掘”(YZZ17187)研究成果

摘　　要：针对高校网站管理者对网站访问情况及时、直观了解的需求,本文提出了一种以SparkStreaming为核心的分布式网站访问日志分析系统。本系统使用Flume实时收集网站被访问时产生的日志,使用Kafka对收集到的日志进行缓存,使用Spark中的Streaming流处理框架按批次提取缓存的数据,并通过其中的Translation和Action算子对流量、站点、地区、终端信息进行分析,使用MySQL数据库对分析结果进行存储。使用Echarts设计界面并结合Ajax等前端技术对分析结果进行实时可视化处理。在分布式平台下实现了一个实时可扩展的日志数据分析系统。有效地支持了高校网站的管理工作。

关 键 词：高校网站日志 分布式集群 SparkStreaming 可视化 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]