大数据环境下网络舆情预警系统的设计研究  

Design and research of Internet public opinion early warning system under big data environment

作　　者：李金海[1] 徐辉 Li Jinhai;Xu Hui(Taizhou University,Taizhou,Shandong 225300,China)

机构地区：[1]泰州学院

出　　处：《计算机时代》2020年第1期30-34,共5页Computer Era

基　　金：教育部人文社会科学研究青年基金项目“大数据环境下基于情境语义推理的移动个性化推荐研究”（18YJCZH077）;江苏省社会科学基金项目“大数据视角下基于领域本体的网络舆情预警研究”（16TQB009）;泰州市科技支撑社会发展计划（指导性）项目“大数据时代基于领域本体的网络舆情预警研究”（201702）

摘　　要：近年来,网络舆情成为了最主要的社会舆情传播方式之一,在大数据环境下,海量的网络舆情信息给网络舆情预警增加了新的挑战。依托爬虫技术对新闻网页、论坛和微博等网站进行信息采集,利用大数据平台Hadoop对采集的数据进行预处理及挖掘分析,所设计的网络舆情预警系统能够完成在大数据环境下,海量的网络舆情信息中网络舆情热点问题的挖掘以及预警等级的自动判别。In recent years,Internet public opinion has become one of the most important ways of social public opinion dissemination.Under the big data environment,massive online public opinion information adds new challenges to online public opinion early warning.Relying on crawler technology to collect information from news web pages,BBS,Weibo and other websites,and using the big data platform Hadoop to preprocess and mine the collected data,the network public opinion early warning system designed in this paper can complete the mining of hot issues of network public opinion and automatically identify the early warning level in the massive network public opinion information under the big data environment.

关 键 词：大数据 舆情 预警 爬虫技术 数据挖掘 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]