基于海量信息过滤的微博热词抽取方法  

Hot Word Extraction for Microblog Based on Massive Data Filtering

作　　者：汪洋[1] 帅建梅[1] 陈志刚[2] 

机构地区：[1]中国科学技术大学信息科学技术学院,合肥230027 [2]安徽科大讯飞信息科技股份有限公司研究院,合肥230088

出　　处：《计算机系统应用》2012年第11期131-136,共6页Computer Systems & Applications

摘　　要：针对海量微博信息,提出一种多步骤的热词抽取方法.首先,选择用户行为特性、微博信息的文本特征构建用户行为模型,并在此基础上提出一种基于规则的话题树生成过滤算法,筛除了微博中大量无关信息,进而对生成的话题树修剪优化;然后,根据话题树的节点内容,使用词频及其波动特性设计热词抽取算法,获取微博的热词信息.实验数据表明,该方法能大大减小输入的数据规模,同时较好的保留重要信息,有效实现热词抽取.This paper presents a Chinese microblog hot words extraction algorithm based on massive data Filtering. Firstly, it chooses the user behaviour characteristics and text characteristics to create user behavior models, and filters massive data to create topic-trees by a fast algorithm based on rules. Then, it uses hot words extraction algorithm to get the hot topic of topic-trees by word frequency feature. The experiment results show that the proposed algorithm can reduce the scale of the input data, with keeping lots of important information to extract hot words.

关 键 词：中文微博 用户行为模型 海量信息过滤 热词抽取 幂律分布 

分 类 号：TP393.09[自动化与计算机技术—计算机应用技术]