基于全切分获取网络流行语方法研究  

Study on popular words and phrases extraction of network based on omni-segmentation

作　　者：吴保珍[1,2] 何婷婷[1,2] 李立[1,2] 张勇[1,2] 陈龙[1,2] 

机构地区：[1]华中师范大学计算机科学系 [2]华中师范大学国家语言资源监测与研究中心网络媒体分中心,武汉430079

出　　处：《计算机应用研究》2009年第4期1260-1262,1285,共4页Application Research of Computers

基　　金：国家自然科学基金资助项目(60673040);国家社会科学基金资助项目(06BYY029);国家教育部科学技术研究重点项目(105117);湖北省自然科学基金资助项目(2006ABC011);国家"973"计划重点基础研究发展项目(2007CB310804)

摘　　要：利用统计和规则相结合的算法从互联网的动态信息流中提取网络流行语。在利用全切分算法获取候选词集的基础上,依次对候选词集进行三次过滤:首先基于向量空间模型的权重过滤,运用语言模型进行过滤;然后利用垃圾串过滤规则获取网络流行词语候选词集;最后利用提出的流行词语评分模型进行筛选得到网络流行词语。实验表明,在不影响流行词语准确率的前提下,利用该方法自动获取网络流行词语的速度明显提高。This paper aimed to extract popular words and phrases of network by specific algorithm. It filtrated the candidate words set three times based on the algorithm of omni-segmentation. The first was the weight filtration based on the vector space model , then used the model of language regulation , and the last through the filtration of rubbish cluster. Finally, it mined the popular words and phrases from the candidate set by the popular words determinant formula. The experimentation indicates that without reducing the correct rate of catchwords, the speed of extacting, the popular words and phrases of network impoves distinctly.

关 键 词：网络流行词语 中文信息处理 全切分 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]