基于统计特征的垃圾博客过滤  

Splog Filtering Based on Content Analysis

作　　者：刘玮[1] 廖祥文[1] 许洪波[1] 王丽宏[2] 

机构地区：[1]中国科学院计算技术研究所信息智能与信息安全研究中心,北京100190 [2]国家计算机网络与信息安全管理中心,北京100029

出　　处：《中文信息学报》2008年第6期86-91,共6页Journal of Chinese Information Processing

基　　金：国家973课题资助项目(2004CB318109);国家863计划资助项目(2007AA01Z441)

摘　　要：该文根据垃圾博客和正常博客在统计特征上的差异,对多种针对博客分类有效的统计特征进行了分析,提出基于博客页面统计特征的过滤方法。在Blog06数据集上的实验表明,该方法的过滤准确性达到97%,比基于词频特征的过滤方法提高了约7%,在不同规模训练集上的准确性保持在95%左右,具有更好的泛化能力。In this paper, we analyze many effective statistical features for splog filtering by investigating the differences between splogs and normal blogs. Then we present a splog filtering approach based on statistical characteristics of hlog content. The experimental results on Blog06 data set show that the approach can reach an accuracy of ,97%, which improves by 7% compared with term frequency based method. And with the test size increasing, its accuracy keeps around 95%, indicating a good generalization ability.

关 键 词：计算机应用 中文信息处理 内容分析 垃圾博客过滤 统计特征 词频特征 泛化能力 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]