高性能中文垃圾邮件过滤器  

High Performance Chinese Spam Filter

作　　者：齐浩亮[1] 程晓龙[1] 杨沐昀[2] 何晓宁[3] 李生[2] 雷国华[1] 

机构地区：[1]黑龙江工程学院计算机科学与技术系,黑龙江哈尔滨150050 [2]哈尔滨工业大学计算机科学与技术学院,黑龙江哈尔滨150001 [3]哈尔滨理工大学计算机科学与技术学院,黑龙江哈尔滨150080

出　　处：《中文信息学报》2010年第2期76-83,共8页Journal of Chinese Information Processing

基　　金：国家自然科学基金重点资助项目(60736044);国家自然科学基金资助项目(60873105);黑龙江省科技攻关计划资助项目(GZ07A108)

摘　　要：设计并实现了基于在线过滤模式高性能中文垃圾邮件过滤器,能够较好地识别不断变化的垃圾邮件。以逻辑回归模型为基础,该文提出了字节级n元文法提取邮件特征,并采用TONE(Train On or Near Error)方法训练过滤器。在多个大规模中文垃圾邮件过滤公开评测数据上的实验结果表明,该文过滤器的性能在TREC 06C数据上优于当年评测的最好成绩,在SEWM07立即反馈上1-ROCA值达到了0.000 0%,并明显优于SEWM08评测在线过滤任务中的所有其他方法。We designed and implemented a high performance Chinese spam filter. Online filtering mode is adopted in order to defense the evolution of spare emails. Logistic regression model is used as its filtering model; byte level N- gram is put forward to extract email＇s features; and the filter is trained with TONE （Train On or Near Error） method. The performance of our filter is evaluated on Chinese spam corpora. It outperforms the best system in TREC 06 spam filtering track, gets 0. 000 0M of 1-ROCA on SEWM07 immediate feedback task and ranks top in all SEWM 08 online learning tasks.

关 键 词：计算机应用 中文信息处理 中文垃圾邮件过滤 在线学习 逻辑回归模型 字节级n元文法 TONE 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]