一种基于相关系数的多层邮件过滤系统  

Multilevel spam filter based on correlation

作　　者：许棣华[1,2] 王志坚[1] 张艳丽[3] 辛莉[4] 

机构地区：[1]河海大学计算机信息与工程学院,南京210098 [2]南京邮电大学计算机学院,南京210003 [3]河海大学信息中心,南京210098 [4]北京市电信工程局有限公司,北京100061

出　　处：《计算机应用研究》2010年第12期4715-4717,4722,共4页Application Research of Computers

基　　金：国家自然科学基金资助项目(60805022);国家"863"高技术研究发展计划资助项目(2007AA01Z178);南京邮电大学青兰计划(NY206034)

摘　　要：多个相关任务同时学习可能比各个任务单独学习具有更好的泛化能力,这是多任务学习(multitask learning)模式的出发点。受其启发,研究并开发了一种多层邮件过滤系统。首先为各用户建立基本分类器,利用EM算法估计出基本分类器之间的相关系数,最终得到该用户的邮件过滤判别函数。实验结果表明,该系统对中英文语料都是可靠和有效的,并在样例较少时就具有较好的过滤性能。该过滤系统的优劣最终还取决于相关系数先验概率的参数取值,以及所选择的基本分类器。A group tasks learning simultaneously may have better generalization ability than learning individually,inspired by which,this paper proposed a multilevel spam filter based on correlation coefficient. The system used EM algorithm to estimates the correlation coefficient,by which the system got a spam discriminant. Experiments show that the system is reliable and effective for both Chinese and English corpus. It can get good performance even if given small sample set. The performance of the system ultimately depends on the parameters value of the priori of the correlation coefficient,and the choice of base classifiers.

关 键 词：机器学习 相关系数 邮件过滤器 基本分类器 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]