基于互信息最大化的特征选择算法及应用  

Mutual information maximization based feature selection algorithm in text classification

作　　者：唐亮[1] 段建国[2] 许洪波[2] 梁玲[1] 

机构地区：[1]解放军信息工程大学信息工程学院,郑州450002 [2]中国科学院计算技术研究所网络科学技术部,北京100080

出　　处：《计算机工程与应用》2008年第13期130-133,共4页Computer Engineering and Applications

基　　金：国家重点基础研究发展规划(973)(the National Grand Fundamental Research 973 Program of China under Grant No.2004CB318109,No.2007CB311100)

摘　　要：该文以互信息最大化原则为指导,经过推导和分析后提出了一种基于信息论模型的新的特征选择算法,称之为基于互信息最大化的特征选择算法(MaxMI)。基本思想就是特征选择后,应当尽可能多地保留关于类别的信息。该算法与传统的信息增益、互信息和交叉熵在表达形式上具有一定的相似性,但是并不完全相同。从实验上验证了基于互信息最大化的特征选择算法优于其它三种算法。With the guide of mutual information maximization principles,this paper proposes a new feature selection algorithm which is based on the information theory models,namely,mutual information maximization based feature selection algorithm （MaxMI）.The basic idea is after the feature selection,the information of the categories should be retained as much as possible. This algorithm is a little similar with the traditional information gain,mutual information and cross entropy in the expression format,but is not the same essentially.From the experiments,We can see that our algorithm is superior to the other three algorithms.

关 键 词：文本分类 特征选择 交叉熵 信息增益 互信息最大化 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]