不平衡数据的降采样方法研究  

Under-sampling Method Research in Class-Imbalanced Data

作　　者：林舒杨[1] 李翠华[1] 江弋[1] 林琛[1] 邹权[1] 

机构地区：[1]厦门大学计算机科学系,福建厦门361005

出　　处：《计算机研究与发展》2011年第S3期47-53,共7页Journal of Computer Research and Development

基　　金：国家自然科学基金项目(61001013;61102136);国家"九七三"重点基础研究发展计划基金项目(2007CB311005);国防基础科研计划项目(B1420110155)

摘　　要：提出了一种处理不平衡数据的降采样方法,以解决机器学习中分类器在训练时因为样本集中的样本类别不平衡而导致过拟合造成分类器性能下降的问题.利用K-Means方法,对大类样本进行聚类并提取聚类中心,获得与较小样本集样本数目近似的样本,组成新的样本集用以训练.为了避免在小类样本数目较小的情况下,单纯使用聚类降采样算法造成训练集样本的过度稀疏,使用SMOTE过采样算法结合聚类降采样,既避免了SMOTE为样本集引入较多的噪声,又有效地解决了训练集样本稀疏的问题.6组UCI测试数据和5组生物信息学实验证明了它在对类别不平衡数据进行降采样上的有效性.提出了一种处理不平衡数据的降采样方法,以解决机器学习中分类器在训练时因为样本集中的样本类别不平衡而导致过拟合造成分类器性能下降的问题.利用K-Means方法,对大类样本进行聚类并提取聚类中心,获得与较小样本集样本数目近似的样本,组成新的样本集用以训练.为了避免在小类样本数目较小的情况下,单纯使用聚类降采样算法造成训练集样本的过度稀疏,使用SMOTE过采样算法结合聚类降采样,既避免了SMOTE为样本集引入较多的噪声,又有效地解决了训练集样本稀疏的问题.6组UCI测试数据和5组生物信息学实验证明了它在对类别不平衡数据进行降采样上的有效性.

关 键 词：类别不平衡 聚类 降采样 分类 机器学习 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]