一种新的分类器性能评估方法  

New performance evaluation method for classifier

作　　者：李军[1,2] 李雄飞[1] 董元方[1,3] 赵海英[4] 

机构地区：[1]吉林大学符号计算与知识工程教育部重点实验室,长春130012 [2]长春理工大学数学系,长春130022 [3]长春理工大学经济管理学院,长春130022 [4]新疆师范大学计算机科学技术学院,乌鲁木齐830000

出　　处：《吉林大学学报（工学版）》2012年第2期463-468,共6页Journal of Jilin University:Engineering and Technology Edition

基　　金：'973'国家重点基础研究发展计划项目(2010CB334709);国家自然科学基金项目(60863010);吉林省科技发展计划项目(20090704)

摘　　要：针对类不平衡或类分布偏斜数据分类器性能评估问题,提出了一种不平衡数据分类器的性能评估方法——加权AUC(wAUC),为区分不同类别上的正确率对总体性能的不同贡献,在计算ROC曲线下方面积的加权值时,根据真正率TPrate的取值,对不同区域采用不同的权值,使得评估度量更关注于正类准确度。讨论了权值函数应具有的性质,给出了wAUC的性质分析。理论分析和实验结果表明,加权AUC优于OP和AUC。An imbalanced classifier performance evaluation method, weighted Area Under the Curve （wAUC）, is proposed to solve the evaluation problem of imbalanced or class-skewed data classifiers. This method makes use of different weights in different regions according to the values of the True Positive rate （TPrate） to focus on the accuracy of positive class when calculating the weighted area under the Receiver Operating Characteristic （ROC） curve. It is beneficial to distinguish the different contributions of the accuracies on different classes to the overall performance. The features of the weight function are discussed and the characteristics of the wAUC are analyzed. Theoretical analysis and experimental results show that the proposed wAUC method is superior to OP and AUC methods.

关 键 词：计算机软件与理论 不平衡数据 分类 性能评估 AUC 

分 类 号：TG181[金属学及工艺—金属学]