一种自适应的多类Boosting分类算法  

Adaptive Multiclass Boosting Classification Algorithm

作　　者：王世勋[1] 潘鹏[2] 陈灯[3] 卢炎生[2] 

机构地区：[1]河南师范大学计算机与信息工程学院,新乡453007 [2]华中科技大学计算机科学与技术学院,武汉430074 [3]武汉工程大学智能机器人湖北省重点实验室,武汉430205

出　　处：《计算机科学》2017年第7期185-190,共6页Computer Science

基　　金：河南省自然科学基金(162300410177);河南省高等学校重点科研项目(17A520040);河南师范大学博士科研启动基金(qd15134)资助

摘　　要：许多实际问题涉及到多分类技术,该技术能有效地缩小用户与计算机之间的理解差异。在传统的多类Boosting方法中,多类损耗函数未必具有猜测背离性,并且多类弱学习器的结合被限制为线性的加权和。为了获得高精度的最终分类器,多类损耗函数应具有多类边缘极大化、贝叶斯一致性与猜测背离性。此外,弱学习器的缺点可能会限制线性分类器的性能,但它们的非线性结合可以提供较强的判别力。根据这两个观点,设计了一个自适应的多类Boosting分类器,即SOHPBoost算法。在每次迭代中,SOHPBoost算法能够利用向量加法或Hadamard乘积来集成最优的多类弱学习器。这个自适应的过程可以产生多类弱学习的Hadamard乘积向量和,进而挖掘出数据集的隐藏结构。实验结果表明,SOHPBoost算法可以产生较好的多分类性能。Many practical problems have involved classification technology which can effectively reduce the comprehension difference between users and computers.In the traditional multiclass Boosting methods,multiclass loss function does not necessarily have guess-aversion,and the combinations of multiclass weak learners are confined to linear weighted sum.To get a final classifier with high accuracy,multiclass loss function need contain three main properties,namely margin maximization,Bayes consistency and guess-aversion.Moreover,the weakness of weak learners may limit the performance of linear classifier,but their nonlinear combinations should provide strong discrimination.Therefore,we designed an adaptive multiclass Boosting classifier,namely SOHPBoost algorithm.At every iteration,our algorithm can add the best weak learner to the current ensemble according to vector addition or Hadamard product.This adaptive process can create the sum of Hadamard products of weak learners,and mine the hidden structure of dataset.The experiments show that SOHPBoost algorithm can provide more advantageous performance of multiclass classification.

关 键 词：多类Boosting 损耗函数 猜测背离性 非线性结合 

分 类 号：TP181[自动化与计算机技术—控制理论与控制工程]