L1+L2正则化逻辑斯蒂模型分类算法  

Logistic Model Classification Algorithm via L1+L2 Regularization

作　　者：刘建伟[1] 付捷[1] 罗雄麟[1] 

机构地区：[1]中国石油大学(北京)自动化研究所,北京102249

出　　处：《计算机工程》2012年第13期148-151,共4页Computer Engineering

基　　金：中国石油大学(北京)基础学科研究基金资助项目

摘　　要：提出一种L1+L2范数正则化逻辑斯蒂模型分类算法。该算法引入L2范数正则化,解决L1正则化逻辑斯蒂算法迭代过程奇异问题,通过引入样本向量的扩展和新的权值向量完成L1范数非平滑问题,最终使用共轭梯度方法求解经过转化的最优化问题。在各种实际数据集上的实验结果表明,该算法优于L2范数、L1范数和Lp范数正则化逻辑斯蒂模型,具有较好的特征选择和分类性能。This paper proposes an L1＋L2 norm regularized logistic model classification algorithm, and the singularity of iterative process in L1 norm regularized logistic classification algorithm is solved by using L2 norm regularization. The non-smooth problem is transformed into smooth one via argumentation of vector of samples and introduction of new weight vector, and classification object function is solved using the conjugate gradient method. Performance of classification and feature selection on real datasets shows that the algorithm is better than L2 norm, L1 nrom and Lp norm regularized logistic model.

关 键 词：L1范数 L2范数 共轭梯度 特征选择 正则化 逻辑斯蒂模型 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]