支持向量机的训练算法  

Training algorithms for support vector machines

作　　者：李建民[1] 张钹[1] 林福宗[1] 

机构地区：[1]清华大学计算机科学与技术系智能技术与系统国家重点实验室,北京100084

出　　处：《清华大学学报（自然科学版）》2003年第1期120-124,共5页Journal of Tsinghua University(Science and Technology)

基　　金：国家重点基础研究发展规划"九七三"资助项目(G1998030509);国家自然科学基金重点项目(60135010)

摘　　要：大量数据下支持向量机(SVM)的训练算法是SVM研究的一个重要方向和广大研究者关注的焦点。该文回顾了近几年来这一领域的研究情况。该文从分析SVM训练问题的实质和难点出发,结合目前一些主要的SVM训练方法及它们之间的联系,重点阐述当前最有代表性的一种算法——序贯最小优化(SMO)算法及其改进算法。从中可以看到,包括SMO在内的分解算法通过求解一系列规模较小的子问题逐步逼近最优解,从而避免存储整个Hessian矩阵,是解决大规模SVM训练问题的主要方法。而工作集的选择对于分解算法的收敛与否和收敛速度至关重要。 Training algorithm for largescale support vector machines (SVM) is an important and active subject in the field of SVM research. The approaches in the past few years are introduced in this review. After the analysis of the difficulties in training SVM and a survey of some popular methods and their relationship, sequential minimal optimization (SMO) and its improved versions are discussed in detail. In decomposition algorithms such as SMO, the optimal solution is approached by solving a series of smallscale subproblems to avoid keeping the whole Hessian matrix in memory. Therefore, working set selection is crucial to the convergence rate of decomposition algorithms.

关 键 词：训练算法 支持向量机 分解算法 序贯最小优化 统计学习理论 凸规划 非增量算法 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程] O221.2[自动化与计算机技术—控制科学与工程]