用于RBF-SVM参数搜索的伪梯度动态步长算法  

Pseudo Gradient and Dynamic Step Optimization Algorithm for RBF-SVM Parameter Search

作　　者：张宏达 王晓丹 徐海龙 

机构地区：[1]三原25信箱,陕西三原713800

出　　处：《电子科技大学学报》2010年第4期523-527,555,共6页Journal of University of Electronic Science and Technology of China

基　　金：国家自然科学基金(60975026);陕西省自然科学基金(2007F19)

摘　　要：针对基于径向基核函数(RBF)的支持向量机(SVM)超参数选择问题,提出了一种基于差分方程的新算法——伪梯度动态步长算法。该算法根据径向基核函数的特点提出由训练集的空间特性确定的核参数搜索范围,并采用对数刻度表示搜索空间;利用参数空间中SVM在两个临近点的分类精度的变化估计参数的搜索方向,并且随着搜索方向的变化动态调整搜索步长,从而实现较快的搜索。通过与Grid和PSO方法的对比实验,表明该算法具有良好的性能。To the issue of hyper-parameter selection for radial basis function （RBF） based support vector machines （SVM）, a new algorithm named as pseudo gradient and dynamic step optimization is proposed. Based on the characteristics of RBF, the kernel parameter is pre-estimated according to the distribution of the train set and the logarithmic scale is employed for the parameter spaee. The search direction is estimated with the changing of classification accuracy and by tuning the search step accordingly. At last, comparative experiments with Grid approach and PSO algorithm indicate the validity of the proposed algorithm.

关 键 词：动态步长 梯度 超参数 支持向量机 

分 类 号：TP181[自动化与计算机技术—控制理论与控制工程]