多元回归学习算法收敛速度的估计  

Estimation of convergence rate for multiregression learning algorithm

作　　者：徐宗本[1] 张永全[1] 曹飞龙[2] 

机构地区：[1]西安交通大学信息与系统科学研究所,西安710049 [2]中国计量学院计量与计算科学研究,杭州310018

出　　处：《中国科学：信息科学》2011年第2期144-156,共13页Scientia Sinica(Informationis)

基　　金：国家重点基础研究发展计划(批准号:2007CB311002);国家自然科学基金(批准号:90818020;60873206)资助项目

摘　　要：在许多应用中,回归函数的先验信息往往不能事先获取.因此,有必要利用有效的方法学习回归函数.本文研究学习理论中的回归问题,即研究多项式空间上具有最小二乘平方损失正则学习算法的收敛速度问题.主要目的在于分析学习理论中多维回归问题的泛化误差.利用逼近论中著名Jackson算子、覆盖数理论、集合的熵数以及有关概率不等式,得到学习算法收敛速度的上、下界估计.特别地,对于满足一定条件的多元光滑回归函数,除一个对数因子外,所获的收敛速度是最优的.本文结果对研究回归学习算法的收敛性、稳定性及复杂性等有着重要的意义.In many applications,the pre-information on regression function is always unknown.Therefore,it is necessary to learn regression function by means of some valid tools.In this paper we investigate the regression problem in learning theory,i.e.,convergence rate of regression learning algorithm with least square schemes in multi-dimensional polynomial space.Our main aim is to analyze the generalization error for multi-regression problems in learning theory.By using the famous Jackson operators in approximation theory,covering number,entropy number and relative probability inequalities,we obtain the estimates of upper and lower bounds for the convergence rate of learning algorithm.In particular,it is shown that for multi-variable smooth regression function,the estimates are able to achieve almost optimal rate of convergence except for a logarithmic factor.Our results are significant for the research of convergence,stability and complexity of regression learning algorithm.

关 键 词：学习理论 收敛速度 覆盖数 熵数 

分 类 号：O212.1[理学—概率论与数理统计]