基于核化原理的非线性典型相关判别分析  

Nonlinear Canonical Correlation Analysis for Discrimination Based on Kernel Methods

作　　者：孙平[1] 徐宗本[1] 申建中[1] 

机构地区：[1]西安交通大学理学院信息与系统科学研究所,西安710049

出　　处：《计算机学报》2004年第6期789-795,共7页Chinese Journal of Computers

基　　金：国家"八六三"高技术研究发展计划基金 ( 2 0 0 1AA113 182 )资助

摘　　要：典型相关判别分析是将传统的典型相关分析应用于判别问题 ,它是一类重要的特征提取算法 ,但其本质上只能提取数据的线性特征 .应用统计学习理论中的核化原理可以将这样的线性特征提取算法推广至非线性特征提取算法 .该文研究了如何将这一原理应用于典型相关判别分析 ,提出了基于核化原理的非线性典型相关判别分析 ,并且给出了求解该问题的一个自适应学习算法 .数值实验表明 ,基于核化原理所导出的非线性典型相关判别分析比传统的典型相关判别分析更有效 .另外 ,该文从理论上证明 ,所提出的新方法与Fisher核判别分析等价 .In this paper, we generalize the Canonical Correlation Analysis (CCA)) for discrimination to yield a new nonlinear learning machine by using kernel methods. It is named as Kernel Canonical Correlation Discriminant Analysis (KCCDA), which is a powerful technique for extracting nonlinear features from high-dimensional data sets. To overcome the problems of computation complexity, an adaptive learning algorithm for KCCDA is proposed based on online sparsification. The extensive experiments on artificial and real-world data sets demonstrate the competitiveness of KCCDA and our adaptive learning algorithm. Finally, from the theoretical viewpoint we prove that KCCDA is identical to the Kernel Fisher Discriminant analysis (KFD) except for an unimportant scale factor.

关 键 词：核化原理 典型相关判别分析 特征提取算法 统计学习理论 非线性典型相关判别分析 自适应算法 Fisher核判别分析 

分 类 号：TP301[自动化与计算机技术—计算机系统结构]