最小残差熵与最小均方差的主元网络及其比较  

Comparisons between Minimum Error Entropy and Minimum Mean Squared Error Based on Principal Component Neural Networks

作　　者：郭振华[1] 岳红[2] 王宏[2] 

机构地区：[1]华中科技大学机械科学与工程学院,武汉430074 [2]中国科学院自动化研究所,北京100080

出　　处：《模式识别与人工智能》2005年第1期96-102,共7页Pattern Recognition and Artificial Intelligence

基　　金：国家自然科学基金(No.60274020;50390064)

摘　　要：神经网络与主元分析相结合的主元神经网络提供了一种自适应并行在线的主元及主子空间分析技术,但是对非高斯随机系统的数据,基于最小均方重构误差的主元分析所提取的主元方向不是最大化信息方向。本文先给出一种基于最小均方差的自关联主元网络,分析其最佳的均方差重构性质和非信息最大化特性;然后提出了以最小残差信息熵为学习目标主元的神经网络,并给出了网络输出残差熵的近似计算方法和网络学习方法;最后分析了在高斯随机分布系统下,最小残差熵与最小均方重构误差的分析结果是一致的。Principal component neural networks (PCNNs) give an adaptive parallel method to extract the principal components (PCs) and the principal subspace. But for non-gaussian stochastic system, PCNNs with minimum reconstruction squared error do not contain maximum information about original system definitely. In this paper, a PCNN based on minimum reconstruction squared error and its reconstruction property on squared error and entropy are introduced firstly. And then a PCNN based on minimum error entropy and a approximation method for the entropy are proposed. Finally, the computing results of the two indices are compared.

关 键 词：主元分析 主元神经网络 最小残差熵 最小均方差 

分 类 号：TP13[自动化与计算机技术—控制理论与控制工程]