基于线性回归和属性集成的分类算法  

Classification Algorithm Using Linear Regression and Attribute Ensemble

作　　者：强保华[1] 唐波[1] 王玉峰[2] 邹显春[3] 柳正利 孙忠旭[1] 谢武[1] 

机构地区：[1]桂林电子科技大学广西可信软件重点实验室广西云计算与大数据协同创新中心,桂林541004 [2]中国电子科技集团公司第54研究所,石家庄050081 [3]西南大学计算机与信息科学学院,重庆400715

出　　处：《计算机科学》2017年第6期212-215,244,共5页Computer Science

基　　金：国家海洋技术公共福利项目(201505002);国家自然科学基金(61462020);广西可信软件重点实验室开放项目(KX201510);广西云计算与大数据协同创新项目(YD16E04);研究生创新项目(YJCXS201538)资助

摘　　要：对于高维度小样本数据的分类问题,高维属性的复杂性限制了分类模型预测的准确率。为了进一步提高准确率,提出了基于线性回归和属性集成的分类算法。首先,采用线性回归为每一个属性构建属性线性分类器(Attribute Linear Classifier,ALC);其次,为了避免因ALC数量过多而导致准确率下降,利用经验风险最小化策略中的经验损失值作为评估标准来优选ALC;最后,应用多数投票法来集成被筛选的ALC。采用高维度小样本的基因表达数据集进行实验,结果显示该算法具有比逻辑回归、支持向量机和随机森林算法更高的准确率。For the classification problems of high-dimensionality and small-sample data,the predictive accuracy of the classification model is restricted by the complexity of the high dimensional attributes.To further improve the accuracy,a classification algorithm using linear regression and attributes ensemble（LRAE）was proposed.The linear regression is utilized to construct an attribute linear classifier（ALC）for each attribute.To avoid the decrease of accuracy caused by too many ALCs,empirical loss value in the empirical risk minimization strategy is used as the evaluation criteria to select ALCs.The majority voting method is adopted to integrate ALCs.The results of experiments using gene expression data demonstrate that the accuracy of LRAE algorithm is relatively higher than that of logistic regression,support vector machine and random forest algorithms.

关 键 词：线性回归 单属性分类 经验损失 属性集成 多数投票法 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]