基于Spark的并行极速神经网络  被引量:4

Sparked-based Parallel Extreme Learning Machine

在线阅读下载全文

作  者:邓万宇[1] 李力[1] 牛慧娟[1] DENG Wanyu LI Li NIU Huijuan(School of Computing Science, Xi' an University of Posts and Telecommunications, Xi' an 710061, China)

机构地区:[1]西安邮电大学计算机学院,陕西西安710121

出  处:《郑州大学学报(工学版)》2016年第5期47-56,共10页Journal of Zhengzhou University(Engineering Science)

基  金:国家自然科学基金资助项目(61572399);陕西省科技新星资助项目(2013KJXX-29)

摘  要:随着数据规模的快速膨胀,基于单机的串行神经网络结构面临着巨大的计算挑战,难以满足现实应用中的扩展需求.在极速学习机(extreme learning machine,ELM)基础上,基于Spark并行框架提出一种并行的极速神经网络学习方法,以Spark平台特有的RDD高效数据集管理机制对其进行封装,并将大规模数据中的高复杂度矩阵计算进行并行化,实现ELM加速求解,仅需一组Map和Reduce操作即可完成算法的训练.在大量真实数据集上的实验结果表明,基于Spark的并行ELM算法相较于串行ELM获得了显著的性能提升.With the rapid expansion of the scale of the data,stand-alone serial neural networks are faceing normous computational challenges. It is difficult to meet the expansion of real-world applications. In this paper,we proposed a parallel extreme learning machine( parallel ELM) algorithm based on Spark. By leveraging Spark parallel platform with efficient management mechanism and efficient matrix computations of largescale data,the acceleration for solving ELM is achieved. The learning process of parallel ELM takes only one set of Map and Reduce operation to complete. The experimental results on a large number of real data sets show Spark-based parallel ELM algorithm can achieved a significant performance improvment compared with the serial ELM.

关 键 词:极速学习机 神经网络 并行化ELM算法 SPARK 

分 类 号:TP389.1[自动化与计算机技术—计算机系统结构]

 

参考文献:

正在载入数据...

 

二级参考文献:

正在载入数据...

 

耦合文献:

正在载入数据...

 

引证文献:

正在载入数据...

 

二级引证文献:

正在载入数据...

 

同被引文献:

正在载入数据...

 

相关期刊文献:

正在载入数据...

相关的主题
相关的作者对象
相关的机构对象