基于多Agent并行采样和学习经验复用的E^3算法  

Improved E^3 algorithm based on multi-agent parallel sampling and learning experience reuse

作　　者：刘全[1,2] 杨旭东[1] 荆玲[3] 肖飞[1] 

机构地区：[1]苏州大学计算机科学与技术学院,江苏苏州215006 [2]吉林大学符号计算与知识工程教育部重点实验室,长春130012 [3]南京大学计算机科学与技术系,南京210093

出　　处：《吉林大学学报（工学版）》2013年第1期135-140,共6页Journal of Jilin University:Engineering and Technology Edition

基　　金：国家自然科学基金项目(61070223;61103045;60970015;61170020;61272005);江苏省自然科学基金项目(BK2009116;BK2012616);江苏省高校自然科学研究项目(09KJA520002;09KJB520012);吉林大学符号计算与知识工程教育部重点实验室项目(93K172012K04)

摘　　要：针对E3算法所需的收敛时间界限太大,在实际问题中难以有效应用的问题,提出了一种基于多Agent并行采样和学习经验复用的改进算法。该算法在探索阶段,通过多Agent并行采样,快速收集模型信息,加速了模型构建过程;在利用阶段,通过保留最优值函数的方式复用算法的学习经验,提高了算法迭代计算值函数的效率。仿真实验结果表明,所提方法与原始的E3算法相比,在收敛速度和精度方面都具有很大的提高,与其他两种并行强化学习方法相比也具有很大的性能优势。Existing E^3 algorithm has the drawback of long convergence time, efficiently applied in practice. To overcome this problem, an improved E^3 algorithm based on parallel sampling with multiple agents and learning experience reuse is proposed. In order to build an approximate model soon, in the exploration phase, the multiple agents explore the environment in parallel and collect the information of the environmental model. In the exploitation phase, the optimal value function is retained and reused to speed up the convergence. Experiment results show that the improved algorithm consumes much less to converge to an almost optimal policy and has great advantage over other two parallel reinforcement learning algorithms.

关 键 词：人工智能 强化学习 E3算法 多AGENT 并行采样 学习经验复用 

分 类 号：TP181[自动化与计算机技术—控制理论与控制工程]