一种基于高斯过程的行动者评论家算法  

Actor-critic algorithm based on Gaussian process

作　　者：陈仕超[1] 凌兴宏[1] 刘全[1,2] 伏玉琛[1] 陈桂兴[1] 

机构地区：[1]苏州大学计算机科学与技术学院,江苏苏州215006 [2]吉林大学符号计算与知识工程教育部重点实验室,长春130012

出　　处：《计算机应用研究》2016年第6期1670-1675,共6页Application Research of Computers

基　　金：国家自然科学基金资助项目(61103045;61272005;61272244;61303108;61373094);江苏省自然科学基金资助项目(BK2012616);江苏省高校自然科学研究资助项目(13KJB520020);吉林大学符号计算与知识工程教育部重点实验室资助项目(93K172014K04)

摘　　要：强化学习领域的一个研究难点是在大规模或连续空间中平衡探索和利用的问题。针对该问题,应用函数近似与高斯过程方法,提出新的行动者评论家(actor-critic,AC)算法。该算法在actor中使用时间差分误差构造关于策略参数的更新公式;在critic中利用高斯过程对线性带参值函数建模,结合生成模型,根据贝叶斯推理求解值函数的后验分布。将该算法应用于平衡杆实验中,实验结果表明,算法收敛速度较快,可以有效解决在大规模或连续空间中探索和利用的平衡问题,具有较好的性能。The problem of how to balance the exploration and exploitation in the large or continuous state space is a hot topic in the field of reinforcement learning. With respect to this problem,this paper presented a novel actor-critic algorithm which combined with function approximation method and Gaussian process method. In the terms of actor,the algorithm used the temporal difference error to construct a mean square error function with respect to the policy parameters. In the terms of critic,the algorithm used Gaussian process to model the linear state-value function,and in conjunction with generative model,obtained the posteriori distribution of the parameter vector of the state-value function by Bayesian inference. The experimental results on the balance pole experiment shows that the algorithm has faster convergence rate and achieves the balance between exploration and exploitation in the large or continuous state space effectively. The algorithm has good convergence performance.

关 键 词：强化学习 行动者评论家 高斯过程 贝叶斯推理 连续空间 

分 类 号：TP181[自动化与计算机技术—控制理论与控制工程] TP301.6[自动化与计算机技术—控制科学与工程]