一种最大集合期望损失的多目标Sarsa(λ)算法  

A Multiple-Goal Sarsa(λ) Algorithm Basedon Lost Reward of Greatest Mass

作　　者：刘全[1,2] 李瑾[1] 傅启明[1] 崔志明[1] 伏玉琛[1] 

机构地区：[1]苏州大学计算机与科学学院,江苏苏州215000 [2]符号计算与知识工程教育部重点实验室(吉林大学),吉林长春130012

出　　处：《电子学报》2013年第8期1469-1473,共5页Acta Electronica Sinica

基　　金：国家自然科学基金(No.61070223;No.61103045;No.61272005;No.61170020);江苏省自然科学基金(No.BK2012616);江苏省高校自然科学研究项目(No.09KJA520002;No.09KJB520012);吉林大学符号计算与知识工程教育部重点实验室项目(No.93K172012K04)

摘　　要：针对RoboCup这一典型的多目标强化学习问题,提出一种基于最大集合期望损失的多目标强化学习算法LRGM-Sarsa(λ)算法.该算法预估各个目标的最大集合期望损失,在平衡各个目标的前提下选择最佳联合动作以产生最优联合策略.在单个目标训练的过程中,采用基于改进MSBR误差函数的Sarsa(λ)算法,并对动作选择概率函数和步长参数进行优化,解决了强化学习在使用非线性函数泛化时,算法不稳定、不收敛的问题.将该算法应用到RoboCup射门局部策略训练中,取得了较好的效果,表明该学习算法的有效性.For solving the multiple-goal problem in RoboCup,a novel multiple-goal Reinforcement Learning algorithm,named LRGM-Sarsa（λ）,is proposed.The algorithm estimates the lost reward of the greatest mass of every sub goal and trades off the long term reward of the sub goals to get a composite policy.In the single learning module,B error function,which is based on MSBR error function is proposed.B error function has guaranteed the convergence of the value prediction with the non-linear function approximation.The probability funciton of selecting actions and the parameter α are also improved with respect to B error function.This algorithm is applied to the training of shooting in Robocup 2D.The experimental results show that the proposed algorithm is more stable and converges faster.

关 键 词：多目标 自适应Sarsa(λ) 最大集合期望损失 强化学习 机器人足球 

分 类 号：TP181[自动化与计算机技术—控制理论与控制工程]