基于Monte Carlo粒子滤波的POMDPs在线算法  

Online algorithm based on Monte Carlo particle filtering in POMDPs

作　　者：仵博[1,2,3] 吴敏[1,2] 

机构地区：[1]中南大学信息科学与工程学院,长沙410083 [2]中南大学先进控制与智能自动化湖南省工程实验室,长沙410083 [3]深圳职业技术学院教育技术与信息中心,广东深圳518055

出　　处：《控制与决策》2013年第6期925-929,共5页Control and Decision

基　　金：国家自然科学基金项目(61074058;60874042);教育部博士点基金项目(20090162120068);广东省自然科学基金项目(S2011040004769)

摘　　要：针对部分可观察马尔可夫决策过程(POMDPs)的信念状态空间是一个双指数规模问题,提出一种基于Monte Carlo粒子滤波的POMDPs在线算法.首先,分别采用粒子滤波和粒子映射更新和扩展信念状态,建立可达信念状态与或树;然后,采用分支界限裁剪方法对信念状态与或树进行裁剪,降低求解规模.实验结果表明,所提出算法具有较低的误差率和较快的收敛性,能够满足系统实时性的要求.@@@@In order to solve the double exponential size problem of belief states space in partially observable Markov decision processes(POMDPs), an online algorithm based on Monte Carlo particle filtering(MCPF) is proposed. Firstly, the methods of particle filtering and particle projection are used to update and expand the belief states respectively, and the and-or tree of reachable belief states is built. Then, a branch-and-bound pruning method is proposed to prune the tree to reduce computation. Finally, the experiment and simulation results show that the proposed algorithm has the effectiveness in retaining the quality of the policies and reducing the cost of computing policies, so it can meet the requirement of a real-time system.

关 键 词：部分可观察马尔可夫决策过程 信念状态 MONTE Carlo 粒子滤波 在线算法 

分 类 号：TP273[自动化与计算机技术—检测技术与自动化装置]