一种基于信念状态压缩的实时POMDP算法  

Real-time POMDP algorithm based on belief states space compression

作　　者：仵博[1] 吴敏[1] 

机构地区：[1]中南大学信息科学与工程学院

出　　处：《控制与决策》2007年第12期1417-1420,共4页Control and Decision

基　　金：国家十五863计划项目(2001AA4422200)

摘　　要：针对求解部分可观察马尔可夫决策过程(POMDP)信念状态空间是NP难问题,提出一种信念状态空间压缩(BSSC)算法.将信念状态空间的高维压缩到低维,利用动态贝叶斯网络对状态转移函数、观察函数和报酬函数进行压缩,降低求解规模,达到实时决策的目的.对比实验表明,所提出的算法可以快速求解最优策略和最优值函数.Solving belief state space for partially observable Markov decision processes （POMDP） is an NP-difficult problem. Therefore, a belief state space compression（BSSC） algorithm is proposed, which compacts belief state space from high dimension to low dimension. State transition function, observation functionand reward function are compressed by using dynamic Bayesian network to reduce the solving dimension and realize real-time decision. The test data show that the BSSC algorithm can quickly solve optimal policy and optimal value function in the real-time environment.

关 键 词：马尔可夫 可观察马尔可夫决策过程 决策算法 决策树 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]