部分可观察马尔可夫决策过程研究进展  

Research progress of partially observable Markov decision processes

作　　者：仵博[1] 吴敏[2] 

机构地区：[1]深圳职业技术学院计算机应用工程系,广东深圳518055 [2]中南大学信息科学与工程学院,湖南长沙410083

出　　处：《计算机工程与设计》2007年第9期2116-2119,2126,共5页Computer Engineering and Design

基　　金：国家863高技术研究发展计划基金项目(2001AA4422200)

摘　　要：部分可观察马尔可夫决策过程是通过引入信念状态空间将非马尔可夫链问题转化为马尔可夫链问题来求解,其描述真实世界的特性使它成为研究随机决策过程的重要分支。介绍了部分可观察马尔可夫决策过程的基本原理和决策过程,然后介绍了3种典型的算法,它们分别是Littman等人的Witness算法、Incremental Pruning算法和Pineau等人的基于点的值迭代算法,对这3种算法进行了分析比较。讲述部分可观察马尔可夫决策过程的应用。Partially observable Markov decision processes （POMDP） changes the non Markovian into Markovian over the belief state space. It has been an important branch of stochastic decision processes for its characteristics of describing the real world. At first, the principles and decision processes of POMDP is described, then three typical algorithms is presented, including Littman, et al＇s witness algorithm, incremental pruning algorithm and Pineau, et ars point-based value iteration algorithm, and the results from each of algorithms are analyzed and compared. At last, some applications are introduced using POMDP.

关 键 词：部分可观察马尔可夫 决策算法 智能体 马尔可夫链 值迭代算法 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]