部分可观测马尔可夫决策过程算法综述  

Survey of algorithms for partially observable Markov decision processes

作　　者：桂林[1] 武小悦[1] 

机构地区：[1]国防科技大学信息系统与管理学院,湖南长沙410073

出　　处：《系统工程与电子技术》2008年第6期1058-1064,共7页Systems Engineering and Electronics

基　　金：湖南自然科学基金资助课题(07JJ3133)

摘　　要：部分可观测马尔可夫决策过程(POMDP)是马尔可夫决策过程(MDP)的扩展,它允许系统的状态信息部分可知。但POMDP的可能应用大部分没有实现,这主要是因为缺乏有效的算法。POMDP的算法分为近似算法和精确算法,精确算法是构造近似算法的基础。介绍了POMDP模型后,对离散时间、有限状态集的POMDP精确算法和近似算法进行了综述,分析了造成POMDP难以求解的主要原因,提出了进一步的研究方向。A partially observable Markov decision process （POMDP） is an extension of a Markov decision process （MDP）, which can partially keep the state of the system under observation. The applied potential for POMDP remains largely unrealized due to lack of tractable solution methodologies. The POMDP algorithms can divide into the approximate algorithms and the exact algorithms, and the exact algorithms are the base of the ap proximate algorithms. The exact and approximate algorithms for solving discrete-time, finite POMDP over finite horizon are summarized. In the end the reasons why POMDP problems are intractable and the future research directions are proposed.

关 键 词：部分可观测马尔可夫决策过程 算法 综述 

分 类 号：TP319[自动化与计算机技术—计算机软件与理论]