马尔可夫决策过程两种抽象模式  

Two Classes of Abstract Modes about Markov Decision Processes

作　　者：王蓁蓁[1] 邢汉承[1] 张志政[1,2] 倪庆剑[1] 

机构地区：[1]东南大学计算机科学与工程学院,南京210096 [2]南京大学计算机软件新技术国家重点实验室,南京210093

出　　处：《计算机科学》2008年第10期6-14,48,共10页Computer Science

基　　金：国家自然科学基金会重大研究计划项目(90412014);计算机软件新技术开放课题(A200707)资助

摘　　要：抽象层次上马尔可夫决策过程的引入,使得人们可简洁地、陈述地表达复杂的马尔可夫决策过程,解决常规马尔可夫决策过程(MDPs)在实际中所遇到的大型状态空间的表达问题。介绍了结构型和概括型两种不同类型抽象马尔可夫决策过程基本概念以及在各种典型抽象MDPs中的最优策略的精确或近似算法,其中包括与常规MDPs根本不同的一个算法:把Bellman方程推广到抽象状态空间的方法,并且对它们的研究历史进行总结和对它们的发展做一些展望,使得人们对它们有一个透彻的、全面而又重点的理解。Using Markov decision processes on abstract level, one can compactly and declaratively represent complex Markov decision processes. And one can solve real-world problems that generally have very large state space with regular MDPs. This paper introduces central concepts of two classes of abstract MDPs.. structured mode and generalized mode. Then precise or approximate algorithms for looking for optimal policy for abstract MDPs are reviewed, including an algorithm that is totally different from regular Markov decision processes： A relational upgrade of the Bellman update operation.L Finally, the paper gives conclusions of history work and suggests future work. In this way, people are able to get an intensive, comprehensive and in-depth understanding of abstract MDPs.

关 键 词：情景演算 因子化马尔可夫决策过程 逻辑马尔可夫决策过程 关系马尔可夫决策过程 Bellman方程 

分 类 号：TP391.4[自动化与计算机技术—计算机应用技术] TJ761.13[自动化与计算机技术—计算机科学与技术]