基于因素化表示的TD(λ)算法  

Algorithm of TD(λ) Based on Factored Representation

作　　者：戴帅[1] 殷苌茗[1] 张欣[1] 

机构地区：[1]长沙理工大学计算机与通信工程学院,长沙410076

出　　处：《计算机工程》2009年第13期190-192,195,共4页Computer Engineering

基　　金：湖南省教委基金资助项目(07C083)

摘　　要：提出一种新的基于因素法方法的TD(λ)算法。其基本思想是状态因素化表示,通过动态贝叶斯网络表示Markov决策过程(MDP)中的状态转移概率函数,结合决策树表示TD(λ)算法中的状态值函数,降低状态空间的搜索与计算复杂度,因而适用于求解大状态空间的MDPs问题,实验证明该表示方法是有效的。This paper proposes a new algorithm of TD（λ） based on factored representation. The main principle of the algorithm is that states are factored representation, and makes use of Dynamic Bayesian Networks（DBNs） to represent the conditional probability distributions in Markov Decision Processes（MDPs）, together with decision-trees representation of value function in the algorithm of TD（λ） to lower the state space exploration and computation complexity. Therefore the algorithm is a promise for solving large-scale MDPs problems which are of a huge state space. Experiments demonstrates the validity of this representation method.

关 键 词：因素化表示 动态贝叶斯网络 决策树 TD(λ)算法 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]