一种大规模离散空间中的高斯强化学习方法  

Gaussian Processes Reinforcement Learning Method in Large Discrete States Space

作　　者：周文云[1] 刘全[1,2] 李志涛[1] 

机构地区：[1]苏州大学计算机科学与技术学院,苏州215006 [2]南京大学软件新技术国家重点实验室,南京210093

出　　处：《计算机科学》2009年第8期247-249,275,共4页Computer Science

基　　金：国家自然科学基金项目(60673092;60775046;60873116);教育部科学技术研究重点项目(207040);中国博士后科研基金(20060390919);江苏省高校自然科学基金(06KJB520104)资助

摘　　要：针对大规模离散空间中强化学习的"维数灾"问题,即状态空间的大小随着特征的增加而发生指数级的增长,提出了一种基于高斯过程的强化学习方法。在本方法中,高斯过程模型有表示函数分布的能力,使用该模型之后,可以得到的不只是一个所需的估计值,而是关于该值的一个分布。实验结果表明,结合了高斯过程的强化学习方法在各方面性能,如收敛速度以及最终实验效果等都有所提高。使用高斯方法的回归模型可以在一定程度上解决大规模离散空间上的"维数灾"问题。In order to solve the problem of ＂curse of dimensionality＂,which means that the states space will grow exponentially in the number of features, in large discrete states space in reinforcement learning, a reinforcement learning method based on Gaussian processes was proposed. The Gaussian processes model can represent the distribution of functions, and it can be used to get a distribution of the expectation instead of its value. The experiment result shows that the performance such as speed of convergence and final effect can be improved obviously with the reinforcement learning method combined Gaussian processes. The ＂curse of dimensionality＂ in large discrete states space could be solved to a certain extent with the Gaussian processes regression model.

关 键 词：强化学习 维数灾 高斯过程 回归 函数分布 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]