动态电源管理超时策略自适应优化算法  

Adaptive optimization algorithm of timeout policy for dynamic power management

作　　者：江琦[1] 奚宏生[1] 殷保群[1] 

机构地区：[1]中国科学技术大学自动化系,合肥230027

出　　处：《控制与决策》2008年第4期372-377,共6页Control and Decision

基　　金：国家自然科学基金项目(60774038;60574065);国家863计划项目(2006AA01Z114);安徽省自然科学基金项目(050420301;070412063);中国科学技术大学研究生创新基金项目(KD2006036)

摘　　要：基于强化学习的方法,提出一种动态电源管理超时策略自适应在线优化算法.构建基于超时策略动态电源管理系统的半Markov控制过程模型,将动态电源管理问题转化为一个带约束的优化问题.利用此模型的动态结构特性,结合在线梯度估计与随机逼近推导超时策略的在线优化算法.该算法自适应性强,计算量小,具有全局收敛性.通过无线网络通信节点动态电源管理的应用仿真验证了算法的有效性.Based on reinforcement learning, an adaptive online optimization algorithm of timeout policy is proposed for dynamic power management. A semi-Markov control processes based analytic framework is introduced for timeout policy driven power-managed systems. Then an adaptive optimization algorithm that combines gradient estimation online and stochastic approximation is derived. This algorithm doesn＇t depend on the prior knowledge of system parameters, and can achieve global optimum with less computational cost. As an illustrative example, the dynamic power management for wireless communication devices is formulated, and simulation results show the effectiveness of the proposed algorithm.

关 键 词：动态电源管理 超时策略 半Markov控制过程 强化学习 在线优化 

分 类 号：TP202[自动化与计算机技术—检测技术与自动化装置]