在策略SARSA算法在互联电网CPS最优控制中的应用  

Optimal CPS control for interconnected power systems based on SARSA on-policy learning algorithm

作　　者：余涛[1] 张水平[1] 

机构地区：[1]华南理工大学电力学院,广东广州510640

出　　处：《电力系统保护与控制》2013年第1期211-216,共6页Power System Protection and Control

基　　金：国家重点基础研究发展计划(973计划)(2013CB228205);国家自然科学基金项目(51177051);中央高校基本业务费重点项目(2012ZZ0020);中国南方电网科技项目~~

摘　　要：CPS标准下的互联电网的自动发电控制(AGC)系统是一个典型的不确定随机系统,提出一种新型应用于AGC系统的随机最优控制策略——基于SARSA算法的互联电网CPS最优控制策略。SARSA算法更多地考虑控制策略动作的花费,倾向于避开进入随机系统中搜索一些危险的状态,相对于离策略(off-policy)的Q学习算法,在策略(on-policy)SARSA算法的学习试错过程中对受控系统影响更小。仿真结果表明,基于SARSA算法的CPS控制器较Q学习算法有更好的鲁棒性和适应性,能够获得更佳的CPS指标。The automatic generation control （AGC） system of the NERC＇s control standard （CPS） is a stochastic uncertain system. An on-policy SARSA algorithm of optimal CPS control for interconnected power systems is presented. SARSA （an on-policy RL algorithm） pays more attention to the cost of every action and tends to avoid searching some dangerous parts of the space in the disturbance environment, so it is safer than Q-learning （an classic off-policy RL algorithm） in selection of policy. The case study shows that the proposed controller can obviously enhance the robustness and adaptability of AGC system and more effective CPS values are obtained by using SARSA RL algorithm.

关 键 词：随机控制 自动发电控制 CPS标准 SARSA算法 强化学习 

分 类 号：TM76[电气工程—电力系统及自动化]