数据驱动的策略优化控制律设计最新研究综述  

Survey of recent progress in data-driven policy optimization for controller design

作　　者：赵斐然 游科友[1] Feiran ZHAO;Keyou YOU(Department of Automation,Tsinghua University,Beijing 100084,China)

机构地区：[1]清华大学自动化系,北京100084

出　　处：《中国科学：信息科学》2023年第6期1027-1049,共23页Scientia Sinica(Informationis)

基　　金：国家自然科学基金(批准号:62033006);清华大学自主科研计划资助项目。

摘　　要：随着通信技术和新一代人工智能的迅速发展,强化学习这一数据驱动的控制方法引起了极大的关注.本文回顾了强化学习中的一类典型方法——策略优化法——在系统控制律设计上的最新研究进展.主要讨论了其在各种重要线性最优控制问题上的收敛性及样本复杂度,例如线性二次控制、输出反馈控制、H∞控制、分布式控制等.此外,对策略优化法在网络化系统控制中的应用作了展望.With the development of communication technology and artificial intelligence,reinforcement learning(RL),as a data-driven control method,has received tremendous attention.The purpose of this survey is to provide an overview of the state-of-the-art policy optimization method for controller design,which is a typical RL method.In particular,we discuss its convergence and sample complexity in certain fundamental optimal control problems in linear systems,such as linear quadratic regulators,output feedback,H∞control,and distributed control.Additionally,we discuss some future work on the policy optimization for control systems.

关 键 词：线性系统 最优控制 策略梯度法 强化学习 数据驱动控制 

分 类 号：TP273[自动化与计算机技术—检测技术与自动化装置] TP181[自动化与计算机技术—控制科学与工程]