基于强化学习的飞行自动驾驶仪设计  

Design of autopilot for aircraft based on reinforcement learning

作　　者：南杨 李中健[1] 叶文伟[2] 

机构地区：[1]西北工业大学自动化学院 [2]中国人民解放军92261部队

出　　处：《电子设计工程》2013年第10期45-47,共3页Electronic Design Engineering

摘　　要：针对强化学习在连续状态连续动作空间中的维度灾难问题,利用BP神经网络算法作为值函数逼近策略,设计了自动驾驶仪。并引入动作池机制,有效避免飞行仿真中危险动作的发生。首先,建立了TD强化学习算法框架;然后根据经验将舵机动作合理分割为若干组,在不同的飞行状态时,调取不同组中的动作;其次,构建了BP神经网络,通过飞行过程中的立即奖赏,更新网络的值函数映射;最后,通过数字仿真验证了强化学习自动驾驶仪的性能,仿真结果表明,该算法具有良好的动态和稳态性能。A Reinforcement learning based method for aircraft control is presented in this paper.BP neural network for value function approximation is introduced.An action pool machinaism is given to garrantee the safety of flight controlling.Firstly,the TDRL infrastructure is constructed.Then,the theory of BP neural net work is used for value function approximation.Finally,the simulation on the aircraft pitching angle controlling shows that the dynamical and statical performance is achieved.

关 键 词：强化学习 BP神经网络 动作池 飞行控制器 值函数逼近 

分 类 号：V249.1[航空宇航科学与技术—飞行器设计]