基于强化学习的小型ROV运动控制算法的研究  

作　　者：黄兆军[1] 

机构地区：[1]珠海城市职业技术学院,广东珠海519090

出　　处：《机器人技术与应用》2024年第5期23-29,共7页Robot Technique and Application

基　　金：2023年度广东省普通高校特色创新项目“海水养殖专用低成本小型便携式巡检ROV关键技术的研究与实现”(2023KTSCX330);珠海城市职业技术学院2022年度重点科研项目“一种低成本小型便携式海水养殖专用水下机器人的研发”(KY2022Z02Z)。

摘　　要：本文首先介绍了强化学习在无人遥控水下机器人(ROV)运动控制方面的研究现状,指出目前阻碍其进一步应用的共性难题,并对深度强化学习算法中的深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法的基本原理进行了阐述;然后针对DDPG算法应用于ROV运动控制时所存在的坏样本影响学习稳定性和缺少环境探索能力的问题,从神经网络结构和噪声引入两个方面对该算法进行了改进,提出了基于均值策略的混合式神经网络结构和引入参数空间噪声的方法;最后进行仿真实验,实验结果证明:本文改进型DDPG算法比常规的DDPG算法和传统的PID控制算法更加有效。

关 键 词：小型ROV 强化学习 深度确定性策略梯度 混合式神经网络 参数噪声 运动控制 

分 类 号：TP242.3[自动化与计算机技术—检测技术与自动化装置]