基于高斯过程回归和深度强化学习的水下扑翼推进性能寻优方法

作者：杨映荷; 魏汉迪^*; 范迪夏; 李昂

来源：上海交通大学学报, 2023, 1-16.

DOI：10.16183/j.cnki.jsjtu.2023.188

• 水下扑翼
• 高斯过程回归
• 深度强化学习
• 推进性能寻优

为了克服水下工作环境的复杂多变性，以及扑翼运动本身存在控制难度高、变量多、非线性特征显著等问题，本研究提出一种直接探索环境并选取相应最优扑翼推进运动参数的寻优方法。采用拉丁超采样技术获取多维扑翼参数在实际水池中的数据样本，并基于该数据使用高斯过程回归（GPR）算法建立泛化工作环境的非参数模型。在不同推进性能需求下，采用深度强化学习（DRL）中的TD3算法并以奖励最大化为目标，训练得出连续区间内多参数动作最优组合解。实验结果表明，该GPR-TD3方法可以习得实验环境下扑翼推进的全定义域内最优解，包括最大速度和最大效率，并且该最优解可以在GPR中以二维形式直观验证其准确性。同时，针对任意给出的推进速度要求值，在290组真实样本前提下，新算法能够给出误差范围为0.23%～6.68%的推荐动作组合解，为真实应用提供参考。

• 单位
  上海交通大学; 西湖大学; 海洋工程国家重点实验室