基于PPO算法的仿生鱼循迹智能控制

作者：李云飞; 严嫏; 张来平; 邓小刚; 邹舒帆^*

来源：计算机系统应用, 2023, 32(09): 230-238.

DOI：10.15888/j.cnki.csa.009231

• 深度强化学习
• 仿生鱼
• 智能控制
• 代理模型
• PPO

仿生鱼具有广阔的工程应用前景,对于仿生鱼的控制,首先要解决的是循迹问题.然而,现有的基于CFD方式和传统控制算法的鱼游控制方法存在训练数据获取成本高、控制不稳定等缺点.本文提出了基于PPO算法的仿生鱼循迹智能控制方法:使用代理模型替代CFD方式产生训练数据,提高数据的产生效率;引入高效的PPO算法,加快策略模型的学习速度,提高训练数据的效用;引入速度参数,解决鱼体在急转弯区域无法顺利循迹的问题.实验表明,我们提出的方法在多种类型的路径上均具有更快的收敛速度和更加稳定的控制能力,在仿生机器鱼的智能控制方面具有重要的指导意义.

• 单位
  四川大学; 国防科技大学