基于深度强化学习的四旋翼无人机自主控制方法

作者：梁吉; 王立松; 黄昱洲; 秦小麟^*

来源：计算机科学, 2023, 50(S2): 13-19.

• 强化学习
• 四旋翼无人机
• 自主控制
• 专家策略

随着无人机的广泛应用，无人机控制器的设计成为近年来广泛研究的热点。当前无人机中广泛使用的PID,MPC等控制算法受到参数难调节、模型构建复杂、计算量大等一系列因素的制约。针对上述问题，提出了一种基于深度强化学习的无人机自主控制方法。该方法通过神经网络拟合无人机控制器，直接将无人机的状态映射到舵机的输出以控制无人机运动，在不断与环境进行交互训练中即可得到一个通用的无人机控制器，有效地避免了参数调节、模型构建等复杂操作。同时，为进一步提高模型的收敛速度和准确性，在传统强化学习算法Soft Actor Critic(SAC)的基础之上引入专家信息，提出了ESAC算法，指导无人机对环境进行探索，以增强控制策略的易用性和扩展性。最后在无人机的位置控制以及轨迹跟踪任务中，通过与传统PID控制器和SAC,DDPG等强化学习算法构建的模型控制器进行对比，实验结果表明，通过ESAC算法构建的控制器能够达到与PID控制器同样甚至更优的控制效果，同时在稳定性和准确性上优于SAC和DDPG构建的控制器。

• 单位
  南京航空航天大学