基于模型的强化学习在无人机路径规划中的应用

作者：杨思明; 单征; 曹江; 郭佳郁; 高原; 郭洋; 王平; 王景; 王晓楠

来源：计算机工程, 2022, 48(12): 255-269.

DOI：10.19678/j.issn.1000-3428.0063156

• 无人机
• 升空平台
• 路径规划
• 强化学习
• 深度学习

针对当前强化学习算法在无人机升空平台路径规划任务中样本效率低、算法鲁棒性较差的问题，提出一种基于模型的内在奖励强化学习算法。采用并行架构将数据收集操作和策略更新操作完全解耦，提升算法学习效率，并运用内在奖励的方法提高智能体对环境的探索效率，避免收敛到次优策略。在策略学习过程中，智能体针对模拟环境的动态模型进行学习，从而在有限步内更好地预测状态、奖励等信息。在此基础上，通过结合有限步的规划计算以及神经网络的预测，提升价值函数的预测精准度，以利用较少的经验数据完成智能体的训练。实验结果表明，相比同样架构的无模型强化学习算法，该算法达到相同训练水平所需的经验数据量减少近600幕数据，样本效率和算法鲁棒性都有大幅提升，相比传统的非强化学习启发类算法，分数提升接近8 000分，与MVE等主流的基于模型的强化学习算法相比，平均分数可以提升接近2 000分，且在样本效率和稳定性上都有明显提高。