基于深度强化学习的无人机矿井自主巡航研究

作者:沈凡凡; 杨博帆*; 梁琦玮; 惠丽洁; 徐超
来源:武汉大学学报(理学版), 2023, 69(02): 205-214.
DOI:10.14188/j.1671-8836.2022.0216

摘要

针对目前矿井传感器所收集数据的传输效率差、实时性低、丢包率高等问题,提出了一种基于深度强化学习的无人机矿井自主巡航解决方法,以有效收集物联网节点数据。该方法以无人机作为传输中介,根据矿井物联网节点数据生成周期性的不同差值,利用强化学习TD3(Twin Delayed Deep Deterministic policy gradient algorithm)算法实现无人机最优路径规划。同时算法考虑并设计了符合矿井实际场景的环境、奖励值、状态信息等。提出了一种预测等待的方法,预测待采集数据产生时间并确定目标节点,无人机在信号覆盖范围内前往目标节点提前等待,以实时获取矿井传感器的生成数据。实验结果表明,无人机能够自主决策实现最优路径规划,并收集节点数据;在训练回合为700时,奖励值达到峰值,算法达到收敛并具备优异的表现。

  • 单位
    南京审计大学