基于多智能体强化学习的混合博弈模式下多无人机辅助通信系统设计

作者：吴官翰; 贾维敏; 赵建伟^*; 高飞飞; 姚敏立

来源：电子与信息学报, 2022, 44(03): 940-950.

• 多无人机辅助通信
• 多智能体强化学习
• 混合博弈
• 纳什均衡

空天地一体化通信作为未来6G的发展方向,很好地弥补了当前无线通信覆盖不足的弊端。该文提出一种基于多智能体强化学习(MARL)的多无人机(Multi-UAV)辅助通信算法,在用户与无人机(UAVs)构成的混合博弈模式下求解纳什均衡近似解,解决了动态环境下UAVs轨迹设计、多维资源调度以及用户接入策略联合优化问题。结合马尔可夫博弈概念建模该连续决策过程,以集中训练分布式执行(CTDE)机制,将近端策略优化(PPO)算法扩展到多智能体领域。针对离散与连续共存的动作空间设计了两种策略输出模式,并且结合Beta策略改进实现,最后通过仿真实验验证了算法的有效性。

• 单位
  中国酒泉卫星发射中心; 清华大学