科研之友
微信
新浪微博
Facebook
分享链接
摘要
现代战争的战场较大且兵种较多，利用多智能体强化学习(Multi-Agent Reinforcement Learning， MARL)进行战场推演可以加强作战单位之间的协同决策能力，从而提升战斗力。当前MARL在兵棋推演研究和对抗演练中的应用普遍存在两个简化：各个智能体的同质化和作战单位分布稠密，实际战争场景中并不总是满足这两个设定，可能包含多种异质的智能体以及作战单位分布稀疏。为了探索强化学习在更多场景中的应用，分别就这两方面进行改进研究。首先本文设计并实现了多尺度多智能体抢滩登陆环境M2ALE(Multi-scale Multi-agent Amphibious Landing Environment)，M2ALE针对上述两个简化设定作了针对性的复杂化，添加了多种异质智能体和作战单位分布稀疏的场景，这两种复杂化设定加剧了多智能体环境的探索困难问题和非平稳性，使用常用的多智能体算法通常难以训练。其次提出一种异质多智能体课程学习框架HMACL(Heterogeneous Multi Agents Curriculum Learning)来应对M2ALE环境的难点。HMACL包括三个模块，一是任务生成模块(Source Task Generating， STG)，用于生成源任务以引导智能体训练。二是种类策略提升模块(Class Policy Improving， CPI)，针对多智能体系统本身的非平稳性，提出一种基于智能体种类的参数共享(Class Based Parameter Sharing)策略，实现了异质智能体系统中的参数共享。三是训练模块(Trainer)，通过从STG获取源任务，从CPI获取最新的策略，使用任意MARL算法训练当前最新策略。HMACL可以缓解常用MARL算法在M2ALE环境中的探索难问题和非平稳性问题，引导多智能体系统在M2ALE环境中的学习过程。实验显示，使用HMACL使得MARL算法在M2ALE环境下的采样效率和最终性能得到大幅度的提升。
- 单位
