融合认知行为模型的深度强化学习框架及算法

作者：陈浩; 李嘉祥; 黄健^*; 王菖; 刘权; 张中杰

来源：控制与决策, 2023, 38(11): 3209-3218.

DOI：10.13195/j.kzyjc.2022.0281

• 认知行为模型
• 强化学习
• 近端策略优化
• 深度Q网络
• 信念-愿望-意图
• GOAL
• 空战机动决策

面对高维连续状态空间或稀疏奖励等复杂任务时,仅依靠深度强化学习算法从零学习最优策略十分困难,如何将已有知识表示为人与学习型智能体之间相互可理解的形式,并有效地加速策略收敛仍是一个难题.对此,提出一种融合认知行为模型的深度强化学习框架,将领域内先验知识建模为基于信念-愿望-意图(beliefdesire-intention, BDI)的认知行为模型,用于引导智能体策略学习.基于此框架,分别提出融合认知行为模型的深度Q学习算法和近端策略优化算法,并定量化设计认知行为模型对智能体策略更新的引导方式.最后,通过典型gym环境和空战机动决策对抗环境,验证所提出算法可以高效利用认知行为模型加速策略学习,有效缓解状态空间巨大和环境奖励稀疏的影响.

• 单位
  国防科技大学