一种分层强化学习的知识推理方法

作者：孙崇; 王海荣^*; 荆博祥; 马赫

来源：计算机应用研究, 2023, 1-6.

DOI：10.19734/j.issn.1001-3695.2023.07.0309

• 知识推理
• 分层强化学习
• 交互奖励
• 链接预测

针对知识推理过程中，随着推理路径长度的增加，节点的动作空间急剧增长，使得推理难度不断提升的问题，提出一种分层强化学习的知识推理方法(Knowledge Reasoning Method Of Hierarchical Reinforcement Learning,MutiAg-HRL)，降低推理过程中的动作空间大小。MutiAg-HRL调用高级智能体对知识图谱中的关系进行粗略推理，通过计算下一步关系与给定查询关系之间的相似度确定目标实体大致位置，依据高级智能体给出的关系，指导低级智能体进行细致推理，选择下一步动作；模型还构造交互奖励机制，对两个智能体的关系和动作选择及时给予奖励，防止模型出现奖励稀疏问题。为验证本方法的有效性，在FB15K-237和NELL-995数据集上进行实验，将实验结果与TransE、MINERVA、HRL等11种主流方法进行对比分析，MutiAg-HRL方法在链接预测任务上的Hits@k平均提升了1.85%,MRR平均提升了2%。

• 单位
  北方民族大学