基于注意力机制和多关系事件的时序知识图谱推理

作者:杨琴琴; 张骁雄*; 田伟; 刘浏; 刘姗姗; 丁鲲
来源:微电子学与计算机, 2023, (07): 18-26+3.
DOI:10.19304/J.ISSN1000-7180.2022.0408

摘要

时序知识图谱推理是将时序信息引入知识表征学习和知识推理任务中,旨在推断事件在未来的演变趋势.针对大多数时序知识图谱推理方法存在跨时间实体与关系推理能力有限的问题,提出基于多关系事件和注意力机制的时序知识图谱推理模型(Attention Events Network,Attn-Net).为利用时序知识图谱中推理任务与时序事件的关联信息,往往需要设计专门的、复杂度高的时序编码器.然而循环神经网络作为最常用的一类序列编码器,忽略了序列节点与任务之间的关联程度,并不能很好适用于知识推理.文中提出了使用自注意力机制序列编码模型来融合序列的历史信息,计算推理任务与时序历史信息的注意力标量,从而得到更准确的历史事件关联信息编码.在此基础上,使用注意力机制优化多关系邻域聚合器,根据不同关系下事件关注程度计算得到实体的邻域表示,从而获得更准确的事件编码,最终获取了更准确的实体邻域向量表示.在WIKI和YAGO数据集上实验表明,Attn-Net的效果分别提升了1.5%和2%,且有效提高了时序知识图谱推理的能力.

全文