自注意力时序点过程生成模型的Wasserstein学习方法

作者：芦佳明; 李晨龙^*; 魏毅强

来源：计算机应用研究, 2022, 39(02): 456-460.

DOI：10.19734/j.issn.1001-3695.2021.08.0298

• 事件序列
• 时序点过程
• Wasserstein距离
• 多头自注意力

目前学界普遍通过循环神经网络(RNN)建模强度函数来刻画时序点过程，然而此类模型不能捕捉到事件序列之间的长程依赖关系，并且强度函数具体的参数形式会限制模型的泛化能力。针对上述问题，提出一种无强度函数的注意力机制的时序点过程生成模型。该模型使用Wasserstein距离构建损失函数，便于衡量模型分布与真实分布之间的偏差，利用自注意力机制描述历史事件对当前事件的影响程度，使得模型具有可解释性且泛化能力更强。对比实验表明，在缺失强度函数先验信息的情况下，该方法比RNN类的生成模型和极大似然模型在QQ图斜率的偏差和经验强度偏差这两个指标总体上分别减少35.125%和24.200%,证实了所提模型的有效性。

• 单位
  太原理工大学; 数学学院