融合序列语法知识的卷积-自注意力生成式摘要方法

作者：罗森林; 王睿怡; 吴倩^*; 潘丽敏; 吴舟婷

来源：北京理工大学学报, 2021, 41(01): 93-101.

DOI：10.15918/j.tbit1001-0645.2019.188

• 生成式摘要
• 编码-解码模型
• 语法分析
• 卷积-自注意力模型
• 注意力机制

针对基于编码-解码的生成式摘要模型不能充分提取语法知识导致摘要出现不符合语法规则的问题,循环神经网络易遗忘历史信息且训练时无法并行计算导致处理长文本时生成的摘要主旨不显著以及编码速度慢的问题,提出了一种融合序列语法知识的卷积-自注意力生成式摘要方法.该方法对文本构建短语结构树,将语法知识序列化并嵌入到编码器中,使编码时能充分利用语法信息;使用卷积-自注意力模型替换循环神经网络进行编码,更好学习文本的全局和局部信息.在CNN/Daily Mail语料上进行实验,结果表明提出的方法优于当前先进方法,生成的摘要更符合语法规则、主旨更显著且模型的编码速度更快.

• 单位
  国家计算机网络应急技术处理协调中心; 北京理工大学