融合指针网络的Transformer摘要生成模型的改进

作者：李维乾; 蒲程磊

来源：西安工程大学学报, 2022, 36(02): 94-100.

DOI：10.13338/j.issn.1674-649x.2022.02.013

• 文本摘要
• 注意力机制
• Encoder-Decoder模型
• Transformer模型
• 指针网络

针对传统引入注意力机制的Encoder-Decoder模型在摘要生成任务上存在文字冗余、表述不一致、非登录词（out of vocabulary,OOV）等问题，而导致生成摘要准确性较差，对可嵌入文本位置信息的Transformer模型进行了改进。提出引入指针网络帮助解码，利用指针网络生成文本的优势生成摘要，并在LCSTS中文短文本摘要数据集上验证了该模型的有效性。结果表明：改进后的Transformer模型在ROUGE评分上比基准模型平均高出2分，在保证摘要与输入文本一致性的同时，其生成内容的显著性和语言的流畅性提升明显。

• 单位
  西安工程大学