一种融合关键词的生成式摘要方法

作者：李伯涵; 李红莲

来源：计算机应用研究, 2021, 38(11): 3289-3358.

DOI：10.19734/j.issn.1001-3695.2021.04.0111

• 文本摘要
• BERT预训练模型
• 主题关键词
• 双重注意力机制
• 指针模型

针对生成式文本摘要中模型对文本语义了解不够充分以及生成摘要缺乏关键信息的问题,提出一种融合关键词的中文摘要生成模型KBPM(Key-BERT-Pen model)。首先使用TextRank方法将文本中关键词抽取出来,然后将抽取出的关键词与原文一起经过BERT预训练模型得到更加精确的上下文表示,最终将得到的词向量输入到带有双重注意力机制的指针模型中,指针模型从词汇表或原文中取出词汇来生成最终的摘要。实验结果表明,KBPM模型能够生成可读性更好、ROUGE分数更高的文本摘要。通过对比分析也验证了KBPM模型有效解决了生成摘要中缺乏关键信息的问题。

• 单位
  北京信息科技大学