TSPT:基于预训练的三阶段复合式文本摘要模型

作者：吕瑞; 王涛; 曾碧卿; 刘相湖

来源：计算机应用研究, 2020, (10): 2917-2921.

DOI：10.19734/j.issn.1001-3695.2019.05.0193

• 预训练
• 复合式文本摘要模型
• 抽取式方法
• 生成式方法
• 双向上下文信息词向量 pre-training
• compound text summarization model
• extractive method
• generative method
• bidirectional contextual information word vectors

抽取式方法从源文本中抽取句子,会造成信息冗余;生成式方法可能生成非源文词,会产生语法问题,自然性差。BERT作为一种双向Transformer模型,在自然语言理解任务上展现了优异的性能,但在文本生成任务的应用有待探索。针对以上问题,提出一种基于预训练的三阶段复合式文本摘要模型(TSPT),结合抽取式方法和生成式方法,将源本文经过预训练产生的双向上下文信息词向量由sigmoid函数获取句子得分抽取关键句,在摘要生成阶段将关键句作为完形填空任务重写,生成最终摘要。实验结果表明,该模型在CNN/Daily Mail数据集中取得了良好效果。

• 单位
  华南师范大学