基于FA-TR模型的中文文本摘要生成

作者：高巍; 马辉^*; 李大舟; 于沛; 孟智慧

来源：计算机工程与设计, 2021, 42(12): 3445-3452.

DOI：10.16208/j.issn1000-7024.2021.12.020

• 文本摘要
• Transformer模型
• 事实感知
• 编码器-解码器
• 自注意力机制

针对传统文本生成摘要方法在生成摘要时存在并行能力不足以及事实性错误问题,提出在Transformer框架基础上引入事实感知的FA-TR模型。提取源文本的事实性描述信息,对该信息进行编码后与源文信息编码相融合,加入源文的位置编码一起作为编码器的输入,通过解码器对语义向量进行解码生成目标摘要。该模型改善了生成的摘要歪曲或捏造源文本事实的现象,提高了摘要质量。通过在中文短文本摘要数据集LCSTS实验,采用ROUGE作为评价指标,与其它4种方法进行实验对比与分析,验证了该模型的可行性和算法的有效性。

• 单位
  中国移动通信集团设计院有限公司河北分公司; 沈阳化工大学