融合卷积收缩门控的生成式文本摘要方法

作者：甘陈敏; 唐宏; 杨浩澜; 刘小洁; 刘杰

来源：计算机工程, 2023, 1-10.

DOI：10.19678/j.issn.1000-3428.0066847

• 生成式文本摘要
• 序列到序列模型
• Transformer模型
• BERT编码器
• 卷积收缩门控单元
• 解码器

在深度学习技术的推动下，以编码器-解码器架构为基础，结合注意力机制的序列到序列模型（Sequence to Sequence,Seq2Seq）成为文本摘要研究中应用最广泛的模型之一，尤其在生成式文本摘要任务中取得显著效果。然而，现有的采用循环神经网络（RecurrentNeuralNetwork,RNN）的模型存在并行能力不足和时效低下的局限性，以及模型无法充分概括有用信息，忽视单词与句子间的联系，易产生冗余重复或语义不相关的摘要。鉴于此，提出一种基于Transformer和卷积收缩门控的文本摘要方法。该方法首先利用BERT作为编码器，提取不同层次的文本表征，得到上下文编码；其次采用卷积收缩门控单元调整编码权重，强化全局相关性，去除无用信息的干扰，过滤后得到最终的编码输出；最后设计三种不同的解码器，包括基础Transformer解码模块，共享编码器的解码模块和采用GPT的解码模块，加强编码器与解码器的关联，以此探索能生成高质量摘要的模型结构。相对比主流基准模型，在LCSTS和CNNDM数据集上，该方法中的TCSG,ES-TCSG和GPT-TCSG模型的评价分数增量均不低于1.0，验证方法的有效性和可行性。

• 单位
  重庆邮电大学; 通信与信息工程学院