基于Transformer和VAE的汽车新闻文本生成研究

作者：卢益清; 严实莲; 杜朋

来源：北京信息科技大学学报(自然科学版), 2023, 38(02): 82-87.

DOI：10.16508/j.cnki.11-5866/n.2023.02.012

• 汽车新闻
• 文本生成
• 变分自编码器
• Transformer模型

针对汽车新闻领域的文本生成任务，对语料库存在的问题提出系统性的解决方法，并提出一个Transformer融合变分自编码器(variational auto-encoder, VAE)的文本生成模型。该模型采用基于Transformer的预训练-微调的方法，在解码阶段加入VAE辅助文本生成。与加入注意力(attention)机制的长短时记忆(long short-term memory, LSTM)网络模型以及Transformer模型的对比实验结果验证了方法的有效性，文本生成实例表明，通过该方法生成的句子表达更加丰富，更贴近人类的自然语言。

• 单位
  北京信息科技大学