科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明提供一种基于One2MultiSeq训练范式和预训练模型BART的关键词生成方法、系统、存储介质和电子设备,涉及自然语言处理技术领域。本发明提出One2MultiSeq范式,兼顾存在的关键词和缺失的关键词,构建两条关键词顺序完全相反的关键词序列,并用于模型训练；能够减轻关键词顺序对模型的影响,提升模型对缺失关键词的关注度,从而提升模型效果。此外,为了解决现有模型文本建模能力较差的问题,以预训练模型BART来作为基础架构,并为BART引入了复制机制,组成CopyBART,进一步提升了模型效果。对于多模态的信息,本发明实施例采用了一种简单而有效的方法进行模态之间的对齐,实验证明所提出的模态对齐非常有效。
- 单位
