一种保持语义关系的词向量复用方法

作者：李新春; 詹德川^*

来源：中国科学:信息科学 , 2020, 50(06): 813-823.

• 自然语言处理
• 词向量
• 模型复用
• 新词
• 深度学习

在基于深度网络的自然语言处理任务中,嵌入表示层用词向量刻画词的语义信息,可以有效地提升模型性能.词向量可以和当前任务一起端到端地进行学习,但是从模型参数数量的角度来看,词向量的训练很容易在小语料库上过拟合.为了解决这个问题,通常会使用在大语料库上预训练得到的词向量.首先,本文总结了几种常见的复用预训练词向量的方法.其次,由于当前任务的变化,会有一些新词出现,这些新词的词向量不能通过预训练的词向量获得,因此本文提出了一种保持语义关系的词向量复用算法(SrpWer). SrpWer首先对当前数据集中词语之间的关系进行建模,然后结合预训练的词向量生成新词对应的词向量.实验结果验证了SrpWer的有效性.

• 单位
  计算机软件新技术国家重点实验室; 南京大学