科研之友
微信
新浪微博
Facebook
分享链接
摘要
目前较优秀的NLP系统模型比较依赖有标注的数据来学习复杂的模型,这种模型通常在一个单一语料上进行训练,不能直接利用到其他语言上。收集每种语料上的训练数据是不现实的,因此想通过跨语言的方式进行低资源语料之间的迁移学习,达到在无监督学习的条件下能够进行跨语言的任务,这里进行了句子级别的语义向量的生成,并利用下游分类任务查看语义向量的质量。基于此本文提出了基于跨语言语义向量生成的模型,并引入命名实体识别,利用平行语料做语义对齐等多任务学习。实验数据为XNLI数据集,也是跨语言任务中常用的数据集。在多任务学习模型下,和基线模型相比,在XNLI数据集上效果有明显提升。
- 单位
