语言知识驱动的词嵌入向量的可解释性研究

作者：林星星; 邱晓枫; 刘扬^*; 虞梦夏; 祁晶; 康司辰

来源：中文信息学报, 2020, 34(08): 1-9.

DOI：10.3969/j.issn.1003-0077.2020.08.001

• 可解释性
• 词嵌入向量
• 伪语料法

神经网络语言模型应用广泛但可解释性较弱,其可解释性的一个重要而直接的方面表现为词嵌入向量的维度取值和语法语义等语言特征的关联状况。先前的可解释性工作集中于对语料库训得的词向量进行知识注入,以及基于训练和任务的算法性能分析,对词嵌入向量和语言特征之间的关联缺乏直接的验证和探讨。该文应用基于语言知识库的伪语料法,通过控制注入语义特征,并对得到的词嵌入向量进行分析后取得了一些存在性的基础性结论:语义特征可以通过控制注入到词嵌入向量中;注入语义特征的词嵌入向量表现出很强的语义合成性,即上层概念可以由下层概念表示;语义特征的注入在词嵌入向量的所有维度上都有体现。

• 单位
  哈尔滨工业大学（深圳）; 北京大学