基于点互信息的全局词向量模型

作者：李万理; 唐婧尧; 薛云^*; 胡晓晖; 张涛

来源：山东大学学报(理学版), 2019, 54(07): 100-105.

• 点互信息
• 词向量
• GloVe

提出了一种基于点互信息的全局词向量训练模型。该模型为了避免GloVe词向量模型中使用条件概率刻画词语关系时所产生的缺点,使用了另一种相关信息——联合概率与边际概率乘积的比值——来刻画词语间的关系。为了验证模型的有效性,在相同条件下,利用GloVe模型和我们的模型训练词向量,然后使用这2种词向量分别进行了word analogy以及similarity的实验。实验表明,模型的准确率在word analogy的Semantic问题中比GloVe模型表现更好,分别在100维、200维、300维的词向量实验中,准确率提升了10.50%、4.43%、1.02%,而在similarity的实验中,模型准确率提升也达5%～6%。结果表明,模型可以更有效地捕捉词语的语义。

• 单位
  广东中建普联科技股份有限公司; 华南师范大学