摘要

[目的]本文提出一种基于多语义词向量的中文新词发现方法(MWEC),有助于解决多领域社交媒体文本的分词不准确问题。[方法]利用社交媒体文本结合中文知网和汉字笔画数据库训练多语义词向量,以解决语义混淆问题。使用N-gram频繁字符串挖掘方法识别相关度高的子词集合,以此获取新词候选集。最后利用多语义词向量的语义相似度来评估候选词进而获得新词。[结果]在金融、体育、旅游和音乐四个领域数据集上进行实验,结果表明MWEC相对于对比实验,F1评价指标分别提升了2%、3%、2.6%、11.3%。[局限]候选词生成策略着重关注子词的热度,低频词很难被识别出来。[结论]通过增强词向量的语义理解能力,利用多语义词向量对新词候选词进行剪枝,能有效提升针对中文社交媒体文本的新词发现能力。