基于LDA主题模型的短文本分类

作者：杨萌萌; 黄浩; 程露红; 马平; 包武杰

来源：计算机工程与设计, 2016, 37(12): 3371-3377.

DOI：10.16208/j.issn1000-7024.2016.12.044

• 潜在狄利克雷分布(LDA)
• 向量空间模型(VSM)
• 短文本分类
• K近邻(K-nearest neighbor)
• 吉布斯采样
• 相似度计算

针对传统VSM(vector space model)在短文本分类中维数高、语义特征不明显的问题,提出基于LDA(latent Dirichlet allocation)模型主题分布相似度分类方法;针对短文本内容少、长度短、特征稀疏的问题,提出基于LDA模型主题-词分布矩阵的主题分布向量改进方法。与传统VSM分类方法相比,该方法降低了相似度计算维度,融合了一定语义特征。实验结果表明,与传统VSM分类方法相比,基于主题分布相似度方法的平均F1值提高了4.5%,基于LDA模型主题-词分布矩阵主题分布向量改进方法的平均F1值提高了5.2%,验证了以上方法的有效性。

• 单位
  新疆大学