基于改进LDA特征抽取的重大事件趋势预测

作者：彭博远; 彭冬亮; 谷雨^*; 彭俊利

来源：杭州电子科技大学学报(自然科学版), 2020, 40(02): 61-67.

DOI：10.13954/j.cnki.hdu.2020.02.011

• 大数据
• 重大事件
• 趋势预测
• 主题模型
• 机器学习

为克服大数据背景下的重大事件趋势预测研究在特征选择上的局限性问题,提出一种基于改进潜在狄利克雷分布(Latent Dirichlet Allocation,LDA)特征抽取的重大事件趋势预测方法。首先,利用网络爬虫辅助新闻数据采集;其次,利用主题模型取代专家知识进行特征抽取与向量表示,并针对LDA主题模型存在的主题噪声以及在特征词偏向性问题,设计了一种改进模型NR-IDF-LDA;最后,利用机器学习分类模型进行预测结果输出。以朝核行为趋势预测为例进行验证,提出方法的全时间段预测准确率达到80.56%,召回率达到75.3%,预测结果与基于专家知识进行特征构建的传统方法相当,证实了方法的可行性和有效性。

• 单位
  自动化学院; 杭州电子科技大学