基于信息论的TF-IDF算法在文本分类中的应用研究

作者：胡媛敏; 张寿明^*

来源：中国水运, 2021, 21(12): 31-33.

• TF-IDF
• 信息论
• Word2vec
• 双向长短时记忆网络

为了解决传统TF-IDF算法太过依赖词频,未考虑关键词在不同文本的不同分布对其权重影响的问题,提出一种基于信息论的TF-IDF特征选择和文本分类方法。首先,对文本进行分词以及去停用词的处理,然后使用Word2vec的skip-gram模型结合基于信息论的TF-IDF对处理后的文本进行特征选择,以更准确的表征文本,最后使用双向长短时记忆网络(BiLSTM)来进行访问上下文信息,得到文本分类的结果。结果表明,该方法与原始TF-IDF相比,分类的精确率、召回率和F1值都分别有所提升。

• 单位
  自动化学院; 昆明理工大学