基于TF-IDF与word2vec的台词文本分类研究

作者：但宇豪; 黄继风^*; 杨琳; 高海

来源：上海师范大学学报(自然科学版), 2020, 49(01): 89-95.

• 词频-逆文本频率(TF-IDF)
• word2vec
• 信息熵
• 文本分类
• 机器学习
• 加权

为提高文本分类的准确性,针对健康节目台词文本各类别之间样本数量及各样本之间词数不平衡的特点,提出了一种基于word2vec均值算法及改进的词频-逆文本频率(TFIDF)算法的分类方法 .该方法通过引入信息熵及修正因子,缓解了数据不平衡对分类准确率及召回率造成的不良影响.实验结果表明:所提出的分类方法在准确率及召回率上与word2vec均值模型相比,分别提高7.3%及10.5%.

• 单位
  机电工程学院; 上海计算机软件技术开发中心; 上海师范大学