科研之友
微信
新浪微博
Facebook
分享链接
摘要
为了提高大量文本数据的特征选择能力，采用全覆盖粒计算方法对特征选择算法的数据高维性与稀疏性进行分析。针对TFIDF算法存在的缺陷，设计了一种经过改进后的TFIDF＿SP算法，以区分文档内处于不同部位的特征词重要性，并根据不同特征选择方法对比结果判断算法有效性。研究结果表明，采用bLDA主题模型提取细主题粒度的时候也无法获得理想聚类效果，此时会对相同主题特征词造成弱化，将其判断为不同主题类型的特征词。在γ取值等于0.8时可以获得最优聚类效果，此时改进TFIDF算法能促进权重的进一步提升。所提出的改进TFIDF算法可以获得比TFIDF和bLDA主题模型更好的结果结合高1.62%的聚类准确率，表明当特征词方式词性与位置变化时会引起文档表达效果的显著影响。
- 单位
