基于海量信息过滤的微博热词抽取方法

作者：汪洋; 帅建梅; 陈志刚

来源：计算机系统应用, 2012, (11): 131-136.

• 中文微博
• 用户行为模型
• 海量信息过滤
• 热词抽取
• 幂律分布 Chinese microblog
• user behavior models
• massive data filtering
• hot word extraction
• power law distribution

针对海量微博信息,提出一种多步骤的热词抽取方法.首先,选择用户行为特性、微博信息的文本特征构建用户行为模型,并在此基础上提出一种基于规则的话题树生成过滤算法,筛除了微博中大量无关信息,进而对生成的话题树修剪优化;然后,根据话题树的节点内容,使用词频及其波动特性设计热词抽取算法,获取微博的热词信息.实验数据表明,该方法能大大减小输入的数据规模,同时较好的保留重要信息,有效实现热词抽取.

• 单位
  安徽科大讯飞信息科技股份有限公司; 中国科学技术大学