基于最大熵模型的汉语词义消歧与标注方法

作者：张仰森

来源：计算机工程, 2009, (18): 15-18.

• 词义消歧与标注
• 最大熵模型
• 上下文特征
• 特征筛选 Word Sense Disambiguation(WSD) and tagging
• maximum entropy models
• contextual features
• feature selecting

分析最大熵模型开源代码的原理和各参数的意义,采用频次和平均互信息相结合特征筛选和过滤方法,用Delphi语言编程实现汉语词义消歧的最大熵模型,运用GIS(Generalized Iterative Scaling)算法计算模型的参数。结合一些语言知识规则解决训练语料的数据稀疏问题,所实现的汉语词义消歧与标注系统,对800多个多义词进行词义标注,取得了较好的标注正确率。

• 单位
  中国科学院自动化所; 模式识别国家重点实验室; 北京信息科技大学