一种基于主动学习的中文新词识别算法

作者：王博; 代翔^*; 时聪; 刘洋

来源：电讯技术, 2020, 60(11): 1265-1270.

• 中文自然语言处理
• 中文新词识别
• 主动学习
• 深度神经网络
• 人工规则

分词是中文自然语言处理的重要基础,新词的不断涌现是分词的最大难题。针对新词识别定义不清、语料缺乏的实际问题,提出了一种以大规模神经网络预训练模型为基础,并结合主动学习和人工规则的新词识别算法。利用预训练模型高效识别候选新词,使用基于不确定性和代表性样本选择的主动学习策略辅助标注新词,利用热度规则、突发性规则和合成性规则识别和过滤新词发现结果。针对新词识别评价标准不一致的问题,给出了一般性准确率和受限制准确率两条规范测试指标。与现有最优算法进行实验对比,所提算法两项指标分别提高了16%和4%。