基于条件随机场和词向量的能源政策领域新词发现

作者：张一帆; 张军莲; 汪鸣泉; 吕正; 黄永健; 顾倩荣

来源：南京理工大学学报, 2021, 45(01): 37-45.

DOI：10.14177/j.cnki.32-1397n.2021.45.01.004

• 能源政策
• 新词发现
• 条件随机场
• 种子词典
• 词向量

随着气候变化成为全球议题,对能源政策文件进行量化分析与研究,具有非常重要的意义。现有的中文分词技术应用在能源政策这一特定领域时,由于无法正确识别领域新词,往往很难取得令人满意的效果。针对新词发现这一问题,该文提出一种基于条件随机场(Conditional random field,CRF)和词向量的能源政策新词发现方法。利用无监督方法,在无需人工标注的情况下,提升CRF模型在特定领域的适应性。提出了种子词典的概念,通过关键词提取并辅以少量人工筛选和补充的方式,构建能源政策领域的种子词典。将种子词典和CRF模型标注结果相结合,并利用词向量筛选,完成领域新词的发现。在真实能源政策文本数据上的试验结果表明,该方法能够在较低人工成本的前提下,有效地实现能源政策领域的新词发现,进而提高中文分词在能源政策文本的表现。

• 单位
  中国科学院上海高等研究院; 中国科学院大学