深度学习建模下的自动句子填空技术

作者：陈志刚^*; 华磊; 刘权; 尹坤; 魏思; 胡国平

来源：中文信息学报, 2019, 33(08): 101-110.

• 句子填空
• 句法分析
• 序列建模
• 深度学习

该文提出了一种结合依存句法分析和深度神经网络的自动句子填空技术。首先,提出了一种依存句法信息展开的序列建模方案,可以在引入句法信息的同时兼顾效率,并在此基础上利用排序学习思想,训练候选答案排序模型;其次,针对整体序列建模的细节建模失准问题,提出了一种基于语言模型多状态信息融合的自动句子填空模型;最后,设计了一种结合序列表示、依存句法信息、多状态信息的多源信息融合模型。该文还构建出一个英文答题数据集并据此进行了实验。实验结果表明,依存句法展开模型相对于常用的序列建模方案,准确率有11%的绝对提升;语言模型状态排序模型相对于基线模型,准确率有9.3%的绝对提升;最终的多源信息融合模型,在测试集上获得最高76.9%的准确率。

• 单位
  中国科学技术大学; 科大讯飞股份有限公司