融合局部特征的多知识库常识问答模型

作者：田雨晴; 汪春梅; 袁非牛

来源：计算机工程与应用, 2023, 1-10.

• 常识问答
• 知识库融合
• 局部特征融合预测
• 向量白化

当前的多知识库融合常识推理模型的输入和特征组合的方式过于简单，导致模型丢失了一些与问题和答案相关的重要信息，限制了融合外部知识的常识推理模型的效果。另外，在进行常识问答的任务时，预训练语言模型输出的问题和答案表示存在的向量各向异性问题没有得到解决。这些问题都是导致常识问答推理性能不够高的因素。针对以上问题，本文提出了一种基于局部特征融合的多知识库常识问答模型，改进外部知识库和问答文本的融合方式。首先，模型将局部的问题和答案特征融入预训练语言模型全局特征，以丰富模型的特征信息，并在预测层结合了多种维度的特征进行预测；其次，模型对于待匹配的问题和答案句子表示进行了白化处理，然后执行匹配任务。通过白化操作，模型增强了句子表示的各向同性，提升了句子向量的表征能力；此外，本文还探索了不同预训练编码器（如：ALBERT、ELECTRA）在模型上的效果，以加强对知识文本的特征抽取能力，并证明了模型的稳定性。实验结果证明，在相同BERT-base编码器的实验下，模型的准确率达到78.6%，相较于基线模型取得了3.5%的准确率提升；在ELECTRA-base编码器的实验下，模型的准确率达到80.1%。

• 单位
  机电工程学院; 上海师范大学