基于预训练语言模型的维吾尔语事件抽取

作者:张朋捷; 王磊; 马博; 杨雅婷; 董瑞; 艾孜麦提·艾瓦尼尔
来源:计算机工程与设计, 2023, 44(05): 1487-1494.
DOI:10.16208/j.issn1000-7024.2023.05.027

摘要

以往的维吾尔语事件抽取研究多采用静态词向量加长短时记忆神经网络的分析方式,无法有效处理一词多义和上下文语义表示问题。针对目标语言,训练两种维吾尔语预训练语言模型,提出一种结合BiGRU的联合问答模型事件抽取方法。利用预训练语言模型获取文本的动态语义向量,融合类别表征信息,运用BiGRU进一步提取文本特征。实验结果表明,在事件识别任务上F1值达到77.96%,在事件主体抽取任务上F1值达到74.89%。相比基线模型NER方法,所提方法的F1值提高了14.08%。

全文