基于强化学习和注意力机制的朝鲜语文本结构发现

作者：赵亚慧; 杨飞扬; 张振国^*; 崔荣一

来源：吉林大学学报（工学版）, 2021, 51(04): 1387-1395.

DOI：10.13229/j.cnki.jdxbgxb20200358

• 人工智能
• 深度强化学习
• 注意力机制
• 文本结构发现
• 朝鲜语自然语言处理

将注意力机制与深度强化学习相结合,利用标签信息研究如何自主学习出有效的朝鲜语文本结构化表示,提出了两种结构化表示模型:信息蒸馏注意力模型(ID-Attention)和层次结构注意力模型(HS-Attention)。ID-Attention选择与任务相关的重要单词,而HS-Attention在句中发现短语结构。两种表示模型中的结构发现是一个顺序决策问题,使用强化学习中的Policy Gradient实现。实验结果表明:ID-Attention能够识别朝鲜语重要单词;HS-Attention能够很好地提取出句子结构,在文本分类任务上有很好的性能表现,同时,两模型的结果对语料库的标注有很好的辅助作用。

• 单位
  延边大学