基于对抗迁移学习的军事科技领域命名实体识别

作者：连尧; 冯俊池; 丁皓

来源：电子设计工程, 2022, 30(20): 121-127.

DOI：10.14022/j.issn1674-6236.2022.20.024

• 军事科技
• 命名实体识别
• 对抗学习
• 迁移学习
• 掩码语言模型
• 虚拟对抗训练

当前通用领域命名实体识别模型可移植性差，在军事科技领域不具备普遍性和适应性，实际效果不佳。针对军事科技领域的独特性、标注语料规模小、实体识别任务多样等特点，将迁移学习的方法应用于军事科技领域命名实体识别，并进行了领域适配与任务适配。通过预训练掩码语言模型的方法对BERT预训练模型进行了领域适配，通过对抗迁移学习的方法对BiLSTM-CRF模型行了任务适配。模型中加入了虚拟对抗训练，通过训练减少虚拟对抗损失以提高模型的鲁棒性。在军事科技领域文本上验证了该方法，实验结果表明，领域适配与任务适配对提高识别效果都有显著的积极作用。