融合ALBERT与多通道特征网络的档案数据分类模型

作者：刘景霞

来源：电子设计工程, 2023, 31(15): 6-10.

DOI：10.14022/j.issn1674-6236.2023.15.002

• 档案分类
• ALBERT
• 多通道特征网络
• 时间卷积网络
• 软注意力

为解决静态词向量语义表达不准确，传统网络模型特征提取单一等问题，提出了融合ALBERT与多通道特征网络的档案数据分类模型。采用ALBERT轻量级预训练模型提取档案数据文本特征向量，提升词向量语义表达能力；多通道特征网络捕捉不同尺度下的局部和上下文档案语义特征，软注意力机制计算每个特征对分类结果的贡献程度，由线性层输出档案类别。在公开数据集上的实验结果表明，该模型准确率达到了97.51%，优于近期表现较好的BERT-BiLSTM、BERT-TextCNN和ERNIE2.0-BiLSTM-Att深度学习模型。