Batch-attention：深度学习中一种新的协调过拟合与欠拟合的方法

作者：胡涵清; 李政勋; 吴竹南

来源：科技导报（北京）, 2023, 41(13): 100-108.

• 深度学习
• 过拟合
• 注意力机制
• 有监督学习
• 机器学习

在深度学习网络训练的过程中，现有大多数提升模型效果的方法都集中在网络上，要提升模型的效果与准确率，就须关注数据的特性。提出了一种新的深度学习模型训练框架Batch-attention，从数据层面出发，改变了原有训练方式，经实验证明可以协调深度学习模型的过拟合与欠拟合。通过在Cifar10与Cifar100数据集上分别采用Resnet34、Transformer和efficientnet-b7进行实验对比，证明了采用Batch-attention的模型相对于基准模型，在测试集上的准确率与F1-score均有一定提升。在测试实验中，进一步分析了Batch-attention的作用机制。

• 单位
  经济管理学院; 北京信息科技大学