ODLUE：一个更为精确高效的不确定度估计模块

作者：林仁军; 王刘洋

来源：工业控制计算机, 2023, 36(10): 101-158.

• 不确定度
• 域学习
• 高斯采样
• 神经网络

随着科技的进步，神经网络取得了长足的发展，但目前的深度神经网络会产生过于自信的预测结果，即使测试数据与训练数据分布差别很大，深度神经网络也可能会产生高置信度的错误预测，因此，对预测结果来说，拥有一个不确定度量化指标很重要。目前最流行估计神经网络预测结果不确定度的方法，是结合来自多个神经网络的预测的方法，如贝叶斯神经网络（BNNs）和深度集成（Deep Ensembles）。但是它们都需要高内存和高计算成本，这使得在工业规模上的实时应用上受到限制。提出了一种名为在线域学习不确定度估计的方法（Online Domain Learning Uncertainty Estimation），简称ODLUE。ODLUE是对神经网络提取的中间特征进行分析的，故其是随着神经网络在线训练的，无需高昂的内存和计算成本，神经网络在输出预测标签的同时，也会输出相应的不确定度。除此之外，ODLUE对中间特征分布周围进行高斯采样，使其拥有了域外感知能力。实验结果表明，该方法明显优于Deep Ensembles与Monte Carlo Dropout这两种经典方法。

• 单位
  广东工业大学