基于距离置信度分数的多模态融合分类网络

作者：郑德重; 杨媛媛; 黄浩哲; 谢哲; 李文涛

来源：上海交通大学学报, 2022, 56(01): 89-100.

DOI：10.16183/j.cnki.jsjtu.2020.186

• 置信度
• 多模态融合
• 神经网络

使用多模态数据建模可以有效地克服单一模态信息量不足的问题,大大提高模型的性能.但在量化神经网络模型置信度,尤其是对于多模态融合模型方面并没有很多进展.基于此,提出一种基于嵌入的方法,在嵌入空间中通过计算样本间的距离进行局部密度估计,进而计算模型的置信度分数.该方法具备可扩展性,不仅可以用于单一模态模型,还可以用于多模态融合模型置信度的度量.此外,所提方法还可以用来评估和量化不同模态数据对于多模态融合模型的影响程度.

• 单位
  复旦大学附属肿瘤医院; 中国科学院大学; 中国科学院上海技术物理研究所