增广模态收益动态评估方法

作者：毕以镇; 马焕; 张长青^*

来源：计算机应用, 2023, 43(10): 3099-3106.

• 多模态分类
• 多模态融合
• 置信度估计
• 增广模态
• 表示学习

针对获取新模态难度大、收益差异大的问题，提出了一种增广模态收益动态评估方法。首先，通过多模态融合网络得到中间特征表示和模态融合前后的预测结果；其次，将两个预测结果的真实类别概率（TCP）引入置信度估计，得到融合前后的置信度；最后，计算两种置信度的差异，并将该差异作为样本以获取新模态所带来的收益。在常用多模态数据集和真实的医学数据集如癌症基因组图谱（TCGA）上进行实验。在TCGA数据集上的实验结果表明，与随机收益评估方法和基于最大类别概率（MCP）的方法相比，所提方法的准确率分别提高了1.73～4.93和0.43～4.76个百分点，有效样本率（ESR）分别提升了2.72～11.26和1.08～25.97个百分点。可见，所提方法能够有效评估不同样本获取新模态所带来的收益，并具备一定可解释性。

• 单位
  天津大学