科研之友
微信
新浪微博
Facebook
分享链接
摘要
在多模态情感分析领域，之前的研究主要集中在如何针对不同模态的信息进行交互融合。然而基于各种复杂的融合策略会使得生成的多模态表示向量不可避免地携带大量与下游任务无关的噪声信息，这会导致较高的过拟合风险，并且影响高质量预测结果的生成。为解决上述问题，本文根据信息瓶颈理论，设计了包含两个互信息估计器的互信息估计模块，旨在优化多模态表示向量与真实标签之间的互信息下界，同时最小化多模态表示向量与输入数据之间的互信息，以达到寻找一种简洁的、具有较好预测能力的多模态表示向量。利用MOSI、MOSEI和CH-SIMS数据集进行对比试验，结果表明本文提出的方法是富有成效的。
- 单位
