科研之友
微信
新浪微博
Facebook
分享链接
摘要
为系统探究多模态情感分析模型在对抗攻击下的鲁棒性，采用3种经典对抗攻击方法(快速梯度符号方法、投影梯度下降和动量迭代快速梯度符号方法)、2种模态数据输入(视觉和语音)和4种不同的数据特征融合方法(特征相加、特征拼接、多模态低秩双线性和多模态Tucker融合)，对比各种组合下模型的性能表现，研究影响多模态情感分析模型鲁棒性的内在因素．提出一种基于互信息最大化的多模态防御方法，通过减少输入模态特征中的冗余信息提升模型鲁棒性．研究结果表明：在非线性特征融合及双模态数据输入组合下，模型抵御对抗攻击效果最佳；在应用互信息最大化防御方法后，模型性能及抵御攻击能力均可得到有效提升．
- 单位
