科研之友
微信
新浪微博
Facebook
分享链接
摘要
图像情感分析旨在分析和理解视觉内容所传达的情感，其挑战在于弥合潜在视觉特征与抽象情感间的情感鸿沟。现有的深度模型试图一次性通过直接在全局范围内学习有辨别力的高级情感表征来弥合鸿沟，但忽略了深度模型各层特征之间的层次关系，导致上下文特征间的关联缺失。为此，本文提出一种上下文层次交互网络来建模层次结构中的上下文信息和情感之间的相关性。模型包含两个分支：自下而上的主分支首先直接在高级语义层次上学习全局情感表征；其次针对该分支的不同层次特征，通过构建浅层风格编码器和情感激活注意力机制来分别提取风格表示并定位潜在情感激活区域，所提取的特征被级联到金字塔结构作为自上而下分支，从而建模上下文层次相关性并为情感表示提供浅层视觉特征。最后通过全局和局部学习将低级风格属性和高级图像语义整合到一起。实验结果表明，所提出的模型在FI数据集上较同类方法（包括多层次特征融合方法和结合了局部情感区域的方法）的情感识别准确率提升了1.6%以上。
- 单位
