科研之友
微信
新浪微博
Facebook
分享链接
摘要
可视化的结果证明层次化的网络结构依赖于深层语义信息,而忽略了对于唤起情感至关重要的浅层视觉细节.针对当前图像情感分析领域中的方法多单一聚焦于低级视觉特征或高级语义表示上,未能综合考虑不同层次特征的问题,提出一种多层次混合表征模型.首先提出一种浅层视觉特征提取器,其被嵌入到主干网络用于提取浅层视觉细节;然后主干的深层语义特征和分支的浅层视觉细节表示被融合层聚合成混合表征,用于图像情感识别;最后引入一种损失函数来优化模型,解决图像情感数据集中数据样本不平衡的问题.在FI, Emotion6等6个情感数据集(包括普通图像和艺术图像)上的实验结果表明,与当前模型相比,所提模型的情感识别准确率得到超过1.5%的性能提升.
- 单位
