科研之友
微信
新浪微博
Facebook
分享链接
摘要
图像情感分析是机器视觉领域热点问题，然而情感判断主观性较强，仅分析完整图像难以准确刻画图像中情感语义，且高质量图像情感数据不足。为此，提出联合多头数据增强与多粒度语义挖掘的图像情感分析模型M2。设计多头数据增强方法：基于自动数据增强与主动样本精选策略构建递进式数据增强模型，从“质”与“量”两个角度提升数据集；引入情感区域检测模型完成情感区域增强，深入挖掘图像中情感语义强烈的局部区域；联合局部区域与整幅图像构建多粒度图像。基于深度互学习框架及局部区域完成模型预训练，充分挖掘异构SENet网络之间互补的情感语义，并以迁移学习方式指导多粒度图像情感分析。设计自适应特征融合模块，融合异构SENet特征完成多粒度语义挖掘，实现图像情感分析。在Twitter I与FI数据集上验证M2模型，其准确率分别达到90.97%和81.14%，优于主流基线。M2拥有泛化性更强的数据增强策略，为其训练提供坚实数据基础，且对应实证分析效果较好，模型具备一定实用价值。
- 单位
