科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明属于数字图像处理与模式识别领域,具体涉及一种基于脑启发多模态交互网络的图像美学质量评价方法,包括：建立脑启发多模态交互网络模型；将图像数据输入图像感知模块获取图像感知特征；将文本数据输入文本感知模块提取文本感知特征；通过识别模块学习图像感知特征和文本感知特征之间的交互关系,得到图像与文本之间的关联表示；评估模块融合图像感知特征、文本感知特征和图像与文本之间的关联表示,融合后进行幂归一化和L2正则化得到美学分布。本发明通过KI-LSTM整合用户隐式记忆,提取文本和图像特征的关联表示；提出通用的SMF去融合多模态特征,利用低秩矩阵分解方式减少参数,使模型具有很好的泛化能力。
- 单位
