科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种基于相似度矩阵迭代的跨媒体语义理解和检索方法。首先对图像数据库中提取的视觉特征向量进行主成分提取和去噪,对音频数据库中提取的听觉特征向量进行模糊聚类得到音频索引矩阵,进而根据核函数和典型相关性分析方法,构建低维子空间S；利用多模态样本在子空间中的多重数据关系进行相似度矩阵迭代,通过图像和音频之间的跨媒体相关性来优化图像相似度矩阵A和音频相似度矩阵B；根据跨媒体距离度量,计算跨媒体候选集,并根据用户的相关反馈,计算未标记样本成为正例或成为负例的条件概率,对跨媒体语义理解进行优化。该方法挖掘了多模态样本之间的多重数据关系,得到了较好的检索结果。
- 单位
