基于强模态辅助的弱模态图像概念分类及检测

作者：邹晓川; 叶翰嘉; 詹德川

来源：南京大学学报(自然科学), 2014, 50(02): 228-234.

DOI：10.13232/j.cnki.jnju.2014.02.015

• 图像分类
• 物体检测
• 多模态学习

在对图像中的主要描述物体进行检测或者对图像进行分类时需要利用多种不同类型的图像特征,例如HoG、BoW等.从多模态学习的角度来说就是需要对多种不同通道的特征加以利用.虽然将多种特征协同使用可以提升图像中物体检测或者图像分类的性能,但提取多种模态特征需要使耗费大量时间,难以满足实时性要求较高的环境(移动设备,网络搜索等)的要求.本文提出在训练阶段利用强模态的特征来辅助较弱的模态进行学习,通过让弱模态的分类器能够在大量的未标注样本上取得和强模态一致的效果,从而增强弱模态分类器的泛化性能;同时在测试阶段,只需提取弱模态特征,就可以利用使用弱模态特征的分类器进行预测,并达到较好的效果.在INRIA person和caltech101数据上的实验表明,本文的方法在测试时由于只使用了相对抽取开销小的弱模态特征,从而可以应用在实时性要求较高的环境,同时还带来了泛化性能的提升.

• 单位
  计算机软件新技术国家重点实验室; 南京大学