科研之友
微信
新浪微博
Facebook
分享链接
摘要
在利用DETR进行目标检测时，复杂的矩阵运算不仅对稀疏冗余特征产生了大量无效计算，还阻碍了对图像更多尺度信息的使用。针对上述问题，本文提出了多尺度局部聚类的Kmeans-DETR目标检测方法。首先构造了局部Kmeans聚类方法，通过在特征图的局部区域内聚类得到对应簇，并选取特征代表该簇以降低稀疏冗余特征的数量，进而减少矩阵计算量与模型复杂度；其次通过三种尺度的局部聚类，引入多尺度信息的同时通过不同尺度聚类区域重叠的方式解决局部信息不互通的问题；最后改进了位置编码方式用以记录局部聚类后特征的位置信息，并嵌入到簇的代表特征中，利用Transformer结构完成检测任务。本文提出的模型在COCO数据集上与主流的目标检测模型进行了对比，在多个指标上均有较好的表现。
- 单位
