科研之友
微信
新浪微博
Facebook
分享链接
摘要
现有基于深度学习的图像拼接篡改检测方法大多依赖卷积操作的局部计算过程，感受野有限。此外，现有方法大多仅将篡改区域定位用于指导检测模型训练，难以学习更加丰富的篡改痕迹特征。针对上述局限性，提出了基于Transformer的多任务图像拼接篡改检测网络(Multitask Transformer-based Network, MT-Net),利用Transformer中的自注意力机制在特征提取过程获取图像像素之间的相关性，自适应地为各像素提供不同的关注度，提升检测网络对篡改痕迹的表征能力。此外，MT-Net同时考虑多个子任务从局部细化和整体感知两个方面共同引导网络学习，包括篡改区域定位、篡改边缘定位和篡改比例预测，并根据子任务特点设计了对应的损失函数来指导网络进行优化。实验结果表明，相比现有算法，所提算法在CASIA V2.0,Columbia和IDM2020这3个公开数据集上均取得了更好的检测准确性，F1值分别达到了0.808,0.913和0.675。可视化检测结果图表明，所提算法在定位拼接篡改区域时也有较好的表现。
- 单位
