基于局部特征和全局特征融合的膀胱镜图像分类方法

作者：史骏; 董钲琦; 孙建林; 李想; 汪逸飞; 杨皓程; 周泰然; 郑利平; 徐本柱

来源：2023-03-03, 中国, ZL202310196084.X.

本发明提出了一种基于局部特征和全局特征融合的膀胱镜图像分类方法,包括：获取带有图像标签的膀胱镜图像；建立融合局部和全局特征的三分支网络模型；利用模型进行膀胱镜图像的分类。本发明利用局部特征提取模块对膀胱镜图像进行特征学习,提取图像局部空间的上下文特征,同时利用全局特征提取模块对膀胱镜图像进行特征学习,提取图像的全局语义信息；利用CNN和Transformer将膀胱镜图像局部上下文特征与全局语义信息进行整合,得到一组鉴别能力更强的膀胱镜图像特征信息,优于传统的卷积神经网络所提取到的特征；利用增强后的局部特征和全局特征进行知识蒸馏,反向优化局部特征提取模块和全局特征提取模块的性能,提高准确率。