基于生成对抗网络的甲状腺超声图像文本跨模态检索方法

作者：徐峰; 马小萍; 刘立波^*

来源：生物医学工程学杂志, 2020, 37(04): 641-651.

• 甲状腺
• 跨模态检索
• 生成对抗网络
• 深度学习

超声检查是甲状腺病变检查中的常用手段,其检查结果主要由甲状腺超声图像和检查所见文本报告组成。实现医疗图像与文本报告的互相检索(简称:互检)可以为医生及患者提供极大的便利,但目前尚未有将甲状腺超声图像与文本报告相关联的互检方法。本文提出一种基于深度学习的跨模态甲状腺图文互检方法,并在跨模态生成对抗网络的基础上提出改进方法:①将原网络中用于构建公共表示空间的部分全连接层之间的权重共享约束改为余弦相似度约束,能使网络更好地学习不同模态数据的公共表示;②在跨模态判别器前加入全连接层,将权重共享的原网络中图像和文本全连接层合并在一起,在继承了原网络权重共享的优点基础上实现语义正则化。实验结果表明,本文方法的甲状腺超声图像与文本报告互检平均精度均值可以达到0.508,较传统跨模态方法有较大提升,为甲状腺超声图像和文本报告的跨模态检索提供了新手段。

• 单位
  银川市第一人民医院