基于双分支特征融合的医学报告生成方法

作者：沈秀轩; 吴春雷; 冯叶棋; 程铭; 张俊三^*; 朱杰

来源：计算机工程, 2023, 49(06): 274-291.

DOI：10.19678/j.issn.1000-3428.0065065

• 医学影像报告生成
• 全局特征
• 局部特征
• 特征融合
• 图像-文本生成

医学图像的全局特征在基于深度学习的医学影像报告自动生成任务中发挥着重要作用，传统方法通常仅使用单分支卷积神经网络提取图像语义特征，注重局部细节特征的提取，但缺乏对医学图像全局特征的关注。提出一种新的医学影像报告生成方法 DBFFN，基于双分支特征融合，结合卷积神经网络与视觉Transformer各自在图像特征提取上的优势，分别提取给定医学图像的全局特征和局部特征，在计算图像全局关系的同时关注局部细微的语义信息。针对医学图像的特征融合问题，设计一种多尺度特征融合模块，对来自两个分支的图像特征进行自适应尺度对齐，并结合矩阵运算方法和空间信息增强方法有效融合全局特征与局部特征内部包含的语义信息。在IU-X-Ray数据集上的实验结果表明，DBFFN方法的BLEU-1～BLEU-4,METEOR,ROUGE-L指标平均值分别为0.496,0.331,0.234,0.170,0.214,0.370，优于HRNN、HRGR、CMAS-RL等方法，在医学影像报告自动生成任务上具有有效性。

• 单位
  中国石油大学（华东）; 中央司法警官学院