基于多尺度特征解析的放射学报告生成方法

作者：王瑞; 梁建国; 花嵘^*

来源：北京大学学报(自然科学版), 2023, 1-9.

DOI：10.13209/j.0479-8023.2023.076

• 注意力机制
• 特征融合
• 放射学报告
• Transformer
• 图像–文本生成

在使用深度学习模型自动生成放射学报告时,由于数据的极度不平衡,当前的模型难以识别异常区域特征,从而导致对疾病的错判与漏判。为了提升模型对疾病的识别能力,提高放射学报告的质量,提出使用多尺度特征解析Transformer (MFPT)模型来生成放射学报告。构建一个关键特征强化注意力(KFEA)模块,以加强对关键特征的利用；设计一个多模态特征融合(MFF)模块,以促进语义特征与视觉特征的特征融合,缓解特征差异造成的影响；还探索阶段感知(SA)模块在放射学报告任务中对初级特征的优化作用。最后,在流行的放射学报告数据集IU X-Ray上,与当前的主流模型进行对比实验,结果表明,本文模型取得当前最佳效果。

• 单位
  山东科技大学