科研之友
微信
新浪微博
Facebook
分享链接
摘要
医学影像在医学诊断中具有重要作用，而准确描述的文本报告对于理解图像以及后续疾病诊断是必不可少的。目前在医学影像报告生成领域，基于模式化方法生成规范的文本报告成为近年的研究热点。但由于正负样本数量差距较大导致的数据偏差问题，使得生成的报告内容普遍倾向于描述正常状况，难以准确捕捉异常信息。为解决这一问题，提出一种基于多样化标签矩阵的医学报告生成方法，可以对不同的疾病进行差异化学习，生成多样化的医疗报告；设计文本-矩阵特征损失函数，优化多样化标签矩阵；增加特征交叉模块改进Transformer网络，加强图像与文本的映射，提升疾病描述的准确性。在IU-X-Ray和MIMIC-CXR两个数据集上的实验结果表明，与目前的主流方法相比，所提方法在BLEU、METEOR等多个指标上取得了最优的效果。
- 单位
