基于文本与图像的肺疾病研究与预测

作者：吕晴; 赵奎^*; 曹吉龙; 魏景峰

来源：自动化学报, 2022, 48(02): 531-538.

DOI：10.16383/j.aas.c190645

• 深度学习
• 神经网络
• 多头注意力机制
• bi-LSTM
• 肺癌

通过对目前现有的肺癌检测技术研究,发现大部分研究人员主要针对肺癌(Computed tomography, CT)影像进行研究,忽略了电子病历所隐藏的肺癌信息,本文提出一种基于图像与文本相结合的肺癌分类方法,从现有的基于深度学习的肺癌图像分类出发,引入了电子病历信息,使用Multi-head attention以及(Bi-directional long short-term memory, BiLSTM)对文本建模.实验结果证明,将电子病历信息引入到图像分类模型之后,对模型的性能有进一步的提升.相对仅使用电子病历进行预测,准确率提升了大约14%,精确率大约提升了15%,召回率提升了14%.相对仅使用肺癌CT影像来进行预测,准确率提升了3.2%,精确率提升了4%,召回率提升了4%.

• 单位
  辽宁省医疗器械检验检测院; 中国科学院沈阳计算技术研究所; 中国医科大学附属第四医院