科研之友
微信
新浪微博
Facebook
分享链接
摘要
在临床诊断过程中，医生会同时结合医学图像和病理报告文本综合判定病情。针对现有的人工智能（AI）辅助诊断系统未充分利用文本检查内容的问题，提出一种基于BERT模型的图文多模态分类模型（ITMMB），在特征层实现医学图像和病理文本的多模态融合和分类。采用残差网络（ResNet）对图像预处理获得图像词嵌入向量，同时采用分词技术处理文本获得文本嵌入词向量，并将两类嵌入词向量送入BERT模型完成最终分类；此外，为适应BERT模型需要并获得更好的分类性能，优化了ResNet的残差模块、学习权重、损失函数和池化层。在Open Images数据集上的实验结果表明，与仅通过单一的医学图像或病理文本进行辅助诊断的模型相比，ITMMB的微平均F1分数分别提高38.76和4.66个百分点，能有效辅助医生临床诊断。
- 单位
