基于机器学习模型的自然语言分析用于临床放射学报告的研究

作者：J.Zech; M.Pain; J.Titano; M.Badgeley; J.Schefflein; A.Su; 朱桐

来源：国际医学放射学杂志, 2018, 41(04): 474.

DOI：10.19300/j.2018.r0517

目的比较不同方法提取放射报告特征的效果并开发一种自动识别这些报告中特征的方法。材料与方法本研究纳入96 303份头部CT报告,将这些报告的语言复杂性与供选择的语料库进行比较。通过使用词袋(BOW)模型、词嵌入以及潜在狄利克雷分布模型对经过预处理后的头部CT报告进行机器学习特征提取。最后,1 004份头部CT报告通过医师手动标记,其中一部分被选择作为重要特征。在这1 004份头部CT报告中有602份(约占60%)用于训练模型,使用构造特征Lasso logistic回归分析训练机器识别医师标记的特征。这些模型的性能在这1 004份报告中的402份报告中得到了验证。采用受试者操作特征(ROC)曲线对这些模型进行评分,同时计算所有特征的曲线下面积(AUC)、关键特征的AUC值以及报告中其他重要发现的AUC值。最佳模型的敏感性、特异性以及准确性用于预测所有标签以及用于确定报告所含的关键信息。结果结果显示AUC=0.966时作为最佳模型(BOW的一元混合模型、二元模型以及平均字母植入矢量三线模型)评价头部CT报告中关键标签的临界点,AUC=0.957作为所有标签的临界点。确定为关键标签的敏感度和特异度分别为92.25%(175/189)和89.67%(191/213)。全部发现的平均敏感度和特异度分别为90.25%(1 898/2 103)和91.72%(18 351/20 007)。简单的BOW模型获得的结果与其他复杂的方法获得的结果相似。简单的BOW模型的AUC值为0.951,而最佳模型的AUC值为0.966。头部CT语料库中的YuleⅠ(是基于给定次数的单词数量的分布来计算的,当罕见的单词在文档中更频繁出现时它就会增加)有34个,明显要低于Reuters语料库的103个,以及I2B2出院总结语料库的271个,相比其具有更低的语言复杂性。结论自动化的方法可以识别放射学报告中的信息,这种方法的成功依赖于报告中标准化的语言。我们可以通过这种方法为诸如深度学习这样的应用程序生成一个大的特征语料库。