科研之友
微信
新浪微博
Facebook
分享链接
摘要
在互联网医疗领域,智能AI分科室是一个很关键的环节,就是根据患者病情描述、疾病特征、药品等信息将患者分配到匹配的科室,可以利用深层双向Transformer结构的BERT预训练语言模型增强字的语义,但是患者病情文本描述具有信息稀疏的特点,不利于BERT的充分学习其中特征.本文提出了一种DNNBERT模型.是一种融合知识的联合训练模型, DNNBERT结合了神经网络(DNN)和Transformer模型的优势,能从文本中学习到更多的语义.实验证明DNNBERT的计算时间相比BERT-large速度提升1.7倍,并且准确率比ALBERT的F1值提高了0.12,比TextCNN提高了0.17,本文的工作将为特征稀疏学习提供新思路,也将为基于深度Transformer的模型应用于生产提供新的思路.
- 单位
