科研之友
微信
新浪微博
Facebook
分享链接
摘要
为尽可能地提高数学文本分类的效果，通过构建数学文本数据集并对该数据集进行分析，提出增强文本实体信息的多通道注意力机制-Transformers的双向编码器表示(MCA-BERT)模型。通过Word2vec词向量的平均池化获得句子级的实体信息，通过注意力机制给不同词赋予不同权重，获得词语级的实体信息，将两类实体信息与BERT输出的上下文信息拼接，通过Softmax层得到分类结果。该方法在数学文本数据集上的F1值相比BERT单通道的方法提高了2.1个百分点。实验结果说明，该方法能够有效增强文本实体信息，获得更好的分类效果。
- 单位
