目前藏文预训练模型主要使用音节作为藏文单词表示。采用音节嵌入构建藏文单词表示，会存在藏文单词表示不完整且鲁棒性不高的问题。为了应对这一挑战，本文提出了一个名为藏文字符感知的预训练模型，该模型融合藏文字符、字丁和音节三个维度的特征，从藏文更细粒度的信息表征藏文单词特征。本文利用原始数据集和对抗性拼写错误测试集，评估了所提出的方法在藏文自动分词和命名实体识别任务上的性能。实验结果表明，我们的方法可以同时提高藏文预训练语言模型的性能和鲁棒性。
科研之友
微信
新浪微博
Facebook
分享链接
