基于RoBerta的立场检测与趋势预测模型设计

作者：赵姝颖^*; 肖宁; 曾华圣; 王海兮; 常明芳

来源：应用科技, 2021, 48(03): 27-33.

• 立场检测
• 自然语言处理
• 文本数据
• RoBERTa模型
• 深度学习
• 趋势预测
• 模型设计
• 系统准确度

立场检测任务通过自然语言处理技术,分析出文本内容对目标话题的立场倾向。本文提出的立场检测模块从文件系统取"文本数据",而后根据预先设定的字典,将文本中的文字和文字在字典中对应的数字进行映射,形成数字序列。将数字序列输入已预训练好的RoBERTa模型,得到数字序列的特征表示,将特征表示输入分类器进行立场识别。最后将立场分值附加到最初的文本数据后面,形成"文本+立场"新的数据结构,并根据控制台的指令送往分析模块。通过与现有的BERT模型、Ernie2.0+BiLSTM模型进行对比,采用的Ro BERTa模型能够提升立场检测的准确度,这体现出了在立场检测任务中RoBERTa模型的优越性,印证了本系统所采用的技术方案的合理性。

• 单位
  中国电子科技集团公司第三十研究所