基于Trans former编码器的金融文本情感分析方法

作者：李福鹏; 付东翔

来源：电子科技, 2020, 33(09): 10-15.

DOI：10.16180/j.cnki.issn1007-7820.2020.09.002

• 情感分析
• 金融
• 自注意力机制
• Transformer编码器
• 缩放点积注意力
• 多头注意力

目前针对文本情感分析的研究大多集中在商品评论和微博的情感分析领域,对金融文本的情感分析研究较少。针对该问题,文中提出一种基于Transformer编码器的金融文本情感分析方法。Transformer编码器是一种基于自注意力机制的特征抽取单元,在处理文本序列信息时可以把句中任意两个单词联系起来不受距离限制,克服了长程依赖问题。文中所提方法使用Transformer编码器构建情感分析网络。Transformer编码器采用多头注意力机制,对同一句子进行多次计算以捕获更多的隐含在上下文中的语义特征。文中在以金融新闻为基础构建的平衡语料数据集上进行实验,并与以卷积神经网络和循环神经网络为基础构建的模型进行对比。实验结果表明,文中提出的基于Transformer编码器的方法在金融文本情感分析领域效果最好。

• 单位
  上海理工大学