舆情事件向量预训练模型

作者：王楠; 谭舒孺; 谢晓兰; 李海荣

来源：计算机工程与应用, 2023, 1-11.

• 舆情反转预测
• 事件特征预训练
• 舆情演化
• 自然语言处理
• Transformer

目前舆情预测研究中，事件表示具有一定的主观性和静态性，没有充分表达出事件演化的动态性和演化性，很多特征需要通过分析事件发展的完整过程得到，导致构建的预测模型并不能实现舆情现象发生前的预警目的。本文构建了事件预训练模型，实现基于评论数据的事件特征向量自动生成，并用于训练下游舆情反转预测模型。结合事件的主观评论与时序信息，通过构造评论词、事件词向量、事件词、事件句，将抽象的事件特征向量生成问题转换为自然语言预处理问题，基于Transformer结构提出了一种新的建模方式，实现事件特征向量自动生成及舆情反转预测。本文提出的模型用于舆情反转预测下游任务时，在测试集中对反转事件的预测率达到100%，实现了反转点之前预测出反转现象的目的。同时，该预测模型还可以较为准确地预测生成下一天的事件句，在对测试集的n折交叉验证中仅有11%的事件出现了预测误差，为研究舆情演化相关问题提供数据和方法基础。