结合对比学习的新闻文本与评论相似度计算

作者：王红斌; 张卓; 赖华

来源：小型微型计算机系统, 2022, 1-9.

• 文本相似度
• 关键词提取
• BERT
• 对比学习

新闻文本与新闻评论相似度计算旨在筛选出与新闻文本相关的评论，而大部分评论以短文本的形式对新闻文本做出评价，因此新闻文本与评论的相似度计算本质上是长文本与短文本的相似度计算。传统长文本处理方法易导致文本信息缺失、文章主题不明确等问题，降低相似度计算的准确率。针对新闻文本与评论的长度差距，结合评论的特点，该文提出了结合对比学习的新闻文本与评论相似度计算方法，该方法通过关键词的提取实现新闻文本压缩同时减少文本的冗余信息；将关键词序列与新闻标题拼接作为新闻文本的表示；然后通过BERT预训练模型使用对比学习的方法实现文本正负例的构造；最后通过交叉熵和相对熵损失函数对预训练模型进行微调，实现文本的相似度计算。实验表明，该文提出的方法较近几年的长文本处理方法在准确率上提高了3.6%，并在中文文本相似度计算的公共数据集上也取得了较好的效果。

• 单位
  昆明理工大学; 自动化学院