预训练语言模型的发展激发对网络数据的大规模需求，而网络数据往往具有较高的重复性和相似性，需要经过去重才能更好地被用于模型训练.目前的去重算法可以去除相似和相同的文本数据，但存在运算效率较低的问题，难以用于处理大规模文本数据.本研究提出一种面向大规模文本数据的去重算法，采用先局部后整体的去重策略，极大提高了去重的运算效率.实验结果表明，算法在50 h内完成371 GB数据的去重处理，较已有算法极大地提高了去重效率.
科研之友
微信
新浪微博
Facebook
分享链接
