科研之友
微信
新浪微博
Facebook
分享链接
摘要
【目的】减少文本数据的训练数据量,缩短模型训练时间。【方法】基于协方差估计,提出一种新的过滤式样本选择算法,并将数据的遗忘性研究成果应用到嵌入式样本选择算法中。【结果】在中文阅读理解模型训练中,本文提出的算法至少可以减少模型训练时间50%。与经典的词频-逆文档频次算法相比,本文小批量协方差估计算法与遗忘算法在召回率、F评价指标上分别提升0.018、0.012与0.017、0.029。【局限】训练数据减少,对模型的准确率评价指标有一定影响。【结论】本文算法能减少模型的训练时间,提高评价指标,由于计算只与批次有关,故适用于大规模数据集的并行运算。
- 单位
