基于稳健设计的SGNS算法的超参数调优方法

作者：牛倩; 曹学飞; 王瑞波; 李济洪^*

来源：计算机应用研究, 2021, 38(02): 510-521.

DOI：10.19734/j.issn.1001-3695.2019.12.0672

• 稳健设计
• 信噪比
• SGNS算法
• 超参数调优
• 词向量表示学习

通常给定超参数的若干取值选取性能最大的为最优组合(称为直接选优法),但是此方法的稳健性差。为此,提出了一种基于稳健设计的超参数调优方法(称为稳健调优法)。具体地,以SGNS算法中的超参数调优为例,在词语推断任务上实验并得出:经方差分析得到SGNS算法中的七个超参数中的五个对算法预测性能有显著影响,确定为主控因子,其余两个确定为噪声因子,且主控因子中有三个对性能估计的方差有显著影响,因此,调优中仅从期望最大来直接选优是不合理的;稳健调优法与直接选优法两者在预测性能上没有显著差异,但稳健调优法对噪声因子具有较好的稳健性。稳健调优法对一般的深度神经网络的调参有实际的借鉴意义。

• 单位
  山西大学