科研之友
微信
新浪微博
Facebook
分享链接
摘要
为了探讨神经网络的训练过程，采用基于大维随机矩阵理论的谱方法.首先，以预训练Alexnet神经网络中全连接层权矩阵为基础，构造权矩阵的Spearman秩相关矩阵.通过分析Spearman秩相关矩阵的特征值分布，发现经过训练过程后的特征值服从Marchenko Pastu律或服从带有离群特征的Marchenko Pastu律.进而，提出利用Marchenko Pastur度来描述一个分布是否遵循Marchenko Pastu律，以此区分神经网络训练所处阶段.最后，通过实验结果验证Marchenko Pastur度与模型预测准确性存在相关关系.
