科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种基于随机敏感度ST-SM的深度神经网络剪枝方法及系统,利用随机敏感度衡量剪除节点对后继层输出的影响,以此为依据挑选需要剪除的节点,有效减少剪枝过程对网络性能的损害；利用权重补偿重建被剪枝层的节点输出,以减少剪枝过程中的模型性能退化,用训练集样本构造补偿权重需满足的方程组,通过共轭梯度预处理正则方程CGPCNE方法解出补偿权重值,并对剩余节点权重进行补偿；利用重训练改善剪枝后模型的性能,该方法能在维持模型原有性能的前提下,利用剪枝移除深度神经网络中的节点,对深度神经网络模型进行压缩与加速,有效减少模型空间开销,提升运行效率。
- 单位
