为模型量化后具有更高的准确度,提出以量化均方误差(QMSE)为指标的确定量化系数的方法,针对量化后性能损失严重的小型网络,进一步提出更新统计参数(USP)的方法。QMSE将量化过程中的舍入和截断操作产生的噪声相结合,以此作为选取合适量化系数的指标;USP通过更新批次归一化层中的均值和方差,矫正模型量化产生的均值和方差偏移。实验结果表明,在不进行重训练的情况下,使用QMSE+USP对常见的深度神经网络量化,模型性能优于其它算法。
科研之友
微信
新浪微博
Facebook
分享链接
