一种基于{-1,+1}编码的神经网络模型压缩与加速方法

作者:孙其功; 焦李成; 杨康; 尚凡华; 李秀芳; 侯彪; 杨淑媛; 李玲玲; 郭雨薇; 唐旭; 冯志玺
来源:2018-08-01, 中国, CN201810866365.0.

摘要

本发明公开了一种基于{-1,+1}分解的神经网络压缩与加速方法,主要解决现有技术中无法将深度神经网络模型很好的用到手机与小型嵌入式设备的问题先构建神经网络模型,然后确定{-1,1编码位数};再训练神经网络模型参数并量化;再对量化后的模型参数进行重新{-1,1}编码;再对神经网络模型添加编码层;最后将神经网络内部矩阵或向量乘法操作替换成若干个二值位运算操作。本发明具有对神经网络参数与激活值进行重新{-1,1}编码,降低模型参数的储存空间,实现模型计算加速的优点。