科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种动态混合精度模型构建方法及系统,涉及深度神经网络技术。针对现有技术中可转换的状态数量及精度问题提出本方案,特点在于根据全精度模型中不同块的参数的海森矩阵的平均迹以及可选参数精度表S构建混合精度状态转换表；并在训练过程中采用每次训练迭代随机采样数个混合精度子模型,用改进的量化函数进行量化操作,得到混合精度模型；根据实际部署需求组成混合比特部署状态表进行实际部署。优点在于,利用海森矩阵平均迹和随机采样,减少了训练所需的搜索空间与计算量,同时改进的量化函数可以在不同量化比特间直接迁移且量化误差小,使得混合精度模型可以自适应地部署在较低比特的情景,同时在较高比特情景的精度亦有改善。
- 单位
