科研之友
微信
新浪微博
Facebook
分享链接
摘要
随着深度学习模型性能提升，其参数规模越来越大，阻碍了在边缘端设备的部署应用。为了解决这一问题，研究者提出知识蒸馏（knowledge distillation， KD）技术，通过转移大型教师模型的“暗知识”快速生成高性能的小型学生模型，从而实现边缘端设备的轻量部署。然而，在实际场景中，许多教师模型是从公共平台下载的，缺乏必要的安全性审查，对知识蒸馏任务造成威胁。为此，我们首次提出针对特征KD的后门攻击方法CheatKD，其嵌入在教师模型中的后门，可以在KD过程中保留并转移至学生模型中，进而间接的中毒学生模型。具体地，在训练教师模型的过程中，CheatKD初始化一个随机的触发器，并对其进行迭代优化，以控制教师模型中特定蒸馏层的部分神经元（即毒性神经元）的激活值，使其激活值趋于定值，以此实现毒性神经元同化操作，最终使教师模型中毒并携带后门。同时，该后门可以抵御知识蒸馏的过滤被传递到学生模型中。在四个数据集和六个模型组合的实验上，CheatKD取得了85%以上的平均攻击成功率，且对于多种蒸馏方法都具有较好的攻击泛用性。
- 单位
