一种Unet图像分割模型的联邦蒸馏优化算法

作者:林子谦; 樊重俊; 王琪
来源:小型微型计算机系统, 2023, 44(07): 1535-1541.
DOI:10.20009/j.cnki.21-1106/TP.2021-0844

摘要

联邦学习致力于保证用户隐私与数据安全条件下,有效地解决医疗领域数据孤岛的问题,是一个极巨潜力的发展方向.然而,现存的联邦学习在医疗领域的应用中存在两大难点:高额的通信开销与不平衡数据导致的性能下降.基于此,设计一种应用在图像分割领域的联邦蒸馏优化算法.在算法中,首先设计本地教师模型-全局学生模型的框架,重构轻量的Unet作为学生模型,并用蒸馏损失保证模型性能的稳定.然后,在服务器上部署调节器筛选聚合的参与方,缓解数据不平衡对模型的影响.实验结果表明,该算法降低16倍以上的通信数据总量与约25%的单次训练时间,在异质性的数据集下,不会因为极端数据导致梯度爆炸与性能下降.此外,本文使用真实的COVID-19与HAM10000医疗数据,证明该模型的有效性.