面向非独立同分布数据的联邦梯度提升决策树

作者：赵雪; 李晓会^*

来源：计算机应用研究, 2023, 40(07): 2184-2191.

DOI：10.19734/j.issn.1001-3695.2022.12.0764

• 联邦学习
• 梯度提升决策树
• 非独立同分布
• 局部敏感哈希

随着联邦学习的不断兴起，梯度提升决策树(GBDT)作为一种传统的机器学习方法，逐渐应用于联邦学习中以达到理想的分类效果。针对现有GBDT的横向联邦学习模型，存在精度受非独立同分布数据的影响较大、信息泄露和通信成本高等问题，提出了一种面向非独立同分布数据的联邦梯度提升决策树(federated GBDT for non-IID dataset, nFL-GBDT)。首先，采用局部敏感哈希(LSH)来计算各个参与方之间的相似样本，通过加权梯度来构建第一棵树。其次，由可靠第三方计算只需要一轮通信的全局叶权重来更新树模型。最后，实验分析表明了该算法能够实现对原始数据的隐私保护，并且通信成本低于simFL和FederBoost。同时，实验按照不平衡比率来划分三组公共的数据集，结果表明该算法与Individual、TFL及F-GBDT-G相比，准确率分别提升了3.53%、5.46%和4.43%。

• 单位
  辽宁工业大学