为了提高物联网中人工智能模型的训练效率，提出了一种基于阈值划分的梯度选择策略，以解决分布式训练过程中节点间通信开销高的问题.通过研究主流的模型来分析梯度参数的分布.根据梯度的分布特点，该策略将梯度分为关键区域和稀疏区域.结合梯度分布的信息熵，该策略确定合理的阈值对分区内的梯度值进行选择，仅选择大于阈值的梯度值参与训练.实验评估结果表明，该策略可以有效地减少传输的参数量，并确保了模型训练的准确性.
科研之友
微信
新浪微博
Facebook
分享链接
