科研之友
微信
新浪微博
Facebook
分享链接
摘要
为进一步提高大数据并行计算系统的性能，提出一种异步并行的计算部署方式。首先，改变以往的大数据节点主从结构，通过Ring-All Reduce对集群计算设备进行互联；然后提出该计算结构下的加速方式，并对异步并行中的梯度更新和异步通信进行设计。结果表明，在CPU的并行化技术和OpenBl AS库实验环境下，通过Cifar10数据集进行系统测试后，采用提出的方法很大程度上缩短了系统运行和训练的时间，也提高了并行计算的加速度和准确率。实际应用发现，将YOLOV4目标检测算法进行并行部署，其训练时间仅为6 138 s,明显低于正常训练的26 874 s,准确率和加速比也较正常训练高。由此说明，提出的主流大数据并行计算系统性能优化方法具备可行性。
- 单位
