基于无损数据中心的AI训练网络均衡技术实践

  • 来源: 互联网   2022-08-03/11:32
  • 【中国,济南,2022年7月31日】 在山东济南举行的2022中国算力大会上,紫金山实验室研究员高新平作了“基于无损数据中心的AI训练网络均衡技术实践”的主题演讲。

    紫金山实验室是江苏省和南京市共同推进建设的重大科技创新平台。紫金山实验室面向网络通信与安全领域国家重大战略需求,以引领全球信息科技发展方向、解决行业重大科技问题为使命,通过聚集全球高端人才,开展前瞻性、基础性研究,力图突破关键核心技术,开展重大示范应用,促进成果在国家经济建设中落地。紫金山实验室力图成为国家科技创新的重要力量,建成具有世界一流水平的战略科技创新基地。

    紫金山实验室与华为依托紫金山实验室无损数据中心展开面向AI训练场景的网络均衡技术的联合创新,解决AI集群中网络负载不均而导致的AI训练任务性能下降的问题。

    高新平研究员指出AI训练使用的集合通信算法,当前主流的有Ring算法、Tree算法和Halving Doubling算法等,在运行时通信流量都呈现出了共同的特征:周期性、流数量少、长连接,并行任务间有强实时同步性要求,通信效率取决于最慢的节点。同时,AI训练时,各节点之间传输的数据量大。以上这些流量特性使计算集群网络容易出现负载不均导致AI训练任务性能下降的问题。

    现有网络均衡的主流技术大体分为三种,逐流ECMP均衡、基于子流flowlet均衡和逐包的负载分担均衡。逐流ECMP均衡技术,是当前最为常用的负载均衡算法,适用于流链接较多场景,它优势在于无乱序,劣势在于流数量较少时,例如AI训练场景下,存在HASH冲突问题,网络均衡效果不佳。基于子流flowlet均衡技术,它依赖于子流之间的时间间隔GAP值的正确配置来实现均衡,但全局路径级时延信息不可知、无法配置,且存在接收端侧乱序的问题。逐包的负载分担均衡技术,理论均衡度最好,但实际在接收端侧存在大量报文乱序问题,现实中几乎无使用案例。

    紫金山实验室研究员 高新平

    发表“基于无损数据中心的AI训练网络均衡技术实践”主题演讲

    在紫金山实验室无损数据中心AI训练集群中验证了华为创新的网络均衡技术NSLB(Network Service Load Balance)。基于华为交换芯片高精度telemetry能力,采集流量矩阵作为路由算法输入,用以控制AI流量的转发路径,避免负载不均,提升AI训练效率。

    Ring算法场景,运行单个计算任务下,使用NSLB技术对比典型ECMP负载分担技术,网络实现100%均衡、平均链路利用率34%、比ECMP提升35%,AI训练集性能最高提升113.41%;

    Ring算法场景,同时运行两个计算任务下,使用NSLB技术对比典型ECMP负载分担技术,网络实现100%均衡、平均链路利用率29%、比ECMP提升15.6%,AI训练集性能最高提升57.29%;

    Tree算法场景下,运行单个计算任务下,使用NSLB技术对比典型ECMP负载分担技术,网络实现100%均衡、平均链路利用率13.8%、比ECMP提升1%,AI训练集性能最高提升6.50%;

    Tree算法场景下,运行两个计算任务下,使用NSLB技术对比典型ECMP负载分担技术,网络实现100%均衡、平均链路利用率14%、比ECMP提升10.5%,AI训练集性能最高提升15.81%。

    未来,紫金山实验将与华为在无损数据中心网络领域就网络新拓扑、DCN高性能互联等方向展开持续的联合创新,推动无损数据中心网络在低时延、高吞吐等方向进一步的发展,为高算力提供强有力的底座。


    评论 {{userinfo.comments}}

    {{money}}

    {{question.question}}

    A {{question.A}}
    B {{question.B}}
    C {{question.C}}
    D {{question.D}}
    提交

    驱动号 更多