开放数据中心委员会 · 官方动态·· 19 小时前AI 评分58
ODCC发布《Scale-up在网计算接口技术要求1.0》
ODCC成果|《Scale-up在网计算接口技术要求1.0》:打通在网计算在XPU侧的实施卡点
AI 导读
开放数据中心委员会发布《Scale-up在网计算接口技术要求1.0》,把在网计算从网侧交换芯片延伸到XPU端侧,定义直驱型和数据块型两类在网计算原语及统一接口。文档给出AllReduce等集合通信操作的拆解方式,目标是让不同厂商的XPU与Scale-up互联IP、交换芯片互通,降低异构集群适配开销。
深度导读
开放数据中心委员会(ODCC)发布《Scale-up在网计算接口技术要求1.0》,针对千亿、万亿参数模型训练中All-Reduce、参数广播、分片聚合等集合通信开销成为集群吞吐瓶颈的问题,提出把梯度规约、全局广播等计算从XPU卸载到Scale-up交换芯片执行,并为此制定XPU到互联模块的统一接口标准。
文档描述的在网计算架构涉及XPU软件、通信库、Scale-up互联模块(Link IP)、INC-Switch和INC管理模块。执行流程为:管理软件创建集合通信组,XPU申请加入并注册对称地址区,XPU软件发起集合通信操作,指令经编译器翻译后在XPU内部NOC总线上携带在网计算信息,或转换成Chiplet接口信号,再由Scale-up Link模块封装成INC报文与INC-Switch通信,交换芯片完成规约或多播后回送结果。
文档把关键操作归纳为在网计算原语,分两类。直驱型由XPU核通过指令直接发起、同步完成,属同步内存语义,包括incsw.ld_reduce和incsw.st_multicast;数据块型由CPU或XPU核写入信令异步发起,通过完成标志确认,属异步内存语义,包括incsw.blk_reduce、incsw.blk_allreduce和incsw.blk_multicast。小数据量集合通信一般调用直驱型,大数据量可选数据块型或循环调用直驱型。
以AllReduce为例,直驱型需先调用incsw.ld_reduce完成reduce并取回结果,再调用incsw.st_multicast把结果多播到组内所有XPU;数据块型则直接调用incsw.blk_allreduce一步完成。接口层面,直驱型原语经NOC总线信号下发,XPU厂商NOC多采用AXI或自扩展AXI信号;数据块型原语以控制信令形式由驱动或XPU核写入Link IP,文档给出了建议的信令格式。
该标准的意义在于把在网计算的实现从网侧设计延伸到XPU端侧,为不同厂商XPU与交换芯片、互联IP的组合提供统一原语和事务语义,降低跨厂商硬件适配壁垒。ODCC称封闭紧耦合走向开放解构已成产业共识,标准将用于牵引生态构建AI基础设施算力底座。
来源:开放数据中心委员会 · 官方动态 · odcc.org.cn