畅快算与三星测试16通道SSD加速MoE推理

畅快算与三星电子基于DeepSpeed框架和DeepSeek-R1-671B模型，测试了16通道SSD对MoE Offloading推理的加速效果。测试显示，16通道SSD随机读性能达3300K IOPS，较8通道的2000K IOPS提升65%，并带来约16%~18%的Prefill吞吐量提升。 测试使用不同输入序列长度，以评估16通道SSD随机读性能提升带来的实际收益。上述结果来自畅快算与三星电子的联合测试，由开放数据中心委员会（ODCC）发布。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。