腾讯张伟：Rapid Bucket 如何让一个 Bucket 承载 AI 全部负载

在2026先进存力大会上，腾讯云存储高级研发工程师张伟发表《Rapid Bucket：面向 AI 的 TB/s 吞吐、亚毫秒延迟统一存储新范式》主题分享，系统拆解 AI 时代存储基础设施的架构性困境，并提出“让一个 Bucket 承载 AI 全部负载”的统一存储方案。 张伟指出，传统存储架构建立在三个假设之上：单一协议足够应对业务需求、元数据服务不会成为性能瓶颈、共享资源池足以支撑带宽需求。AI 负载的爆发正在打破这三点。AI 全链路中 POSIX 与 S3 兼容接口交替出现，文件存储与对象存储彼此割裂，传统做法要么在两套存储间搬迁数据，要么在一种协议上模拟另一种，前者带来双份成本与对账负担，后者因写入拆分为多步非原子操作而损失一致性与吞吐。元数据侧，传统并行文件系统依赖分布式锁，并发越高锁冲突越频繁，海量小文件与热点目录进一步放大瓶颈。数据面侧，多租户共享带宽叠加多跳网络与深度存储栈，客户端有效带宽远低于物理上限，“喂不饱 GPU”成为普遍现象。 针对数据孤岛，Rapid Bucket 把多协议语义下沉到元数据层，同一份数据可被 POSIX 与 S3 兼容接口访问，写入在元数据层一次原子提交、不产生中间态，并原生支持目录树、原子 rename、追加写、truncate、条件写等语义。元数据面按职责亲和与位置亲和做水平扩展，支撑千亿级文件规模，操作吞吐可达百万级，再叠加元数据热缓存降低访问时延。 数据面沿一次请求的完整路径重构：接入层定期同步派生验签种子并在本地完成验签，读写请求无需逐次远程鉴权，原始密钥始终不出统一鉴权体系；系统按对象大小自动分流，小文件随元数据存储，大文件落入贴近计算的高性能存储层，该层与计算集群同可用区、与接入层同机部署，叠加预留带宽配额，单桶可达 TB/s 吞吐、亚毫秒延迟。依托统一命名空间，热数据按策略自动下沉、冷数据读取时自动预热，访问地址保持不变，全程只保留一份数据。 传输层面，自研 S3oRDMA 数据通路让两种协议的数据读写均可选择 RDMA，应用层协议不变，数据直通 GPU 显存，相比传统 TCP 路径 CPU 开销降低高达 90%、吞吐提升 3–5 倍，接口对齐 NVIDIA cuObject，可服务向量索引重建、推理 KV Cache 卸载等场景。 张伟表示，Rapid Bucket 已承载真实 AI 业务的生产负载，可服务具身智能、自动驾驶、科学计算、量化金融等场景；后续将推动 RDMA 直通覆盖更多训练与推理路径，并接入更多 AI 框架与数据工具生态。