Cloudflare披露GLM-5.3缓存泄露并修复

Cloudflare披露，其Workers AI平台上的GLM-5.3模型存在跨请求KV缓存泄露，并已完成修复。8月27日至9月9日期间，少数使用该模型的客户收到的响应中混入了其他客户此前向同一模型提交请求的数据；受影响响应共155条，全部来自超过681,280个token的超长提示词。Cloudflare称已确认Workers AI上托管的其他模型未受影响。 Cloudflare与所用开源推理引擎SGLang协同披露此事，并强烈建议所有运营方将SGLang依赖升级至v0.5.22或更高版本。SGLang称，v0.5.21默认保护Mooncake和NIXL部署，且该修复未回移至更早的发布分支；在v0.5.19或v0.5.20上，需在prefill和decode服务器上设置SGLANG_DISAGGREGATION_DEFERRED_DECODE_KV_RELEASE=1。模型已于9月9日恢复。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。