NVIDIA 官方博客· Hannah Coutand·· 3 小时前精选AI 评分60
NVIDIA 发布 Vera CPU,主打智能体吞吐与能效
Vera Delivers the Best of Both Worlds: Highest Throughput and Fastest Agents
AI 导读
NVIDIA 发布面向 AI 智能体负载的 Vera CPU,称在 100 兆瓦数据中心对比中,单颗 Vera 同时优于最快的 x86 CPU 和最节能的 x86 CPU。
推荐理由
原文给出 Vera 与两类 x86 CPU 的对比数据及多家早期采用者的生产测试结果,可据此判断智能体负载的能效取舍。
正文 · AI 翻译
AI 智能体不仅能生成答案,还能搜索信息、查询数据库、编写和测试代码并采取行动。
上述每一步都依赖 CPU,智能体在整个任务过程中不断在 GPU 推理与 CPU 执行之间切换。
随着企业部署越来越多的智能体投入工作,AI 工厂需要能够在可用功耗限制内快速执行这些步骤并同时支持大量智能体的 CPU。
这意味着: AI 基础设施提供商需要支持更多智能体,同时不让每个智能体等待更长时间才能完成工作。更关键的是,AI 工厂受功耗限制。这意味着运营方需要选择能让每一瓦功耗完成最多工作的基础设施。
为何重要: NVIDIA Vera 在单个 CPU 内同时提供快速的智能体性能和高能效容量。这让提供商可以用一个 CPU 应对多种智能体工作负载,而不必混搭快速型和密集型 x86 部件来平衡速度与容量。
数据为证: 在 100 兆瓦数据中心的对比中,NVIDIA 发现单个 Vera CPU 的表现优于最快的 x86 CPU 和最节能的 x86 CPU。
- Vera 提供业界领先的智能体速度,同时相比最快的 x86 CPU,每瓦可支持 1.6 倍的智能体数量。
- 相比最节能的 x86 CPU,Vera 提供 2 倍的智能体速度,并具备领先的能效。
合作伙伴已将 Vera 投入使用。早期采用者在生产级测试中看到了同样出色的性能:
- Perplexity:在 Vera 上运行智能体编码任务比传统 CPU 快 1.5 倍。Perplexity 计划在即将推出的生产系统中部署 Vera。
- DeepInfra:在其生产智能体工作负载的智能体编排方面,达到最佳 x86 处理器最高 2.2 倍的速度,在测试的四种架构中表现最快。
- ClickHouse:其标准二进制文件无需针对 Vera 专门调优,便在 176 个核心上实现近线性扩展,并登顶 ClickBench 硬件排行榜。
- DuckLabs:TPC-H SF1000 性能中位数约为 Intel Xeon 6 基线的 1.5 倍。
- Daytona:使用 Vera 在 10.8 秒内上线 1,000 个智能体沙箱,并在 2,000 个并发沙箱下实现每秒完成 12.7 个作业,而 x86 需要 88.4 秒。
- Modal:相比同类 x86 硬件,每核心沙箱吞吐量最高提升 2 倍,且在高负载下增益进一步扩大。
了解更多关于 NVIDIA Vera CPU 的信息。
来源:NVIDIA 官方博客 · blogs.nvidia.com