跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

2 条精选近 30 天 2 条共收录 19 条

更新

部署工程的精选

10月22日周四第 1–2 条
  1. NVIDIA 官方博客62

    NVIDIA 发布 Minerva,为 AI 工厂提供端到端可观测性

    NVIDIA 发布 AIOps 平台 Minerva,汇聚 GPU、网络、存储、调度器与工作负载的遥测数据,用监督与无监督机器学习每小时分析数十亿数据点,把告警风暴归并为带根因的单一事件。

    推荐理由:原文给出 Minerva 的遥测整合方式与首批部署方名单,可据此判断 AI 工厂运维工具的实际形态。

10月12日周一
  1. AMD 官方新闻62

    AMD 发布 Helion 智能体 AI 机架方案,单机架最高 32768 个 CPU 核心

    AMD 发布面向智能体 AI 的机架级方案 AMD Helion,基于 OCP 规范设计,提供纯 CPU 与 CPU/GPU 一体两类配置。纯 CPU 机架采用第六代 AMD EPYC 处理器,最高支持 32768 个 CPU 核心,面向超大规模客户;一体机架整合 EPYC CPU 节点、Instinct MI350P GPU 节点与通用计算,并可选液冷或风冷。

    推荐理由:原文给出了两种机架配置的核数、GPU 型号与液冷风冷选项,可据此判断智能体负载的算力形态。