MIT Technology Review · AI· Affan Syed·· 5 小时前AI 评分22
HPE 谈 AI 编程成本:别数 token,要数交付了多少软件
Stop counting tokens, start counting what ships
AI 导读
HPE 提出用“每个已合并 PR 的成本”替代 token 单价来衡量 AI 编程投入,并建议把困难规划交给前沿模型、把代码生成与测试等常规工作路由到自托管开源权重模型。其混合 AI 平台已将 150 多个内部应用的 token 成本降低 30% 至 50%。
深度导读
文章指出,AI 智能体完成一次编程任务需要规划、生成代码、运行测试并反复纠错,单个任务消耗的 token 可达普通对话提示词的 10 到 50 倍。按 token 计费时,价值最高的工作流往往也最贵:Uber 据称在扩大 Claude Code 使用后于 4 月用完整个 2026 年 AI 预算,GitHub Copilot 也从固定费率转向按量计费,Gartner 预测到 2028 年 AI 编程 token 成本将超过开发者平均薪资。作者认为,设置用量上限只是优化了错误的数字——每 token 成本衡量的是消耗而非产出,无法区分重试、失控循环造成的浪费与真正交付软件的工作。
替代指标是“每个已合并 PR 的成本”:AI 辅助开发总成本除以通过评审并合并的变更数量,同时跟踪返工与缺陷,避免更便宜的变更掩盖质量下降。若该成本随 AI 使用量上升而下降且质量不受损,说明消耗正在转化为有效软件。
实现路径有两条。其一是按任务匹配模型:困难规划和新颖推理使用前沿模型(政策要求时可用本地旗舰模型),代码生成、测试编写和重复重构则路由到自托管的开源权重模型,由网关按任务复杂度、数据敏感性、成本和延迟分发请求。文章称软件工程基准显示领先开源权重模型在部分任务上接近前沿水平,但需用企业自有代码和验收标准验证后再投入生产。
其二是改变重复使用的经济性:租用推理每次调用都计费,自有容量则前期投入为主、调用越多单次越便宜,但需计入电力、运维、维护和折旧,最终仍以每个已合并 PR 的全负载成本衡量。本地运行代码生成与测试还能让专有代码留在企业内部,只把经批准的规划提示词和受管控的例外请求经网关发给外部模型。
HPE 给出的实践数据是:其混合 AI 平台把 150 多个内部应用的常规负载路由到本地运行的开源权重模型(包括 HPE Private Cloud AI),token 成本下降 30% 至 50%。文章还称使用量而非授权人数驱动支出,前 5% 用户产生大部分消耗,同一授权下最重度用户用量约为最轻度的 450 倍;若重度用户从小部分扩展到半数员工,在人数不变的情况下月度支出可能上升约 4.4 倍。HPE 建议同时跟踪每活跃开发者成本和每个已合并 PR 成本,并在改造基础设施前先建立基线。文章最后指出,低用量或用量不可预测的场景仍适合 API,多数企业将采用混合模式:前沿 API 处理高要求或间歇性工作,自有容量承接可重复的量大任务。
来源:MIT Technology Review · AI · technologyreview.com