MIT Technology Review · AI· David Sydow·· 6 天前AI 评分22
HPE 谈企业 AI 新经济学:从 token 成本转向有效产出成本
The new economics of enterprise AI
AI 导读
HPE 提出企业 AI 的衡量指标应从 token 或 GPU 小时单价转向"每个有用产出的有效成本",即完成可被业务使用的请求或工作流所需的平台、模型、运维与算力总成本。企业可选自建栈、按需消费或集成私有 AI 平台三种模式,HPE Private Cloud AI 提供调度、模型选择、GPU 分区与缓存管理等效率杠杆,并附 90 天前线部署工程师服务。
深度导读
文章把企业 AI 类比为电力普及:当 AI 从零散的聊天机器人和 copilot 实验变成业务的基础设施层,关键问题就不再是"能不能用",而是"用得多高效"。作者认为真正值得追踪的指标是"每个有用产出的有效成本",即完成一项业务可用的工作(一次被解决的请求或一条走完的工作流)所需的平台、模型、运维和算力总成本。
企业通常有三种运行方式:自建定制栈,灵活但需随模型与政策变化持续重新验证环境;按需消费,由超大规模云厂商降低组装负担,适合需求低或不确定的场景,但每次提示词或智能体动作都会计费;集成式私有 AI 平台,以自有或专用算力搭配经过验证的栈,优势不在免费推理,而在对调度、模型选择、GPU 分区和缓存管理等效率杠杆的控制权。
文章强调,拥有基础设施不等于改善经济性。买下 GPU 只是创造了机会,只有需求充足且运营有纪律,资源才能保持产出;否则承诺的算力会变成搁浅资本。最佳 ROI 来自集成的合格栈,让团队把任务路由到满足质量要求的最低成本模型,并通过 KV-cache 管理等技术复用上下文。
HPE Private Cloud AI 被描述为生产就绪的基础,整合基础设施、软件、模型、工具、治理与服务,并把调度、模型选择、GPU 分区和缓存管理作为运营杠杆,同时包含 90 天的前线部署工程师参与,帮助客户落地首批用例并建立可复用的运营实践。HPE 委托的独立测试显示,高利用率服务多工作负载的集成平台,其每 token 有效成本低于反复租用同等算力,实际结果会因工作负载组合与利用率而异。
文章建议企业同时追踪每个业务相关产出的成本、加速器利用率和模型选择与任务复杂度的匹配度,并评估未来 12 至 18 个月的工作负载变化;低量且不可预测的需求仍可继续使用 API 或超大规模云。
来源:MIT Technology Review · AI · technologyreview.com