EXL 谈企业 AI 服务框架：围绕模型构建的工程系统决定落地成败

EXL 指出，企业 AI 的下一轮竞争优势更多取决于模型之外构建的工程系统，而非模型本身的选择。过去几年行业讨论集中在模型能力上，更大的模型、更强的推理、更长的上下文窗口和更高的 benchmark 分数；但当 AI 从实验走向生产，企业面对的问题已变成能否可靠、经济、规模化地交付智能，答案越来越依赖服务框架（serving harness），即围绕模型的架构、内存管理、调度和优化决策。 文章主张从工作负载而非模型出发。面向客户的助手追求快速响应，与可整夜运行的文档处理流水线需求完全不同；内部知识应用和高并发客服平台即便使用同一基础模型，也需要不同的服务架构。概念验证阶段模型准确率自然主导讨论，生产环境则引入延迟、并发、内存压力、GPU 利用率、基础设施成本和不稳定流量等约束。一个答案略好但推理成本翻倍或无法满足延迟要求的模型，未必是更好的生产选择。 在系统层面，看似孤立的工程决策会相互影响：服务架构影响内存利用，内存管理影响并发，并发塑造批处理与调度，调度再影响 GPU 利用率和延迟，量化、投机解码和优化注意力机制等技术的价值也依赖于此。文章以 GPU 显存为例：推理时模型权重固定，但 KV cache 随活跃请求和上下文长度增长，并发上升时即使算力仍有余，可用显存也可能不足，盲目加算力只会让低效系统更贵。因此应遵循先测量、找出主导约束、解决、再测量的循环，而不是把所有优化技术都收集一遍。 文章还强调应为变化而构建。今天的领先模型未必是明天的，模型会改进、硬件会演进、新优化技术会出现，服务框架应让这些变化更容易被吸收。围绕工作负载需求、明确的服务等级目标和可度量的生产经济性构建系统后，更换模型可以变成一次评估和配置决策，而非架构重置。EXL 研究人员在 Engineering the Harness 系列中进一步探讨了服务架构、内存管理、调度与推理优化如何协同，使企业 AI 更高效、可扩展且经济上可持续。文章最后指出，越来越多企业能获得相同的模型，可持续的差异化来自把智能转化为业务成果的效率。