跳到正文
AWS Machine Learning Blog· Purna Sanyal·· 4 小时前AI 评分40

Exowatt 用 SageMaker 无服务器模型定制,微调模型准确率超越前沿模型、成本低至 49 倍

Exowatt beats frontier models on accuracy with SageMaker serverless model customization

AI 导读

Exowatt 借助 Amazon SageMaker AI 无服务器模型定制,为边缘告警分诊和云端能源市场分析分别微调 Qwen3-1.7B 与 Qwen3-14B,准确率超过前沿模型,成本最高低 49 倍。

深度导读
Exowatt 为 AI 数据中心等能源密集型场景构建模块化可调度太阳能系统,其 P3 产品通过光学透镜采集太阳能、以长时热电池储热并按需发电,直接部署在电表后端,绕开多年电网互联排队。随着现场机组从测试台走向数千台部署,运维告警量激增,人工无法实时监控每个站点,Exowatt 需要能在边缘自主处理告警的 AI 智能体。 前沿模型在此不适用:告警分诊依赖 Exowatt 自有硬件与运行逻辑,属于狭窄专有任务;许多站点网络受限甚至无网,无法依赖云端调用;数千站点持续决策的成本也无法承受。Exowatt 因此采用 Amazon SageMaker AI 无服务器模型定制,用同一套流水线产出边缘与云端两个部署目标的微调模型。 流水线由七项 AWS 服务组成,无需管理实例、集群或端点:S3 存放数据与模型产物,SageMaker 无服务器微调基于 Public Hub 配方运行每次训练,无服务器评估每次候选模型评分 2,000 条答案,Model Registry 登记每次微调及指标,Bedrock Custom Model Import 托管微调后的 Qwen3-14B,Bedrock 上的 Qwen3-VL-235B 与 Claude Sonnet 4.6 负责训练数据改写与前沿模型基准测试,Lambda 与 EventBridge 承担评分与定时保活调用。 边缘告警分诊使用 Qwen3-1.7B。团队先用提示词加护栏尝试 Qwen3-8B,macro-F1 停在 0.735 未达目标;13 个微调 Qwen3-8B 候选跨 12 个数据集版本也未能超过提示版 8B 基线。最终微调 Qwen3-1.7B 以约五分之一参数量胜出。训练集为 2,522 条样本,由 684 条经核验的站点场景决策加 1,838 条认证改写构成,改写由 Bedrock 上的 Qwen3-235B 生成,成本约 $3.72,2,218 条候选中 1,838 条通过确定性校验。训练在 SageMaker 无服务器微调上约 32 分钟完成,花费约 $20–$25;模型量化为 8 位后约 1.71 GiB,在站点现有 CPU 服务器的 6 GiB llama.cpp pod 中离线运行,也可跑在 t3.2xlarge 上。320 条测试用例上 macro-F1 达 0.911,超过所有前沿基线。 云端能源市场分析使用 Qwen3-14B,读取约 90 行、覆盖六小时的实时价格、日前预测与电网通知,约四秒返回五类市场事件之一,每条结论绑定具体数据行。训练数据来自 ERCOT 五年历史约 1.63 亿行、12 张表,规则标注为 25,000 条样本,再用 Bedrock 上的 Claude Sonnet 4.6 改写扩至 86,281 条。单轮 LoRA(rank 16、alpha 32)在无服务器微调上约 8.5 小时完成,最多四任务并行;从初始方案到冠军模型上线 Cloud EMS 共六天、23 个任务、约 155 小时托管训练。每条答案三次改写将 macro-F1 从 0.950 提升至 0.975,基座模型仅 0.415。合并检查点导入 Bedrock Custom Model Import 约 14 分钟,无闲置成本,仅激活时按 $6.86/小时计费。2,000 条测试用例上 macro-F1 为 0.975,同样超过前沿基线。Exowatt 表示,两个模型只是流水线的首批产出,更持久的成果是从原始运维数据到认证训练集、微调模型与可评估部署产物的可重复路径,耗时从数月缩短到数天。

来源:AWS Machine Learning Blog · aws.amazon.com