AWS Machine Learning Blog· Naomi Teng·· 5 小时前AI 评分33
Amazon Bedrock 为 Kimi K3 推出印度境内推理
Introducing India-based inference for Kimi K3 on Amazon Bedrock
AI 导读
Amazon Bedrock 现支持 Kimi K3 在印度境内推理,通过 in.moonshotai.kimi-k3 推理配置文件将请求限定在孟买和海得拉巴区域,满足严格数据驻留要求。Ultrahuman 借此通过现有 API 接入该开源权重模型,并用提示词缓存将 LLM 成本降低 80%、多轮对话提速 85%。
深度导读
Amazon Bedrock 在原有的全球与美区推理之外,新增 Kimi K3 的印度境内推理能力,面向有严格数据驻留要求的本地工作负载。Kimi K3 是 Moonshot AI 推出的多模态开源权重基础模型,据其发布时称达到前沿水平的编码与通用智能体能力。
调用方式上,Kimi K3 通过跨区域推理配置文件提供:全球配置文件 global.moonshotai.kimi-k3 适合大多数场景,成本最低、可用范围最广;印度地理配置文件 in.moonshotai.kimi-k3 则将推理处理限定在孟买和海得拉巴区域。跨区域推理由 AWS 全托管,区域间数据传输加密且始终留在 AWS 网络内,不经过公网,也无需自建多区域 VPC。
生产案例方面,Ultrahuman 的 AI 健康助手 Jade 每天处理超过 14,000 次对话,使用用户自己的 Ring 与血糖数据作答。其工程副总裁 Aditya Patawari 表示,Kimi K3 让他们通过既有 API 接入领先的开源权重模型,健康数据留在 AWS 内并以孟买作为回退区域,提示词缓存使 LLM 成本下降 80%、多轮对话速度提升 85%。
文章还给出印地语单据识别示例:模型可直接读取含多语言文字的图片,无需单独的 OCR 或翻译服务,并支持以 JSON Schema 约束结构化输出,将日期规范为 ISO 8601、把天城文数字转为西文数字、姓名转写为英文,再用 Hinglish 进行多轮追问。Bedrock 同时提供 flex 层级五折价格、priority 高优先级层级,以及隐式和显式两种提示词缓存模式。
来源:AWS Machine Learning Blog · aws.amazon.com