Cartesia 如何在 AWS 上构建亚 100ms 延迟的语音 AI 应用

Cartesia 是一家专注实时多模态智能的公司，由推动 State Space Model（SSM）研究的研究者创立，其语音 AI 应用包含两个核心模型：用于语音合成的 Sonic 和用于语音转写的 Ink，两者均针对低于 100ms 的首字节延迟优化。文章指出，传统基于 Transformer 的 TTS 模型需要处理完整序列后才输出，质量与延迟难以兼顾；SSM 将序列视为随时间连续演进的系统，逐步处理并携带固定大小的内部状态，因而具备恒定内存占用和原生流式支持。 Sonic 是旗舰流式 TTS 模型，首次音频字节约 90ms，支持自然韵律、情感与表现力，覆盖 44 种以上语言，可用 10 秒音频样本克隆声音，并在长段落中保持一致的语调风格。Ink 面向对话式 AI，具备原生轮次检测、基于语义的上下文端点判断、实时输出部分转写、噪声环境鲁棒性和多说话人支持，可让下游 LLM 在用户说完之前就开始组织回复。 部署方面，Sonic 以 Amazon SageMaker AI 模型包形式通过 AWS Marketplace 交付，订阅后获得区域特定的模型包 ARN，再创建运行在用户 VPC 内的 SageMaker AI 端点，推理数据不离开账户。支持的实例类型包括 ml.g6e.xlarge 及以上、ml.g7e.2xlarge 及以上、ml.g7.2xlarge 及以上、ml.p5.48xlarge 和 ml.p5en.48xlarge。文章以 Sonic 3.6 为例演示了从订阅、创建模型到建立实时端点的四步流程，并给出通过 SageMaker API 校验模型包的示例命令。 对于已有 GPU 基础设施或有严格网络要求的团队，可选择在 Amazon EC2 GPU 实例上自管理部署，使用从 Cartesia 获取的容器镜像并复制到自有 Amazon ECR。Sonic 运行于 NVIDIA GPU，G6（L4）与 G6e（L40S）系列是实时 TTS 的较优选择，较早的 G5（A10G）同样可用。计算平面可选 Amazon ECS 或 Amazon EKS，并通过集群置放组、单可用区部署、VPC 端点以及 AWS Direct Connect 或私有 Network Load Balancer 降低网络延迟。Ink 目前仅通过 Cartesia API 提供，可在 AWS Marketplace 的 Cartesia Voice AI Platform 列表中购买。