Nvidia 发布开源语音模型 Nemotron 3.5 Transcribe，整合转写、翻译与说话人识别

Nvidia 发布开源语音识别模型 Nemotron 3.5 Transcribe，定位是把转写、翻译、说话人识别和录音内容问答合并到一个模型中。用户通过文本指令控制输出，同一段会议录音可以生成带说话人标签的转写、英文翻译或决策摘要，也可以把药名等专业术语作为提示传入，模型只在这些词实际出现时使用。 能力范围上，Nvidia 称该模型支持 40 种语言转写、31 种语言与英语互译、13 种语言的说话人识别，可处理最长一小时、最多 8 名说话人的录音。模型总参数 30B，每个处理步骤约 4B 激活，因此可在单张 Nvidia GPU 上运行，覆盖从 DGX Spark 到数据中心硬件。Nvidia 表示在 RTX PRO 6000 Blackwell Server Edition 上以 NVFP4 精度处理 100 小时音频用时不到三分钟。 评测方面，该模型在 Hugging Face 英语 Open ASR 排行榜上以 5.33% 平均词错误率在开放权重模型中排名第一；在 Artificial Analysis 对比中得分 2.81%，接近更大的 Voxtral Small 的 2.77%，但激活参数约为其六分之一。在 VoiceArena 的多人抢话对话测试中它排名第一，漏词率 8.32%，中位数约 31%；在 David AI 覆盖 21 种语言的说话人归属基准上错误率最低。 随模型发布的还有 Granary v2 数据集，包含 48 种语言约 84.4 万小时语音，上一版为 25 种语言约 64.3 万小时，每条录音提供逐字版和清理版等多种转写风格，Nvidia 同时开放构建该数据集的工具。Nvidia 称该数据集与模型训练数据并不完全一致。在印度医生和医学生录音上的定向微调测试中，精确提示把错误率从 30.8% 降到 23.8%，微调后降至 11.8%；对未见过的说话人，错误率从 22.44% 降至 12.17%，相对改善 45.8%，优于一个开放医疗语音模型的 13.79%。Nvidia 称整个流程在单张 GB300 上约用 14 GPU 小时。 专用化也有代价，通用英语语音错误率略有上升，医疗模型对品牌药名更准确。Nvidia 建议构建定制版本时预留至少 100 条真实且经过核验的录音用于测试。基础模型的功能因语言而异，音频问答功能仅以英语训练，且只面向录制音频，不支持实时处理。模型、数据集和演示已上线 Hugging Face，Nvidia 还提供微调指南和让 AI 编码助手运行训练流程的扩展。