跳到正文
TechCrunch · AI· Ivan Mehta·· 2 天前AI 评分60

Block 发布语音模型 Dessa,可本地运行并支持全双工对话

Block’s new voice model sounds eerily human

AI 导读

Jack Dorsey 旗下 Block 的研究实验室发布语音模型 Dessa,完全基于人类语音训练,并在单个 NVIDIA GPU 机架上完成训练。Dessa 是全双工语音到语音模型,可边说边听,能表现笑声、停顿和哭腔等情绪,可在 MacBook M4 Max 或更强的消费级电脑上本地运行。目前 Dessa 未公开开放,Block 正邀请安全研究人员测试。

深度导读
Block 的研究实验室发布了一款名为 Dessa 的语音模型,公司称其完全基于人类语音训练,训练使用单个 NVIDIA GPU 机架。Dessa 是全双工语音到语音模型,可以同时说话和聆听,类似 OpenAI 今年早些时候发布的 GPT-Live。 Block 认为现有语音模型因为管线中存在文本环节而显得不自然,ElevenLabs v4、Fish Audio Drama 3 等模型依靠语音标签驱动情绪,而 Dessa 将情绪内建于模型之中,但报道指出尚不清楚这种情绪是否仍由某种标签控制。研究人员发布了多段对话示例,展示不同音色、语调和情绪,例如机器人说工作累了时声音也显得疲惫。 在运行条件上,Block 表示 Dessa 可在 MacBook M4 Max 或更强的消费级电脑上本地运行。目前该模型没有公开访问入口,Block 已公开征集安全研究人员测试,重点可能包括语音智能体在对话另一端欺骗他人的情形。 Block 的业务涉及金融并向小企业销售解决方案,Square 已使用语音 AI 处理点单。拥有可端侧运行的自家语音模型后,Block 有望以更低成本支撑更多商业和消费场景。

来源:TechCrunch · AI · techcrunch.com