Mistral AI 发布了 Voxtral 3 转录和语音生成模型,以及基于 LiveKit 的语音代理 SDK。用户可通过其托管在欧盟的 API 使用这些产品,也可将其部署在自己的基础设施上。希望在本地或私有云运行完整技术栈的组织必须联系 Mistral 团队。
转录支持 50 多种语言,语音生成支持 35 多种语言和 50 多种方言。该 SDK 将聆听、推理、工具调用和语音输出整合到流式处理管道中。Mistral 表示,该管道可在不到一秒内完成对话轮次。Mistral 还推出了由这些模型驱动的语音代理 API。
Artificial Analysis 在其语音转文本排行榜中将 Voxtral Small Transcribe 3 排名第三,并报告称,Voxtral 3 TTS 在其两个文本转语音竞技场中均进入前 12 名。
AI 根据报道生成 · 56 分钟前更新