Voxtral 3 推出 Transcribe 和 Speech 模型，为 Mistral 的语音代理 API 提供支持

发生了什么

Mistral AI 推出 Voxtral 3，并称其 Transcribe 和 Speech 模型处于业界领先水平，为其全新的语音代理 API 提供支持。 Arthur Mensch 补充说，Voxtral 能够在处理过程中进行说话人分离并检测轮次结束；它可以运行在你的基础设施上，也可以运行在 Mistral 的基础设施上，包括火车站里的那套基础设施。 https://twitter.com/MistralAI/status/2112574615318876178

这件事到目前为止

Mistral AI 发布了 Voxtral 3 转录和语音生成模型、语音智能体 API，以及基于 LiveKit 的语音智能体 SDK。这些模型可通过其托管于欧盟的 API 使用，也可部署在客户自己的基础设施上。希望在本地或私有云运行完整技术栈的组织必须联系 Mistral 团队。 转录支持 50 多种语言，语音生成支持 35 多种语言和 50 多种方言。该 SDK 将聆听、推理、工具调用和语音输出整合到一个流式处理流程中。Mistral 表示，该流程可在不到一秒内完成对话轮次。Arthur Mensch 表示，Voxtral 还能识别说话人，并在音频到达时检测说话人何时结束发言。据 The Decoder 报道，转录定价为每分钟 0.0035 美元起。 Artificial Analysis 在其语音转文本排行榜中将 Voxtral Small Transcribe 3 列为第三名，其 AA-WER 指数为 2.1%。该机构测得 Mini Transcribe Realtime 3 在 960 毫秒和 480 毫秒时的最终转录文本 AA-WER 分别为 3.3% 和 3.6%，而其前代产品为 5.2%。Artificial Analysis 还在其 Provider Voice 和 Controlled Voice 竞技场中均将 Voxtral 3 TTS 列为第 12 名，并报告其价格为每百万字符 13 美元。

继续阅读

正在热议

1. 2DeepSeek 开源 DeepInfer 和 API 组件，但模型与硬件支持有限
2. 3OpenAI 收购 Orchestra Bio，拓展药物研发 AI 工具
3. 4谷歌开始向 Android Auto 推出 Gemini 个人智能功能，搭载 Google Built-In 的汽车也将在之后支持
4. 5OpenAI 在 ChatGPT 中推出锁定聊天功能，支持 PIN 码和生物识别访问