Granite Switch 4.1 在一个端点中整合聊天、决策与语音
Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint
- 谁
- IBM
- 引文
Granite-Switch-4.1-8B and -30B are released with “batteries included”.
发生了什么
IBM 发布了 Granite-Switch-4.1-8B 和 -30B,通过一个托管端点整合了聊天、通用决策 aLoRA、专用 Guardian aLoRA,以及 Granite-Speech-5.0-Turbo-CTC 转录功能。IBM 表示,组合模型使用的 GPU VRAM 与基础模型大致相同,因为适配器会复用基础模型的 KV 缓存。用户还可以使用 Granite Libraries 适配器组合自定义 Switch 模型;IBM 计划推出用于在 Mellea 中训练适配器的 Adapter SDK。
推荐理由
共享 KV 缓存和模块化适配器提供了一种切实可行的方法,可将通用决策、专用决策与转录功能结合起来,同时让 GPU 内存用量接近基础模型。
这件事到目前为止
IBM 发布了 Granite-Switch-4.1-8B 和 Granite-Switch-4.1-30B,通过一个托管端点整合了聊天、决策、安全检查和语音转录。这些模型包括通用型 Decision aLoRA、专用型 Guardian aLoRA,以及 Granite-Speech-5.0-Turbo-CTC 转录功能。 IBM 表示,组合模型使用的 GPU VRAM 与其基础模型大致相同,适配器会重复利用基础模型的 KV 缓存。用户还可以通过 Granite Libraries 中的适配器构建自定义 Switch 模型。IBM 计划推出用于在 Mellea 中训练适配器的 Adapter SDK。
继续阅读
最新日报 · 第 24 期NVIDIA 与 AI4Bharat 推出 Nemotron-pretraining-Indic-v1 及开放数据生成流水线正在热议
明早 08:00 把这样一份日报发到你邮箱
和上面这份一样:几件值得看的事。免费,点确认信之后才会开始发送,每封信都能一键退订。 看一份往期日报 · 2026-10-17
