Granite Switch 4.1 在一个端点中整合聊天、决策与语音
IBM 发布了 Granite-Switch-4.1-8B 和 -30B,通过一个托管端点整合了聊天、通用决策 aLoRA、专用 Guardian aLoRA,以及 Granite-Speech-5.0-Turbo-CTC 转录功能。IBM 表示,组合模型使用的 GPU VRAM 与基础模型大致相同,因为适配器会复用基础模型的 KV 缓存。用户还可以使用 Granite Libraries 适配器组合自定义 Switch 模型;IBM 计划推出用于在 Mellea 中训练适配器的 Adapter SDK。
推荐理由:共享 KV 缓存和模块化适配器提供了一种切实可行的方法,可将通用决策、专用决策与转录功能结合起来,同时让 GPU 内存用量接近基础模型。
