Liquid AI 发布了用于设备端推理和工具调用的 LFM2.5-24B-A2B,推理版和 Base 权重已在 Hugging Face 上提供,该模型现也可通过 Ollama 使用。Ollama 分享了命令 `ollama run lfm2.5:24b`,可在笔记本电脑和 PC 上本地运行该模型。
该模型共有 240 亿个参数,每个 token 激活 20 亿个参数,并将上下文窗口从 32K 扩展至 131K 个 token。Liquid AI 报告称,该模型在 Apple M5 Max 上的生成速度为每秒 184 个 token,工具调用表现也具有竞争力;同时也承认,在知识密集型和编程基准测试中,更大的模型仍有优势。
AI 根据报道生成 · 2 天前更新