Ollama 推出 Flint：Recursive_SI 的约 400 亿参数 MoE 开源模型，面向设备端编程

发生了什么

认识一下来自 @Recursive_SI 的 Flint，这是一款约 400 亿参数的 MoE 开源模型，专为快速、准确的设备端智能体编程而设计。 Ollama 报告称，在短上下文条件下，M4 Pro MacBook Pro 上的速度超过 125 tps，配备 64GB 内存的 NVIDIA RTX Spark 上超过 150 tps。 立即在 Ollama 上试用： ollama run

这件事到目前为止

Ollama 让 Recursive_SI 的 Flint 编码模型可在本地运行，vLLM 则宣布从发布首日起支持该模型，并已准备好 NVFP4 和 BF16。Flint 是一款开放的混合专家模型，参数量约为 400 亿；vLLM 表示，每个 token 激活 25 亿个参数。Ollama 称，该模型专为设备端智能体编码而设计。 各平台在不同硬件和上下文条件下报告了性能数据。Ollama 报告称，在 M4 Pro MacBook Pro 上每秒处理超过 125 个 token，在配备 64GB 内存的 NVIDIA RTX Spark 上每秒处理超过 150 个 token，两种情况的上下文都较短。vLLM 报告称，其定制 NVFP4 内核在单台 GB200 上每秒处理 500 个 token，即使上下文长达 10 万个 token，且未使用推测解码。

继续阅读

正在热议

1. 1Mistral 与 NVIDIA 宣布开展工业工程 AI 合作并推出开放基准
2. 2Mistral 发布 Voxtral 3 语音模型、语音智能体 API 和基于 LiveKit 的 SDK
3. 3OpenAI称其模型帮助研究人员发现严重漏洞后，PHP发布安全更新
4. 4DeepSeek 开源 DeepInfer 和 API 组件，但模型与硬件支持有限