vLLM 为 Recursive_SI 的 Flint 编码模型提供首日支持

发生了什么

vLLM 宣布首日支持 Recursive_SI 的 Flint，并已准备好支持 NVFP4 和 BF16。 Flint 拥有 40B 个参数，每个 token 激活 2.5B 个参数。vLLM 报告称，其定制 NVFP4 内核在单张 GB200 上可达到 500 TPS，即使上下文长度达到 100K，且未使用推测解码也是如此。

这件事到目前为止

Ollama 让 Recursive_SI 的 Flint 编码模型可在本地运行，vLLM 则宣布从发布首日起支持该模型，并已准备好 NVFP4 和 BF16。Flint 是一款开放的混合专家模型，参数量约为 400 亿；vLLM 表示，每个 token 激活 25 亿个参数。Ollama 称，该模型专为设备端智能体编码而设计。 各平台在不同硬件和上下文条件下报告了性能数据。Ollama 报告称，在 M4 Pro MacBook Pro 上每秒处理超过 125 个 token，在配备 64GB 内存的 NVIDIA RTX Spark 上每秒处理超过 150 个 token，两种情况的上下文都较短。vLLM 报告称，其定制 NVFP4 内核在单台 GB200 上每秒处理 500 个 token，即使上下文长达 10 万个 token，且未使用推测解码。

继续阅读

正在热议

1. 1Mistral 与 NVIDIA 宣布开展工业工程 AI 合作并推出开放基准
2. 2Mistral 发布 Voxtral 3 语音模型、语音智能体 API 和基于 LiveKit 的 SDK
3. 3OpenAI称其模型帮助研究人员发现严重漏洞后，PHP发布安全更新
4. 4DeepSeek 开源 DeepInfer 和 API 组件，但模型与硬件支持有限