跳到正文
K = 0.731
原文
论文Hugging Face Blog当事人·· 2 小时前精选

VocabX 如何通过专门化 SLM 词汇将实测推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

发生了什么

Dharma AI 介绍了 VocabX，这是一种按成本加权的词汇适配方法。在基于 Qwen3-4B 构建的葡萄牙语作文评分器中，该方法将实测推理成本降低了 77.0%。使用相同的基础模型、数据和训练方案时，平均回复长度从 350 个 token 缩短到 101 个，基准测试得分则从 0.703 提高到 0.810。这些结果来自一篇仍在评审中的论文，发表前可能会有所变化。

推荐理由

评分器实验说明了为什么词汇压缩应保留影响决策的 token：将评分与周围的 JSON 内容分离后，实测成本节省和评估质量均有所提升。

这件事到目前为止

Dharma AI 预览了 VocabX，这是一种词汇适配方法。据该公司称，在基于 Qwen3-4B 构建的葡萄牙语作文评分器中，该方法使测得的推理成本降低了 77.0%。这些结果来自一篇仍在评审中的论文，发表前可能会有变化。 VocabX 根据每个词元的成本而非出现频率来专门化词汇。Dharma AI 报告称，在基础模型、数据和训练方案相同的情况下，平均回复长度从 350 个词元缩短至 101 个词元，同时基准测试得分从 0.703 升至 0.810。这些测量结果适用于其葡萄牙语作文评分器。

Hugging Face推理能力开源生态论文研究#论文/研究#推理#开源生态#Hugging Face

继续阅读

最新日报 · 第 28 期Mistral AI 发布 Voxtral 3 语音模型和语音智能体 SDK

正在热议

  1. 1Mistral 与 NVIDIA 宣布开展工业工程 AI 合作并推出开放基准
  2. 2Mistral 发布 Voxtral 3 语音模型、语音智能体 API 和基于 LiveKit 的 SDK
  3. 3OpenAI称其模型帮助研究人员发现严重漏洞后，PHP发布安全更新
  4. 4DeepSeek 开源 DeepInfer 和 API 组件，但模型与硬件支持有限

明早 08:00 把这样一份日报发到你邮箱

和上面这份一样：几件值得看的事。免费，点确认信之后才会开始发送，每封信都能一键退订。 看一份往期日报 · 2026-10-21