Hugging Face tokenizers v1 发布：编码解码与扩展性能实测

发生了什么

Hugging Face 发布 tokenizers v1，输出 token ID 与 v0.23 完全一致，但速度最高提升数十倍。v1 将单一 crate 拆为工作区，引入 bitcannon 用 SIMD 位运算替代正则分词、无分配 merge 循环、线程本地 word cache 和原生多线程并行。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议