严俊驰团队探索扩展 Transformer 架构的两种方法
Transformer 架构还能咋改？严骏驰团队提供两条思路 | CNCC 2026
- 谁
- Yan Junchi
- 引文
在题为《大模型新架构探索：JTok & xHC》的报告中，严骏驰介绍了两项工作：JTok 为 token 引入可学习的参数表，通过查表和逐元素运算调制模型更新；xHC 则扩展残差流，以稠密读取、稀疏写回的方式提高模型容量。
发生了什么
在 CNCC 2026 上，上海交通大学教授严俊驰介绍了 JTok 和 xHC 这两种在 Transformer 框架内增加模型容量的方法。报道指出，在损失相同的情况下，JTok-M 将训练计算量减少了约 35%；与标准 Transformer 相比，xHC 提高了下游任务得分，并将训练计算量减少了约 33%。报道还介绍了这两种方法在推理延迟、内存带宽和吞吐量方面的成本。
接下来读什么
查看这件事的完整进展Yan Junchi Presented JTok and xHC Transformer Extensions这件事到目前为止
Shanghai Jiao Tong University professor Yan Junchi presented JTok and xHC, two approaches to expanding Transformer capacity, at CNCC 2026. The report says JTok-M reached the same loss with about 35% less training compute, while xHC improved downstream scores and used about 33% less training compute than a standard Transformer. JTok uses a learnable parameter table to modulate model updates for each token. xHC expands the residual stream, using dense reads and sparse writes. Both methods carry costs in inference latency, memory bandwidth, and throughput.
每天一封，跟上 AI 的重要变化
模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报 · 2026-11-04