i14 与 AWS 适配 Laplace 3B，以便在 Trainium2 上训练和服务

i14 与 AWS 将 i14 的 Laplace 3B 线性注意力模型适配到 AWS Trainium2，使用 TorchNeuron Native 通过原生 PyTorch 进行训练和服务，并报告训练速度约为每秒 120,000 个 token，推理吞吐量为每秒 11,544 个输出 token。 AWS 表示，其 GenAIIC 团队在一台 trn2.48xlarge 实例上使用全部 64 个逻辑 NeuronCore 训练了该模型，训练结果报告覆盖约 440 亿个 token。该模型为每个序列保持固定的 29.5 MB 循环状态。推理方面，团队在一台 trn2.48xlarge 实例上使用未经修改的 vLLM 引擎；报告的吞吐量是在 1,280 个并发序列下测得的。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。