TorchNeuron 为 AWS Trainium 上的 Hugging Face 模型带来原生 PyTorch 支持
Hugging Face 库现已支持 TorchNeuron。这是面向 AWS Trainium 的原生 PyTorch 后端,将于 2026 年 10 月 20 日进入公开测试版。Transformers 开箱即支持使用最广泛的前 100 种文本生成模型架构中的 89%,而 Optimum Neuron v0.4.5 支持 46%。Hugging Face 建议直接使用其库,而非 Optimum Neuron,并提供了涵盖分布式推理、微调和图像生成的示例;训练仍需管理张量形状并禁用异步权重加载。
模型发布与更新
MiniMax 发布 M3.1 Flash,推理能力更强,任务成本更低
MiniMax 发布了 M3.1 Flash。这款推理模型在 Artificial Analysis Intelligence Index 上得分为 42,高于 M3 的 29,且每项任务的成本不到后者的一半。它支持文本和图像,上下文窗口最长可达 100 万个 token;API 定价为每百万输入 token 0.15 美元、每百万输出 token 0.60 美元。Artificial Analysis 报告称,其幻觉率为 93%,因为它会回答不确定的问题,而非拒绝作答;开放权重计划于 10 月 23 日发布。
产品发布与更新
MiniMax M3.1 Flash 现已在 Ollama Cloud 上线
MiniMax M3.1 Flash 已在 Ollama Cloud 上线,托管于美国,且不保留任何数据。 Ollama 介绍称,该模型适用于快速编程和智能体工作流,能够理解图像,上下文窗口为 100 万个 token。 在 Ollama Cloud 上试用: ollama run minimax-m3.1-flash:cloud Claude Code: ollama launch claude --model minimax-m3.1-flash:cloud Codex: ollama launch codex -–model minimax-m3.1-flash:cloud
TwelveLabs 的 Pegasus 1.5 现已登陆 Amazon Bedrock
TwelveLabs 的 Pegasus 1.5 现已在 Amazon Bedrock 的美国西部(俄勒冈)区域上线,可针对符合用户定义条件的视频片段生成带时间戳的结构化 JSON。它支持最长 2 小时的视频、在多模态提示中使用参考图像,并可直接处理 Amazon S3 中的视频或 base64 输入,无需预先建立索引。文章提供了通用分析、结构化输出、视频分段和图像引导查询的 API 示例。
vLLM-Omni 首日支持 Ming-3.0
vLLM-Omni 为 Ming-3.0 提供首日支持。 @AntLingAGI 刚刚开源了 5 款语音模型,涵盖 TTS、音频理解和 ASR。vLLM 将它们描述为全为 MoE 模型,规模从 0.5B 到 126B-A6.5B。 今天即可通过 vLLM-Omni 部署它们。https://t.co/7yCGCzKBka
行业
迪士尼拟通过破产交易收购 Character.AI 员工及技术,或可绕开诉讼
如果交易完成并获法院批准,迪士尼可能会收购 Character.AI 的员工及其大部分技术栈,同时避开正在进行的法律纠纷。破产申请文件称,诉讼和监管方面的顾虑令潜在买家望而却步;一项多州调查已扩大至 46 个州和地区。参与破产程序的各州保留了对任何破产计划提出质疑的权利。
德国与 NVIDIA 签署意向声明,推动工业 AI 和物理 AI 发展
德国联邦政府与 NVIDIA 签署了联合意向声明,计划共同推动物理 AI 模型发展及 AI 在更广泛工业领域的应用。总理 Friedrich Merz 和 NVIDIA 首席执行官 Jensen Huang 强调了制造业、汽车行业专长以及中小型企业。NVIDIA 还宣布计划投资 Agile Robots、Avelios Medical、Mirelo 和 Reflex Aerospace,作为其在欧洲近 100 亿美元投资承诺的一部分。
研究
Google 开源 Harness² 研究项目,探索递归改进智能体运行框架
Google 研究人员介绍并开源了 Harness²,这是一个可在执行过程中修改智能体运行框架代码、系统提示词、工具和技能的系统。它将任务级提案、探测和组合与持久化的改进经验库结合起来,支持 OpenCode 和 Codex。报告的 WorkBuddy-Bench 结果显示,GLM-5 使用 OpenCode 经过单次改进后,得分从 64.2 提升至 75.7,超过未经修改的 Gemini 3.5 Flash 的 72.4 分。
Meta 发布 Muse Glimmer 技术报告:面向智能体任务的 30B 开放权重模型
今天,Meta 发布了 Muse Glimmer 的技术报告。这款 30B 开放权重模型专为在消费级硬件上执行智能体任务而打造。 Meta 表示,在 Mac 或 PC 上搭配单个消费级 GPU、采用 4 位精度运行时,该模型速度实用;在工具使用和多步规划方面,它领先于规模相近的开放模型。 报告涵盖模型架构、蒸馏、量化等内容:https://go.meta.me/4Bcvxol
技巧与观点
基于推送的 KV 传输如何提升 vLLM 的 TTFT 和 TPOT
AWS 介绍了其用于 vLLM 的基于推送的 NIXL 连接器。该连接器将目标端注册与预填充过程重叠进行,并将传输准备工作移至后台线程。在使用 Amazon EC2 P5en 实例和 EFA、且禁用前缀缓存的 1P1D 部署中,Qwen3-32B 基准测试显示,推送模式的 TTFT 最高提升 3 倍,TPOT 最高提升 30%,具体结果因工作负载和配置而异。文章详细介绍了架构、基准测试复现方法,以及提前选择解码实例所带来的路由权衡。
快讯
- vLLM 中的双向 KV 传输如何提升多轮智能体工作负载的 TTFTAWS Machine Learning Blog
- SageMaker Studio 为新客户提供简化的 AWS 注册流程AWS Machine Learning Blog
明早 08:00 把这样一份日报发到你邮箱
和上面这份一样:几件值得看的事。免费,点确认信之后才会开始发送,每封信都能一键退订。 看一份往期日报 · 2026-10-19
