vLLM 新增对 Step 5 Preview 的 Day-0 支持
🎉 vLLM 已在 Day-0 支持 Step 5 Preview。 涵盖稀疏注意力、MoE、多令牌预测和视觉功能,并针对 Blackwell 和 Hopper 开展服务支持工作。 相关工作涉及稀疏索引器、FP8 MegaMoE 和缓存传输;内核测试结果及更多详情见 https://t.co/f9apB6vVGG

🎉 vLLM 已在 Day-0 支持 Step 5 Preview。 涵盖稀疏注意力、MoE、多令牌预测和视觉功能,并针对 Blackwell 和 Hopper 开展服务支持工作。 相关工作涉及稀疏索引器、FP8 MegaMoE 和缓存传输;内核测试结果及更多详情见 https://t.co/f9apB6vVGG
NVIDIA 已在 GeForce NOW 中添加 DLSS 4.5 控制选项,让会员可以在支持的游戏中调整画质和性能。这些设置可在 Windows、macOS、Chrome OS 和 Steam OS 应用中使用;搭载 GeForce RTX 5080 的云端设备上的 Ultimate 会员还可选择包括 Dynamic Multi Frame Generation(最高 4X)在内的选项。Enshrouded 1.0 和 Warhammer 40,000: Boltgun 2 也将在发售时支持串流,本周还有 10 款游戏加入该服务。
推荐理由:会员等级和平台信息说明了不同等级可使用的云端图形控制选项;搭载 RTX 5080 的 Ultimate 云端设备提供最丰富的选项。
vLLM 已首日支持 Jais 3。 祝贺 @IFM_AI 及其合作伙伴发布这一成果。原生阿拉伯语智能体 AI 从第一天起即可通过 vLLM 提供服务。https://twitter.com/IFM_AI/status/2110641827778843010
10月12日,海康威视凭借 AI 超声检测技术荣获 2026 年中国国际工业博览会工业自动化奖。据该公司介绍,其超声基础模型可分析原始信号以识别并测量缺陷,并能在典型场景中自动解读完整检测流程。在一个汽车零部件项目中,缺陷识别准确率至少为 99.5%,漏检率不超过 0.5%。
海康威视在2026中国国际工业博览会上展示了100多款工业数字化产品,并推出十余款新品,涵盖质量检测、设备监测、生产运营和作业安全。据称,其生产线SOP检测解决方案可根据1–8张图像生成新模型,并在几分钟内完成部署。新发布的半导体封装3D AXI检测系统将X射线成像与工业检测模型相结合,细节分辨率低于1微米,几何放大倍数最高可达2500倍。
Token Rhythm 表示,已有超过30万名开发者加入其平台,并推出限时双十一预售优惠。在 TokenRhythm API 单次充值至少50元,即可获赠等额的模型使用额度,累计赠送金额不设上限;这些额度永久有效。该公司还表示,此前赠送的额度现已永久有效。
据 Latent Space 引述的公司公告,Modal 年化营收运行率突破10亿美元,并以157.5亿美元估值完成由 Accel 领投的7.5亿美元D轮融资。使用量同比增长超过15倍。Modal 的 Erik 表示,仅 Sandboxes 的运行率就达到3亿美元,已启动近30亿个沙箱,并支持同时运行100万个沙箱,应用包括后台代理和强化学习。
雷锋网报道称,随着模型公司寻求降低算力成本,一些 AI 基础设施专家的年薪可达 700 万至 800 万元。受访者指出,推理优化、模型量化和内核开发是高薪技能,而常规框架部署带来的回报较少。StartLux 联合创始人兼 CTO 郭权伟估计,只有 5%–10% 的 AI 基础设施从业者能获得显著溢价,这与薪资普遍翻倍的印象相悖。
vLLM-Omni 现已支持 Fish Audio Drama 3,可通过 /v1/audio/speech 提供语音克隆、说话人标签、富有表现力的语音输出,以及 44.1 kHz 音频流式传输。 已合并的优化 PR 报告称,在一台 H200 上可支持 128 路并发流,中位首段音频耗时为 255 ms,每秒生成 222.2 秒音频;两个阶段共用 GPU。数据为 5 次运行的平均值,每次运行使用 1,088 条 Seed-TTS-Eval 英语请求,并采用预编码的语音参考。 试用当前上游版本: vllm serve fishaudio/drama-3 --omni --port 8091 使用指南:https://github.com/vllm-project/vllm-omni/blob/main/recipes/fishaudio/Drama-3.md
英伟达介绍了北欧国家如何围绕计算基础设施、初创企业和工业应用构建技术生态系统。预计到 2027 年底,人工智能云服务提供商将在该地区部署总计 1 吉瓦的算力;与此同时,瑞典的 Sferical One 已启用一台共享超级计算机,配备 16 个机架的英伟达 DGX GB300 系统和 1,152 个 GPU。来源还重点介绍了利用英伟达技术开发推荐系统、机器人、会议辅助工具及其他应用的北欧企业。
Artificial Analysis 正将 AMD MI355X 的结果纳入 AA-AgentPerf。该基准会重放真实的编码智能体会话,并模拟提示缓存和工具调用延迟。 在单台 8-GPU 节点上,对于 DeepSeek V4 Pro 0813,在每位用户 35 至 75 tok/s 的范围内,MI355X 的每兆瓦吞吐量比 B200 高约 15% 至 40%。DeepSeek V4.1 Flash 在单个智能体场景下达到 NVIDIA Blackwell 的性能,但随着负载上升则有所落后;GLM-5.2/5.3 和 Kimi K3 的表现也落后于所比较的 NVIDIA 系统。 结果使用 ROCm nightly 以及 vLLM 和 SGLang 的开发版本;Kimi K3 的比较采用 NVIDIA 多节点配置。
Aravind Srinivas 分享了一篇文章,介绍 Perplexity 的沙箱平台如何每天处理数百万次执行,同时利用多台机器降低服务成本。https://t.co/lmRrwROweu 在被引用的帖子中,@perplexity_ai 表示,SPACE 的错误率低于 0.0002%,并使用加密身份机制,确保沙箱暂停、恢复和迁移时,请求始终关联到正确的执行。https://t.co/jH6TX2cgI9
AWS 介绍了如何使用 Amazon Bedrock AgentCore 和八个专用代理构建文档处理系统。这些代理负责对文档分类、提取数据、验证结果,并保存经过优化的提取说明以供重复使用。在其采购订单示例中,处理一种不熟悉的格式需要 3 分 49 秒,而使用已保存说明处理后续文档则需要 1 分 30 秒。本指南还包含部署步骤,并说明如何自定义架构、验证逻辑和提示。
我们的沙箱 SPACE 每天处理数百万次执行,错误率低于 0.0002%。 我们将介绍它如何利用加密身份,确保请求在沙箱暂停、恢复和迁移时仍与正确的执行关联。 了解更多:https://t.co/jH6TX2cgI9
Aravind Srinivas 介绍了一位用户的项目:Perplexity Computer 将一款仅支持 Windows、没有 Linux 支持或文档的机械键盘应用移植为 Linux 原生 Rust 应用。Computer 在云端沙箱中下载了该应用的二进制文件,用无头模式的 Ghidra 反编译,并阅读代码以了解它如何驱动键盘。 它逐步重建了这款应用,加入了通过 PipeWire 实现的音乐同步灯效、3D 视图、按键重映射、宏和配置文件。 https://www.reddit.com/r/GeminiAI/comments/1x4vvoi/my_mechanical_keyboards_software_only_runs_on/ https://github.com/trenbolone1122/aula-f75-linux
vLLM 已支持在 Ling-3.1-flash 发布首日即使用! 总参数量约 560B,每个 token 激活约 25B 参数,上下文长度最高达 1M。从简略需求说明到网站、移动端 UI 和交互式原型,都可以通过 vLLM 部署在自己的基础设施上。 祝贺 @AntLingAGI! https://twitter.com/AntLingAGI/status/2110390124743970952
Epic Games 宣布,从今天起为 Windows、Mac 和 Linux 推出重新设计的 Epic Games Launcher 预览版,并称其速度更快、响应更灵敏。Epic 高管 Martin Keely 告诉 The Verge,所有代码均由智能体编写和审查,开发团队负责监督;AI 帮助复现现有功能并支持 Linux。旧版启动器仍可使用,Epic 尚未制定要求用户迁移的具体时间表。
Amazon SageMaker JumpStart 提供了一套工作流程,用于部署预训练模型、使用 SageMaker Python SDK 运行可重复的性能测试,并在测试后删除端点。该测试使用示例提示词来衡量延迟、估算的输出长度和单请求生成速率。模型中心发现功能和预配置的端点选项简化了浏览与部署流程,而深度链接集成则让用户只需单击一次,即可从 Hugging Face 模型发现页面部署模型。
AWS 的文章介绍了如何使用 Amazon Bedrock AgentCore 构建 AI 智能体系统,从企业文档创建面向客户的 PowerPoint 演示文稿。在内部测试中,该工作流在 90 秒内完成;它使用监督智能体、RAG 以及用于生成演示文稿和摘要的专用工具。文章还提供了包含代码资源的公开代码仓库。
蚂蚁集团具身智能公司蚂蚁灵波已与隆盛威瑞、德马科技和德尔向旺签署战略合作协议,共同开发适用于工业和物流场景的机器人解决方案。合作内容包括工业装卸、汽车工厂数字化和包裹柔性分拣。在中国国际工业博览会上,搭载 LingBot-VLA 2.0 的 Tihoo 和 Stardust Intelligence 机器人展示了工业装卸和柔性分拣。
STEPX Neo 已正式发布,售价 3999 元,搭载原生支持智能体的 Step AOS 和个人智能体 Amoo,并提供 STEPX Token Plan,每月可获得 100 亿个 token,连续 12 个月。体验样机两周后,Jay 介绍了如何通过 CLI 工具将词汇课同步到飞书日历,以及如何在 Step Studio 中构建 AI 新闻应用。文章还介绍了工具调用日志、高风险操作的确认要求,以及智能体删除数据后的恢复选项。
腾讯于10月14日发布企业微信与 WorkBuddy 的集成版本,通过共享的企业微信账号体系打通办公场景信息。企业微信 5.0.12 在企业联系人中新增 WorkBuddy 对话机器人,WorkBuddy 5.8.0 则支持通过企业微信登录,并在授权后访问消息、文档、会议和云存储。管理员可以管理账号、使用情况、AI 算力购买和访问权限;通过认证的企业微信企业可使用集成功能,免费试用名额有限。
商汤科技基于升级后的“云宇宙星空”模型打造的AI平台,为上海“量子城”计划首批政务智能体开发并交付了三个智能体,分别用于防汛调度、空间分析和规划更新。在苏州河流域,“御知河洛”智能体将调度效率提升了80%;此外,空间计算和动态模拟效率分别据报提升了65%和70%。
@lightseekorg 报告称,Qwen3.8-Flash-Next 每位用户的输出速度达到 685 tokens/s。 祝贺 @lightseekorg 取得亮眼的 TokenSpeed 测试结果!🚀 很高兴看到 Qwen3.8-Flash-Next 在 Nvida GPU 上达到每位用户 685 tokens/s 的输出速度。期待社区进一步释放 Qwen 的推理潜力!
腾讯 WorkBuddy Enterprise 于 10 月 13 日在管理控制台新增可观测性中心,并开放公开测试。该中心提供实时监控、会话追踪和执行链路详情,涵盖使用情况、额度消耗、响应时间和错误。管理员可以按部门和模型拆分查看消耗,调查特定执行节点,并在 https://www.workbuddy.cn/admin/overview 调整 Agent 提示词、模型和工具。
Baoyu 根据 Anthropic 的工程博客介绍了公司为何用 Scion 替代 git:每天合并的代码变更从 5 月的约 2,500 次增长到 9 月的 30,000 多次。Scion 按需获取文件,将操作移至服务器,并使用命中率超过 99% 的分层缓存。Anthropic 报告称,智能体工作区的启动时间中位数从 7.1 分钟降至 5.1 秒,同时强调 Scion 面向规模极大的单体仓库,并非通用型 git 替代方案。
推荐理由:这一对比展示了假设服务器始终可访问会如何改变源代码管理架构,并将按需获取文件和服务器端操作与智能体生成代码的基础设施需求联系起来。
使用 Python 3.15 内置的 `profiling.sampling` 对未经修改的 web-edit 应用进行性能分析后发现,保留混合行尾占据了编辑工作负载的主要部分。在 15,296 个 CPU 调用栈中,`preserve_endings` 出现在 64.8% 的调用栈里;在叶节点样本中,`SequenceMatcher.find_longest_match` 占 38.3%;95.1% 的调用栈来自 AnyIO 的工作线程,因此对所有线程进行采样至关重要。
Simon Willison 着重介绍了 Anthropic 对 Scion 的说明。Scion 是他们自研的 Git 替代方案;合并的代码变更从 2026 年 5 月每天约 2,500 项增至 9 月每天超过 30,000 项。Anthropic 报告称,主分支历史记录近 100 GB,每天约有 2,500 万次 CI 检出;七人团队用五个月完成了系统构建和迁移。Willison 推测,Fable/Mythos 级别的模型促成了编码速度的提升,并将 Anthropic 在对抗式审查方面的经验与自己的经历联系起来,其中包括工程师需要引导模型,避免过度设计。
推荐理由:Anthropic 的检出量和代码库规模为理解代码活动增加如何给代码审查和 CI 支撑基础设施带来压力,提供了具体背景。
@leadinginds 表示,Ramp 支出数据显示,在各自类别中,Perplexity、Wispr Flow 和 Claude Code 均被超过 87% 的买家购买。推理、GPU 算力和 AI 优先的 GTM 仍然分散。 👀 https://twitter.com/leadinginds/status/2110080629773635595
本指南介绍 Anchor Browser 如何与 Amazon Bedrock AgentCore payments 集成,在同一浏览器会话中处理受 x402 保护的页面和 API。将 session.x402 设为 true 后,即可自动付款,但须遵守已配置的支出限额和有效期限制;钱包凭据则保留在智能体运行时之外。现有浏览器自动化代码可以保持不变;如果付款被拒绝或遇到不受支持的质询,原始 HTTP 402 响应会保持不变。
推荐理由:该集成展示了一种可迁移到付费智能体工作流的架构:将付款签名和预算执行置于智能体运行时之外,同时保留浏览器会话上下文。
Artificial Analysis 现已公布其追踪的模型端点的缓存命中率,以及开放权重模型的提供商级每任务成本。 缓存命中率通过多轮智能体编程任务测得;提供商成本比较使用各模型在 Intelligence Index 测试中相同的 token 数量。 GLM-5.3(max)的成本相差约 9 倍,从 Makora 的 0.92 美元到 Nebius 的 8.68 美元,差异主要源于输入定价,尽管两者的缓存命中率都很高。在 21 家提供商(25 个端点)中,缓存命中率介于 41% 至 100%。
Flox Intelligence 开发可在现场运行的 AI 设备,用于识别附近的野生动物,并播放适合相应物种的声音以驱离它们。该公司表示,目前约有 150 台设备在北美、欧洲和澳大利亚运行,并预计到 2026 年底营收约为 150 万美元。Flox 正启动 1,000 万美元的 A 轮融资,以扩大部署规模,并将系统应用拓展到当前的野生动物场景之外。
Origin 是 Cursor 的代码托管平台,现已支持 20 多种集成。 将你的代码仓库连接到用于持续集成、部署、代码审查、安全、监控和项目管理的工具。https://t.co/Xq8LpS6Fa7
GitHub 介绍了其秘密扫描流水线如何将正则表达式候选检测与微调后的 ModernBERT 分类器结合,利用周围上下文区分真实凭据与相似字符串。与此前的 LLM 流水线相比,离线评估显示精确率提高了 13%,召回率提高了 19%;客户 A/B 实验显示,按仓库所有者加权的接受率提高了 11.5%。推送后的扫描执行时间中位数缩短了 86%,服务成本降低了 98% 以上,因此将通用秘密检测扩展到推送保护变得切实可行。
推荐理由:GitHub 的流水线展示了一种可迁移到狭义分类任务的设计模式:将确定性候选生成与基于真实感强负例训练的小型上下文模型结合起来。
AWS 介绍了两种在多个 AWS 账户中为 Amazon Bedrock 私有定价优惠启用托管授权的方法。轻量级脚本可一次性激活已收到且可信的许可证;AWS CDK 自动化则会处理协议事件,根据允许列表验证卖家,并创建和激活分发的授权。只有当授权状态变为 ACTIVE 或 WORKFLOW_COMPLETED 后,协商定价才会生效。本指南还介绍了如何检查授权状态,以及在账单数据出现后如何在 AWS Cost Explorer 中验证费用。
通过 ASR 和 LLM 微调定制垂直领域语音智能体 https://t.co/dBSfkUiKeX
Orca Security 与 AWS 合作,基于 Amazon Bedrock 构建了 Discovery AI,可将自然语言问题转换为经过验证的 Sonar 查询,覆盖 900 多种云基础设施和应用模型。其架构结合了示例检索与重排序、相关架构选择、智能体生成和验证,并由领域专家持续更新示例库。与最初的基线相比,Orca 报告称成本降低了 90%,输入令牌减少了 93%,延迟降低了 75%,响应时间从约 60 秒缩短至 15 秒。
推荐理由:该架构提供了一种可迁移的方法来查询大型架构:检索经过验证的示例、选择相关架构片段,并将验证错误反馈给生成流程。
Anthropic 工程博客介绍了他们如何构建新版本控制系统,并在五个月内将单体代码库完全从 Git 迁移出来。 5 月,他们每天合并约 2,500 项代码变更;9 月,每天合并超过 30,000 项。 这一增长使为人类而非智能体规模设计的开发者基础设施出现瓶颈:https://www.anthropic.com/engineering/redesigning-source-control
同一新闻,精选展示《Why Anthropic built Scion to replace git for its monorepo》
Satlyt 完成 800 万美元种子轮融资,由 Non Sibi Ventures 领投,用于开发可在不同公司卫星上运行 AI 模型的软件。此前部署 Google DeepMind 的 Gemma 后,一项关于星载软件错误的传输量减少了 60% 以上。其软件定于周四搭乘 SpaceX 火箭发射,并与 Google 的 Project Suncatcher 原型一同升空;公司预计明年测试两颗卫星之间的共享计算。
AWS 介绍了 Amazon SageMaker AI 中使用的三项融合 MoE 优化,报告吞吐量最高提升 10%,首次生成令牌时间(TTFT)最高缩短 9%。在 H200 上,交换矩阵操作数使吞吐量提升了 2–4%;将 FP8 张量量化模型路由到 Triton,则使吞吐量提升了 10%。消除不必要的 Triton JIT 重新编译,在 8 路张量并行时将 TTFT 缩短了 9%;该帖子指出,这些优化已在 vLLM 和 AWS LMI v28 容器中提供。
推荐理由:这些优化示例分别考察矩阵布局、后端选择和编译器特化,展示了提升 MoE 服务性能的一种可迁移方法,并说明了它们如何分别影响吞吐量和延迟开销。