教程、实践经验、使用技巧、提示词与工具用法、深度技术讲解
AWS 介绍了 Amazon SageMaker AI 中使用的三项融合 MoE 优化，报告吞吐量最高提升 10%，首次生成令牌时间（TTFT）最高缩短 9%。在 H200 上，交换矩阵操作数使吞吐量提升了 2–4%；将 FP8 张量量化模型路由到 Triton，则使吞吐量提升了 10%。消除不必要的 Triton JIT 重新编译，在 8 路张量并行时将 TTFT 缩短了 9%；该帖子指出，这些优化已在 vLLM 和 AWS LMI v28 容器中提供。
这些优化示例分别考察矩阵布局、后端选择和编译器特化，展示了提升 MoE 服务性能的一种可迁移方法，并说明了它们如何分别影响吞吐量和延迟开销。
AWS 展示了如何使用 Amazon Bedrock 上的 Grok 4.7 构建和评估工具调用智能体，并在三项合成任务中比较四种推理力度。该智能体在 72 次运行中有 67 次回答正确；xhigh 为 18 次全对，而 low 答对 18 次中的 15 次，输出 token 数约为前者的八分之一。本指南涵盖任务设计、自动评分、生产监控和运维控制，并指出这些小规模结果仅供参考，不足以得出统计学上确凿的结论。
答案可验证且唯一的任务，加上重复运行，为比较推理力度提供了一种可复用的方法；分别测量正确性和 token 数，则能具体体现两者之间的权衡。
AWS 说明了如何从泰国、马来西亚、新加坡、印度尼西亚和台湾通过 Amazon Bedrock 全球跨区域推理调用 OpenAI GPT-6 Sol 和 GPT-6 Luna，以及如何从新加坡调用 GPT-6 Astra。本指南涵盖 Converse、兼容 OpenAI 的 API、编码客户端、IAM 权限、SCP 例外、配额和监控。计费和配额跟踪仍在源区域进行，而请求则在受支持的目标区域运行；每个输出 token 消耗 10 个配额 token。
本指南介绍了一种可迁移的方法，用于配置跨区域推理权限：将 SCP 例外限定于推理配置文件，同时保留对其他服务的区域控制。
AWS 展示了如何使用 Ray LLM 深度学习容器，在 Amazon EKS 上跨两个 GPU 节点部署 Qwen3.5-9B，并在一个兼容 OpenAI 的端点后配置独立的预填充和解码部署。该演示使用 YAML 配置应用，并通过 EFA 上的 NIXL 在节点间传输 KV 缓存。内容涵盖集群配置、模型调用、传输验证和资源清理。
本指南提供了一种可迁移的部署模式，用于分离预填充和解码，并说明如何验证传输后端，避免通信悄然回退到 TCP 速度。
AWS 介绍了如何在 Amazon SageMaker AI 上使用其 llama.cpp 深度学习容器部署 GGUF 模型，然后添加 SemIf 适配器，以便针对已声明的选项返回概率，而不生成答案词元。该指南包含 CPU 和 GPU 部署代码。在使用 Qwen3.5-4B Q4_K_M 完成的 231 项 JevBench 任务中，与 CPU 配置相比，GPU 配置的 p50 延迟快 4.9 倍，p95 延迟快 32.2 倍，且准确率相近。
这种部署模式展示了应用如何为预定义选项评分，而无需解析生成的散文，同时将授权、阈值和回退规则保留在应用控制之下。
作者在 HuggingChat 中开启 ML-intern，用提示词描述需求，两天内做出六个模型并发布到 Hub，总计算花费约 103 美元。其中把 Qwen-Image 2.1 的 9B 提示词改写器蒸馏成 0.8B 版本，可在 CPU 上运行，输出有效率 99.7%，token 用量约为教师模型的四分之一。作者公开了全部七个提示词，并建议在提示中要求基线对比、冒烟测试和预算上限。
作者用 ML-intern 在两天内做出六个模型，公开了全部提示词与成本明细，可迁移到自己的训练流程。
AWS 官方博客介绍如何在 Amazon Bedrock AgentCore runtime 上运行开源智能体系统 OpenClaw，构建带长期记忆的个人助手 Sprout。
原文给出可复用的容器包装、命名空间与提示词缓存排序方法，读者可据此搭建带长期记忆的智能体。
GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust，代码主要由 AI 智能体编写，分布在 128 个 PR 中增量合入 main，而非一次性切换。
作者以亲历者身份复盘 80 万行 Rust 重写，给出可迁移的智能体编排与评审方法。
IBM 研究团队在 Hugging Face 博客介绍 altk-evolve 新增的一致性指南（consistency guidelines），用于解决智能体同一任务重复运行结果不稳定的问题。
材料给出 Mean@k 与 Pass^k 的差距量化，并展示一致性指南把差距减半的实测结果，可迁移到智能体评测设计。
Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder，用于 ColBERT 式晚交互检索，PyLate、Stanford-NLP ColBERT 检查点可直接加载，colpali-engine 的视觉文档检索模型也能通过同一套 API 使用。
原文给出多向量编码器的加载、打分与索引接入方式，读者可据此判断晚交互检索是否值得替换现有稠密方案。
Hugging Face 博客给出 Strands Robots 的流式数据闭环教程：同一个 Robot() 录制 LeRobotDataset 并同步进 Storage Bucket，再通过 stream_dataset() 直接从 Hub 流式读取训练，无需先下载整个数据集，训练好的 checkpoint 只需把 mode 改为 real 即可部署回硬件。
以 Strands Robots 为例拆解机器人数据闭环，读者可据此理解录制、流式训练与部署如何共用一套 LeRobot 格式。
Mistral 基于其开源编码助手 Vibe 搭建了一个自主智能体，可读取 Rails 源文件、生成或改进 RSpec 测试，并在 CI/CD 流程中无需人工干预运行。
Mistral 公开了自动写 RSpec 测试的智能体完整搭建方法，包括 AGENTS.md、skills 与自定义工具三层设计。
