跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

48 条精选近 30 天 19条共收录 227条

更新

精选归档 · 第 2 页

9月16日周三
  1. NVIDIA Blog62

    黄仁勋亮相 Dreamforce:Salesforce 首个 CRM 推理模型 Koa 基于 NVIDIA Nemotron 3 Super 构建

    在 Salesforce Dreamforce 大会上,NVIDIA 创始人兼 CEO 黄仁勋与 Marc Benioff 同台,正值 Salesforce 发布其首个 CRM 推理模型 Koa,该模型基于 NVIDIA Nemotron 3 Super 构建。

    推荐理由:黄仁勋在 Dreamforce 谈 AI 安全与开源模型占比变化,并交代 Salesforce 首个推理模型的训练方式与落地节奏。

  2. NVIDIA Blog62

    NVIDIA 详解 DSX 平台:MaxLPS 让同等电力预算多出 24% token 吞吐

    NVIDIA 在 AI Infra Summit 上介绍其 DSX 平台,其中 DSX MaxLPS 在 Lambda 的五机架 19 节点 HGX B200 集群上验证,在相同电力预算下集群 token 吞吐提升 24%,从约每秒 400 万 token 升至 500 万,每瓦性能提升 23%。

    推荐理由:原文给出 DSX MaxLPS 在 Lambda 集群上的实测数字,读者可据此判断固定电力预算下的吞吐提升空间。

9月8日周二
  1. Google DeepMind71

    Google DeepMind 发布 AlphaGenome Atlas,覆盖人类基因组 90 亿个单字母变异预测

    Google DeepMind 发布 AlphaGenome Atlas,一个包含人类基因组 90 亿个单核苷酸变异效应预测的平台,规模达 1PB,是 AlphaFold Database 的 30 多倍,今日起通过网站门户、AlphaGenome API 和 Google Antigravity 中的 skill 免费开放给学术研究使用。

    推荐理由:原文给出 9 亿单核苷酸变异预测的规模与免费学术入口,读者可据此判断基因组解读资源的可用性。

9月4日周五
  1. Google Research62

    Google 与 HHMI Janelia 等发布完整雄性果蝇脑连接组图谱

    Google 与 HHMI Janelia 及剑桥等机构合作,在 Cell 发表论文,发布完整雄性果蝇脑与中枢神经系统连接组图谱,包含超过 166,000 个神经元和 1.25 亿个突触连接,是迄今按神经元数量计最大的脑图谱。

    推荐理由:Google 与 HHMI Janelia 等机构发布迄今神经元数量最多的脑图谱,读者可了解 AI 在连接组学中的具体用法。

9月3日周四
8月28日周五
  1. Google Research62

    Google 发布行星预测引擎 PPE,自动完成地理空间建模全流程

    Google Research 在 Google Earth AI 下推出实验性研究能力行星预测引擎(PPE),可依据自然语言查询自主完成地理空间数据发现、特征工程、模型训练与评估,并生成报告,把原本需要数周人工数据工程的建模流程压缩到数分钟。

    推荐理由:原文给出 PPE 在公共卫生、粮食安全与疫情预测上的量化提升,可了解地理空间建模自动化的实际边界。

8月25日周二
  1. Hugging Face Blog62

    IBM 发布 Granite 4.2 推理模型家族:3B、8B、30B 三档

    IBM Granite 团队发布 Granite 4.2,这是其首个稠密 decoder-only 推理模型家族,包含 3B、8B、30B 三个规模,基于 Granite-4.1 基座后训练而来,全部采用 Apache 2.0 许可。

    推荐理由:原文完整披露了 Granite 4.2 的架构、SFT 数据配比与多阶段 RL 课程,可据此理解推理模型后训练的具体做法。

  2. Hugging Face Blog60

    Multiverse Computing 提出 Quantization-Aware Healing:4-bit 压缩模型在 9 项基准中 7 项超过其 bfloat16 原版

    Multiverse Computing 发布论文提出 Quantization-Aware Healing(QAH),在 GPT-OSS 120B 压缩到 60B 参数并量化为 MXFP4 后,直接从压缩前的原始模型蒸馏,而非从恢复出的 bfloat16 检查点蒸馏。

    推荐理由:论文给出压缩加量化后从原始模型蒸馏的修复配方,并附与 QAT 的稳定性对比数据。

8月19日周三
  1. Hugging Face Blog62

    IBM 研究:你的智能体到底需要多少记忆?

    IBM 研究团队发布 ALTK-Evolve 的后续研究,在 AppWorld 的 585 个多步任务上评测八款模型,发现智能体记忆不是开关而是需要按模型校准的剂量。

    推荐理由:八模型横评显示智能体记忆的合适剂量随模型能力分层,并给出检索与提示词缓存两条可迁移的成本控制思路。

8月14日周五
  1. Hugging Face Blog62

    Hugging Face 发布 2026 夏季开源模型生态观察报告

    Hugging Face 发布 2026 年 1 月至 8 月的开源模型生态观察报告,基于 Hub 数据给出六项发现。报告显示公开模型仓库从 243 万增至 296 万,数据集从 71.1 万增至 100 万,但 85.6% 的模型终身下载量不足 200 次,1.5% 的仓库占据 99.2% 的下载量。

    推荐理由:Hugging Face 用自家 Hub 数据拆解开源模型生态,下载与点赞的分野、Qwen 衍生规模等结论可迁移到模型选型判断。

8月12日周三
  1. Google Research60

    Google Research 提出知识画像框架:召回而非编码是前沿 LLM 事实性的瓶颈

    Google Research 提出知识画像(knowledge profiling)框架,将事实性错误区分为编码失败与召回失败,并发布包含 2,150 条 Wikipedia 事实的 WikiProfile 基准。

    推荐理由:通过知识画像区分编码失败与召回失败,为理解前沿模型事实性错误来源提供了新的诊断视角。

8月6日周四
7月31日周五
  1. Microsoft Research71

    微软研究院发布 Echoverse:面向计算机操作智能体的深度演化训练环境

    微软研究院提出 Echoverse,为计算机操作智能体构建 12 个训练世界,包括 10 个完整领域环境和 2 个能力环境,每个环境由应用、任务和基于数据库的验证器三部分组成。

    推荐理由:微软研究院公开了 12 个计算机操作智能体训练环境与配套验证器,并给出深度环境与浅层环境对迁移效果的对比数据。

7月21日周二
  1. Hugging Face Blog62

    Hugging Face 发布 Grabette:录制机器人操作数据的开源系统

    Hugging Face 发布 Grabette,一套开源低成本的手持夹爪操作数据录制系统,无需机器人或遥操作设备即可采集演示数据。Grabette 配备广角鱼眼相机与 RGBD 相机,分别负责策略视角与 6-DoF 轨迹跟踪,硬件 BOM 成本约 490€,配套的机器人端夹爪 Gripette 约 120€。

    推荐理由:原文给出了从手持夹爪录制到 LeRobot 数据集的完整开源链路,读者可据此判断机器人操作数据的采集门槛变化。

7月9日周四
  1. Google Research62

    Google 发布 SensorFM:面向可穿戴健康数据的大型传感器基础模型

    Google Research 联合 Google DeepMind 提出 SensorFM,一个直接从无标注可穿戴数据学习的大型传感器基础模型,预训练语料为 500 万同意参与者、超过一万亿分钟的多模态传感器信号,覆盖 100 多个国家、50 个美国州和 20 多款 Fitbit 与 Pixel Watch 设备。

    推荐理由:原文给出预训练数据规模、缩放实验与下游任务对比,读者可据此判断可穿戴基础模型的通用性边界。

7月7日周二
  1. Hugging Face Blog74

    LeRobot v0.6.0 发布:想象、评估、改进

    Hugging Face 发布 LeRobot v0.6.0,围绕机器人学习闭环引入世界模型策略(VLA-JEPA、FastWAM、LingBot-VA)、新一批 VLA(GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT)以及统一奖励模型 API(Robometer、TOPReward)。

    推荐理由:原文把世界模型策略、奖励模型 API 与六个仿真基准整合进同一套 CLI,读者可据此判断机器人学习闭环的工程化程度。

6月30日周二
  1. Google Research76

    Google 发布 TabFM:面向表格数据的零样本基础模型

    Google 发布 TabFM,一个面向表格数据分类与回归的零样本基础模型,把表格预测重构为上下文学习问题,无需手动训练、调参和特征工程即可在单次前向传播中完成预测。

    推荐理由:原文给出了 TabFM 的架构设计与 TabArena 基准表现,读者可据此判断零样本表格预测能否替代传统树模型流程。

5月27日周三
  1. Mistral AI62

    Mistral 推出物理 AI,将 Emmi AI 并入企业平台

    Mistral 宣布将 Emmi AI 并入公司,推出面向工业工程的物理 AI 能力,作为其企业解决方案中的新基础能力。该能力从几何与边界条件直接预测物理场,单次前向推理在单张 GPU 上以秒级完成,用于设计迭代,传统求解器保留用于验证和边界情况。

    推荐理由:Mistral 把物理仿真模型并入企业平台,读者可据此判断工业设计流程的算力与迭代节奏会如何变化。