跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

48 条精选近 30 天 19条共收录 227条

更新

数据与训练的精选

10月16日周五
  1. Hugging Face Blog82

    NVIDIA 与 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1 及开放数据生成流程

    NVIDIA 与 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1,涵盖 22 种印度语言、约 2.8 万亿个 token,并将很快与其开放式 GPU 加速生成流程一同发布。该语料库包含全部 22 种语言的本土文字文本,以及 12 种语言的罗马化文本;这些文本由精选英文来源翻译而来,并经过质量检查和来源追溯。一个印度语系继续预训练阶段提升了五项已报告基准的成绩,但该阶段混合了合成数据与自然数据,因此这项比较无法单独确定该语料库的贡献。

    推荐理由:该流程通过将翻译、质量评估、修复和文字系统转换分开,同时保留与源文档的链接,为多语言数据生成提供了一种可复用的方法。

10月13日周二
  1. MIT Technology Review · AI76

    AI 实验室正在从倒闭的初创公司购买数据来训练模型

    AI 实验室正在通过 SimpleClosure 和 Sunset 等公司购买已停业初创公司的代码和职场档案,用于训练模型并构建 AI 智能体练习任务的环境。SimpleClosure 的 Asset Hub 已经促成 150 多笔交易;今年 8 月,谷歌以 1000 万美元买下了 Spirit Airlines 数十年的数据。这一市场引发了有关员工隐私、同意和定价的问题,目前没有公司发布过测试,对比使用真实世界档案与其他替代方案的训练结果。

    推荐理由:这些交易暴露出职场数据的生成者与转售收益的获得者之间存在差距:员工的私人信息进入交易,而交易收益通常流向债权人和投资者。

  2. Microsoft Research65

    模拟学生学习,改进 AI 辅导

    微软研究院推出 StudentSim,这是一套研究系统,利用公开可用且已去标识化的学习者记录训练个性化学生模拟器,以评估和改进 AI 辅导工具。StudentSimEval 在国际象棋、英语作为第二语言的写作和数学领域,衡量行为保真度和对指导的响应能力;在这些领域,StudentSim 的表现均优于领先基线。在一项国际象棋辅导研究中,使用 StudentSim 反馈进行训练的准确率达到 90.5%,而不使用强化学习时为 75.7%,使用 GPT-5.4 反馈时为 71.6%;对真实学习者开展研究仍不可或缺,论文和代码均已公开。

    推荐理由:同时评估模拟学习者的起始能力及其对指导的反应,为评估辅导反馈提供了一种具体方法,评估范围超越了解释本身是否正确。

10月11日周日
  1. 量子位88

    OpenAI发布两篇Kakeya猜想手稿,将工作扩展至四维

    10月7日,OpenAI发布了722份数学手稿,其中包括两篇关于Kakeya猜想的手稿:一篇97页的论文声称得到了比Wang和Zahl更强的三维极大函数结果,另一篇175页的论文声称解决四维Hausdorff维数情形。两篇均署名OpenAI,未经Lean形式化,也未经同行评审,且OpenAI的README称部分未形式化的结果可能存在缺陷。

    推荐理由:文章梳理了两篇OpenAI手稿如何将Wang和Zahl的三维Kakeya工作扩展为更强的极大函数版本并推广至四维,同时指出这些证明缺乏同行评审。

10月10日周六
  1. The Verge · AI88

    OpenAI 一次性放出近 400 项数学结果,数学家称需数年才能消化

    OpenAI 本周突然发布近 400 项 AI 生成的数学结果,分布在 700 多份手稿中,涵盖组合数学、几何、数论、理论计算机科学、代数、拓扑、概率与统计力学、数学物理等多个方向。

    推荐理由:通过数十位数学家的第一手反应,呈现OpenAI一次性放出近400项结果对学术生态与研究者职业路径的冲击。

10月8日周四
  1. Microsoft Research72

    微软研究院开源 Agent Lightning v1.0:3500 行轻量级智能体 RL 框架,支持真实 harness 训练

    微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的轻量级智能体 RL 框架,提出 Harnessed Agentic RL 范式,让部署时使用的同一 agent harness 直接参与强化学习,无需在训练框架内重新实现智能体。

    推荐理由:原文给出了框架的代码规模、Kubernetes 支持与训练配方,读者可据此判断真实 harness 参与 RL 的落地成本。

10月7日周三
  1. Latent Space88

    OpenAI 内部模型发布 722 篇数学论文,宣称解决 500 个公开数学难题中的 90 个

    OpenAI 通过博客、GitHub 仓库和推文发布了一批来自未公开内部前沿模型的数学成果,共 722 篇手稿、归入 372 个相关结果族,源自约 4000 个研究问题的评估,平均每个结果消耗约 3 小时 ChatGPT Pro 推理算力。

    推荐理由:OpenAI 用内部模型批量产出数学结果,读者可据此了解这批成果的规模、算力成本与外界质疑。

10月3日周六
  1. AI at Meta · X66

    Meta 发布六篇数学家与 Muse Spark 协作论文

    Meta 表示,在 AI 模型于数学、物理、化学五项竞赛取得金牌级表现后,其让数学家通过 meta.ai 聊天界面与 Muse Spark 1.1 和 1.2 的 Thinking Mode 协作,在无定制研究脚手架的情况下求解尚无现成路径的开放问题。

    推荐理由:Meta 公开六篇由数学家与 Muse Spark 协作完成的开放问题论文,并说明人机分工与评审流程。

  2. Hugging Face Blog62

    Ai2 开源 AstaBrief 8B 科学报告生成模型

    Ai2 开源 AstaBrief 8B,一个把研究问题和检索到的文献片段转成带引用报告的模型,基于 Qwen3-8B 经 SFT 和 DPO 训练,已作为 Asta 的 Fast 模式上线。

    推荐理由:原文给出 AstaBrief 的训练数据构造与引用过滤细节,可迁移到其他长文生成模型的落地。

10月2日周五
10月1日周四
  1. Hugging Face Blog62

    AI2 发布 Olmo-core 3:面向大型 MoE 的开源可扩展训练基础设施

    AI2 发布 Olmo-core 3,这是其大语言模型开发框架的一次重要升级,重新设计了开放的 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数级别并保持计算效率。

    推荐理由:原文给出了 MoE 训练栈的吞吐与显存对比数据,读者可据此判断大规模 MoE 训练的成本变化。

9月30日周三
  1. Google DeepMind62

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质嵌入水印

    Google DeepMind 推出 SynthID Bio,把水印技术带入合成生物学,将不可感知的签名直接嵌入生物代码,使水印不仅能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。

    推荐理由:SynthID 水印从图像扩展到合成生物,读者可了解 AI 生成蛋白质如何被标记与验证。

  2. NVIDIA Blog62

    NVIDIA 与 CoreWeave 将 Vera Rubin NVL72 投入生产,Cognition 为首家客户

    CoreWeave 宣布在 CoreWeave Cloud 上线 NVIDIA Vera Rubin NVL72 系统与 Spectrum-X 102.4T 以太网,成为首批交付该平台的云厂商之一,Cognition 是首个在生产环境运行 Vera Rubin 的客户。

    推荐理由:CoreWeave 上线 Vera Rubin NVL72 并公布 Devin 实测吞吐数据,可据此判断智能体编码负载的算力成本走向。

9月29日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Kumo Tabular 表格预测基础模型

    NVIDIA 发布开源表格基础模型 Kumo Tabular,给定带标签的表格行即可单次前向传播预测新行标签,覆盖分类与回归,无需训练、调参和特征工程。模型提供 28M 到 215M 三种规模,完全在人工合成表格上预训练,采用 OpenMDW-1.1 许可可商用,并在 TabArena、BeyondArena、TALENT 和 ScoringBench 四个基准上排名第一。

    推荐理由:原文给出模型规模、训练数据来源与四项基准排名,可据此判断表格基础模型的准确率与效率取舍。

  2. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,从缩小搜索空间到选出候选验证只用了一个周末。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

  3. 量子位82

    AMD 以 82 亿美元全股票收购李飞飞 World Labs,李飞飞将任首席科学家

    AMD 宣布以 82 亿美元全股票收购李飞飞的 World Labs,交易预计 2026 年底前完成,仍须取得监管批准。交割后李飞飞将加入 AMD 担任执行副总裁兼首席科学家,直接向苏姿丰汇报,联合创始人 Justin Johnson 和 Ben Mildenhall 继续带领团队并入 AMD。

    推荐理由:交易细节与双方一年半的合作脉络被完整梳理,读者可据此理解芯片厂商为何要买下空间智能团队。

9月24日周四
  1. NVIDIA Blog60

    NVIDIA 与 Google DeepMind 等联合开放 2800 多种病毒的蛋白复合物预测结构

    NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构,通过 AlphaFold Database 开放 2800 多种病毒的蛋白复合物预测 3D 结构,供任何科学家免费使用。

    推荐理由:NVIDIA 与 Google DeepMind 等联合开放 2800 多种病毒的蛋白复合物预测结构,读者可了解开放科学在疫情准备中的具体做法。

9月22日周二
9月16日周三
  1. NVIDIA Blog62

    NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能

    NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果,在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍,在 DeepSeek-R1 上最高达 2.5 倍。

    推荐理由:MLPerf Inference v6.1 结果给出 Vera Rubin NVL72 与 GB300 NVL72 的吞吐、扩展效率和软件优化幅度,可用于判断推理基础设施的性价比走向。