跳到正文
K = 0.731
原文
论文Hugging Face Blog当事人·· 1 天前精选

NVIDIA 与 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1 及开放数据生成流程

Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline

发生了什么

NVIDIA 与 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1，涵盖 22 种印度语言、约 2.8 万亿个 token，并将很快与其开放式 GPU 加速生成流程一同发布。该语料库包含全部 22 种语言的本土文字文本，以及 12 种语言的罗马化文本；这些文本由精选英文来源翻译而来，并经过质量检查和来源追溯。一个印度语系继续预训练阶段提升了五项已报告基准的成绩，但该阶段混合了合成数据与自然数据，因此这项比较无法单独确定该语料库的贡献。

推荐理由

该流程通过将翻译、质量评估、修复和文字系统转换分开，同时保留与源文档的链接，为多语言数据生成提供了一种可复用的方法。

NVIDIA 英伟达开源生态数据与训练论文研究#论文/研究#数据/训练#开源生态

继续阅读

最新日报 · 第 24 期NVIDIA 与 AI4Bharat 推出 Nemotron-pretraining-Indic-v1 及开放数据生成流水线

正在热议

  1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
  2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
  3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
  4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议

明早 08:00 把这样一份日报发到你邮箱

和上面这份一样：几件值得看的事。免费，点确认信之后才会开始发送，每封信都能一键退订。 看一份往期日报 · 2026-10-17