NVIDIA 与 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1 及开放数据生成流程
NVIDIA 与 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1,涵盖 22 种印度语言、约 2.8 万亿个 token,并将很快与其开放式 GPU 加速生成流程一同发布。该语料库包含全部 22 种语言的本土文字文本,以及 12 种语言的罗马化文本;这些文本由精选英文来源翻译而来,并经过质量检查和来源追溯。一个印度语系继续预训练阶段提升了五项已报告基准的成绩,但该阶段混合了合成数据与自然数据,因此这项比较无法单独确定该语料库的贡献。
推荐理由:该流程通过将翻译、质量评估、修复和文字系统转换分开,同时保留与源文档的链接,为多语言数据生成提供了一种可复用的方法。
