Hugging Face Blog·· 4 小时前精选AI 评分61
NVIDIA 与 AI4Bharat 将发布 Nemotron-pretraining-Indic-v1 及开放印度语数据生成管线
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI 导读
NVIDIA 联合 IIT Madras 及其 AI4Bharat 实验室宣布将发布 Nemotron-pretraining-Indic-v1，包含覆盖 22 种印度语言、约 2.8 万亿 token 的合成预训练语料，并开放 GPU 加速数据生成管线。
推荐理由
材料同时披露语料规模、语言覆盖和可复用生成流程，便于读者评估低资源语言预训练数据工程的可迁移做法。
来源：Hugging Face Blog · huggingface.co