涵盖 22 种语言的原生文字数据、12 种语言的罗马化数据,以及一个用于翻译、质量评估和修复的可复用 GPU 加速流水线。
作者: AI4Bharat — Mohammed Safi Ur Rahman Khan, Mitesh Khapra, Anoop Kunchukuttan。NVIDIA — Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen, Utkarsh Vaidya。
我们非常高兴地推出 Nemotron-pretraining-Indic-v1,这是一个涵盖 22 种印度语言、约 2.8 万亿 Token 的数据集,即将与其构建所使用的**开源 GPU 加速数据生成流水线(data generation pipeline)**一同发布。这 22 种语言均列于《印度宪法》中:首批语言……