22言語の固有文字データ、12言語のローマ字転写データ、そして翻訳、品質評価、修正のための再利用可能なGPUアクセラレーションパイプラインを収録。
著者: AI4Bharat — Mohammed Safi Ur Rahman Khan, Mitesh Khapra, Anoop Kunchukuttan。NVIDIA — Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen, Utkarsh Vaidya。
このたび、22のインド諸語をカバーする約2.8兆トークンのデータセット「Nemotron-pretraining-Indic-v1」を公開できることを大変嬉しく思います。本作製に用いられた**オープンソースのGPUアクセラレーション対応データ生成パイプライン(data generation pipeline)**も併せてリリースされます。この22言語はすべてインド憲法に規定されている言語であり、最初の言語……