コンテンツにスキップ
メインサイト ニュース コンソール

インド諸言語の事前学習を拡張:2.8兆トークンとオープンソースデータ生成パイプライン

· Hugging Face 翻訳済
教程模型卡

22言語の固有文字データ、12言語のローマ字転写データ、そして翻訳、品質評価、修正のための再利用可能なGPUアクセラレーションパイプラインを収録。
著者: AI4Bharat — Mohammed Safi Ur Rahman Khan, Mitesh Khapra, Anoop Kunchukuttan。NVIDIA — Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen, Utkarsh Vaidya。

このたび、22のインド諸語をカバーする約2.8兆トークンのデータセット「Nemotron-pretraining-Indic-v1」を公開できることを大変嬉しく思います。本作製に用いられた**オープンソースのGPUアクセラレーション対応データ生成パイプライン(data generation pipeline)**も併せてリリースされます。この22言語はすべてインド憲法に規定されている言語であり、最初の言語……