コンテンツにスキップ
メインサイト ニュース コンソール

Meta、トークンではなく生バイトを読み込む小型AIモデルを訓練:初期性能は劣るも最終的には上回ると論文が予測

· Reddit · r/LocalLLaMA 翻訳済
Reddit

https://arxiv.org/pdf/2609.12303

本論文では、トークン化(トークン処理)をスキップし、モデルが未加工のバイト列(raw bytes)を直接読み取るアーキテクチャを提案しています。これは実質的に、文字単位で1文字ずつ読み込むことに相当します。

彼らが行った取り組み:

  • 小規模モデル(約10億 / 1B パラメータ)を学習。その一部はトークンベース、もう一部はバイトベースで構築
  • 学習の一部は、より大規模なモデルからの借用/複製によって実施(ll