https://arxiv.org/pdf/2609.12303
本論文では、トークン化(トークン処理)をスキップし、モデルが未加工のバイト列(raw bytes)を直接読み取るアーキテクチャを提案しています。これは実質的に、文字単位で1文字ずつ読み込むことに相当します。
彼らが行った取り組み:
- 小規模モデル(約10億 / 1B パラメータ)を学習。その一部はトークンベース、もう一部はバイトベースで構築
- 学習の一部は、より大規模なモデルからの借用/複製によって実施(ll
https://arxiv.org/pdf/2609.12303
本論文では、トークン化(トークン処理)をスキップし、モデルが未加工のバイト列(raw bytes)を直接読み取るアーキテクチャを提案しています。これは実質的に、文字単位で1文字ずつ読み込むことに相当します。
彼らが行った取り組み: