本日、私たちは Hugging Face 上で2つの新しいエンコーダーモデル、LFM2.5-Encoder-230M と LFM2.5-Encoder-350M をリリースしました。これらは、より大きなモデルと同等の品質を維持しながら、入力が長くなっても高速性を保ちます。つまり、既存のハードウェアでドキュメントレベルのタスクを実行でき、CPU のみでも動作可能です。
得られるメリットは以下の通りです：
- 軽量ながら強力： GLUE、SuperGLUE、および多言語タスクにおいて、より大きなエンコーダーに匹敵、あるいはそれを上回る性能を発揮します。
- 8,192 トークンのコンテキスト長に対応し、入力が長くなっても遅延の増加は非常に緩やかです。
- CPU 上で高速： 長いコンテキストにおいて、ModernBERT-base よりも約3.7倍高速です。
これらのモデルを使用することで、インテントルーター、ポリシーチェッカー、PII（個人情報）検出器、テキスト分類器などを、低コストかつ24時間365日稼働で構築できます。以下でオンラインデモをご覧いただけます。
なぜ汎用エンコーダーを構築するのか
先月、私たちは多言語検索用の LFM2.5-Retrievers をリリースしました。LFM2.5-Encoders は同じファミリーに属しますが、より幅広い用途に対応しています。これらは masked language objective（マスク言語モデル化目的）で事前学習されているため、分類、トークンレベルのタスク、および検索向けに微調整（ファインチューニング）できます。検索はエンコーダーの能力の一部にすぎず、これが私たちがリトリーバーを再利用するのではなく、汎用モデルを構築した理由です。
エンコーダーは、分類器、インテントルーター、セキュリティフィルターなど、多くの現代的な本番環境レベルの NLP アプリケーションを支えています。これらのタスクは通常、終日実行され、一般的に CPU 上にデプロイされ、入力の長さも増加し続けています。BERT がこの種のモデルの基礎を築き、最近の ModernBERT は精度、速度、コンテキスト長をさらに向上させました。LFM2.5-Encoders は LFM2 アーキテクチャに基づいて次のステップを踏み出しており、入力が増加してもコストは緩やかにしか上昇しません。
エンコーダーはどのように構築されているか
私たちは、それぞれの LFM2 デコーダーバックボーンである LFM2.5-230M と LFM2.5-350M からエンコーダーを初期化しました。その後、いくつかの変更を加えることで、各因果デコーダー（causal decoder）を双方向エンコーダー（bidirectional encoder）に変換しました：
- 双方向アテンションマスク： 各トークンは、前方のトークンだけでなく、左右両側のトークンを参照できるようになりました。
- 非因果的ショート畳み込み（Non-causal short convolution）： 対称パディングを採用し、各トークンの畳み込みが左右の隣接する情報を融合できるようにしました。
- Masked language modeling（マスク言語モデリング）： 学習時、トークンの 30% にマスクをかけます。
私たちはこれら2つのモデルを2つのステージで学習させました：
- 汎用言語能力： 大規模なウェブコーパスにおいて、1,024 トークンのコンテキスト長で短コンテキストの masked language 目的の学習を行います。
- 長コンテキストへの適応： コンテキストを 8,192 トークンに拡張し、完全なデータミックスで学習を行うことで、事実、法律、および多言語の能力を強化します。
評価結果
私たちは各タスクに対して完全な微調整を行い、最終スコアを報告しています。表全体には、14のモデルと、GLUE、SuperGLUE、および多言語分類からの17のデータセットタスクが含まれています。
5つの異なるランダムシードにおける平均値を報告しているため、結果は実行間で安定しています。完全なフレームワークと元の結果は オープンソース として公開されています。
LFM2.5-Encoder-350M は14のモデル中4位にランクインしました。上位3つのモデルはいずれもより大きく、その中には約10倍の規模にあたる35億パラメータのモデルも含まれています。LFM2.5-Encoder-230M は、ModernBERT-base およびすべての EuroBERT モデルを上回るパフォーマンスを示し、同時にそれらの大半よりも軽量です。また、両モデルとも、ここでのスコアは自社の LFM2.5-Retrievers を大幅に上回っています。
CPU および GPU 上での推論速度
私たちのエンコーダーは、LFM2 バックボーンの高速な推論能力を引き継いでいます。私たちのエンコーダーと ModernBERT はどちらも 8,192 トークンのコンテキスト長をサポートしているため、全範囲で速度を測定しました。
私たちのエンコーダーは CPU 上で最も顕著な強みを発揮します。ここでは、LFM2.5-Encoder-230M がすべてのシーケンス長において最速です（短い入力であっても、より小さい ModernBERT-base より高速です）。入力長が増加するにつれて、ModernBERT のスループットは急激に低下しますが、私たちの LFM2.5-Encoders は中盤まで上昇した後に横ばいになります。8,192 トークンにおいて、ModernBERT-base は1回のフォワードパスに1分半以上かかりますが、LFM2.5-Encoder-230M は約28秒しかかかりません。これは約3.7倍高速です。開発者にとって、これはノート PC の CPU を使用して、30秒以内に関税契約書全体、完全な対話ログ、または非常に長いカスタマーサポートのチケットスレッドをスキャンまたは分類できることを意味します。
GPU 上でも同様の傾向が見られますが、その差は小さくなります。Apple GPU 上では、ModernBERT-base が約 1K トーク