
Reflection 発の Beam が Hugging Face に登場しました!米国の新たな研究所である Reflection が手掛ける初のモデルであり、完全にオープンソース化されています。総パラメータ数 501B(トークンあたりのアクティブパラメータ数 23B)の Mixture of Experts(MoE)モデルで、テキスト入力をサポートし、1M トークンのコンテキストウィンドウを備え、Apache 2.0 ライセンスの下で公開されています。 Beam はコード生成と*エージェント(Agent)*のユースケースに特化しています。独自のハードウェア、自社インフラ、またはクラウド上でフロンティア規模のモデルを実行し、自社のユースケースに合わせてカスタマイズしたいチーム向けに設計されました。さらに、モデルの性能を最大限に引き出す専用のオープンソース Rust 製ハーネス(harness)も付属しています。
Beam は transformers にネイティブ対応しており、vLLM や SGLang などのダウンストリームライブラリでもサポートされています。私たちは Reflection チームと密接に連携し、このモデルをベースにした開発を容易にする推論、SFT(教師ありファインチューニング)、RL(強化学習)のソリューションを提供します。transformers、SGLang、vLLM の Day-0 サポートに加え、本記事では実行方法、事後学習(ポストトレーニング)の方法、そして実際に構築したデモについて紹介します。
TL;DR(概要)
- 501B パラメータの MoE 大規模言語モデル。トークンあたり 23B パラメータがアクティブ化。52 層で構成され、各 MoE 層に 256 個のエキスパートを配置、トークンごとに 8 個のエキスパートへルーティング。
- テキスト入力・テキスト出力対応、1M トークンのコンテキストウィンドウ。
- 重みフォーマット:BF16、FP8、NVFP4。
- ターンをまたいでコンテキスト内の思考プロセスを保持可能(
preserve_thinking)、専用構文によるツール呼び出し(tool calling)に対応。推論の深度(thinking strength)は「low(低)」「medium(中・デフォルト)」「high(高)」「xhigh(超高)」「max(最大)」の 5 段階を設定可能。- トークナイザー(tokenizer)にレスポンステンプレートを内蔵。
- DFlash2 ベースの投機的デコーディング(speculative decoding)ドラフトモデル。
- Day-0 サポートライブラリ:transformers、SGLang、vLLM。Miles を用いたフルパラメータ強化学習に対応。
- Rust 製のカスタムハーネス(custom harness)が付属。
- Apache 2.0 ライセンス。
Beam を使った構築
Reflection は、Beam を活用した優れたプロジェクトに対して 10,000 ドル分の Hub クレジットを提供します。参加方法は、プロジェクトを作成して Hub 上で共有するだけです:
- Spaces 上で Beam モデルを使用したデモを作成する
- お好みのハードウェア向けにモデルを量子化する