
来自 Reflection 的 Beam 现已在 Hugging Face 上线!这是来自美国新实验室 Reflection 的首款模型,并且完全开源!它是一款混合专家(MoE)模型,总参数量达 501B(每个 token 激活 23B),支持文本输入,拥有 1M tokens 的上下文窗口,并基于 Apache 2.0 许可证发布。 Beam 专注于代码编写与 *Agent(智能体)*用例。它专为希望在自己的硬件、基础设施或云端运行前沿规模模型,并针对自身用例进行定制的团队而打造。Beam 还随附专属的开源 Rust 运行套件(harness),能够发挥出该模型的最佳性能。
Beam 拥有原生 transformers 实现,并获得了 vLLM 和 SGLang 等下游库的支持。我们与 Reflection 团队紧密合作,为您带来推理、SFT(监督微调)和 RL(强化学习)方案,方便您根据需求基于该模型进行构建。除了 transformers、SGLang 和 vLLM 的首日(day-0)支持之外,本文还将向您展示如何运行它、如何进行后训练,以及我们使用它构建了什么。
TL;DR(内容速览)
- 501B 参数 MoE 大语言模型,每个 token 激活 23B 参数。包含 52 层,每个 MoE 层 256 个专家,每个 token 路由至 8 个专家。
- 文本输入、文本输出,拥有 1M tokens 的上下文窗口。
- 权重格式:BF16、FP8 和 NVFP4。
- 支持跨轮次在上下文中保留推理过程(
preserve_thinking),以及带有专用语法的工具调用(tool calling)。该模型支持五种推理强度配置:“low”(低)、“medium”(中,默认)、“high”(高)、“xhigh”(超高)和 “max”(最大)。- 分词器(tokenizer)内置响应模板。
- 基于 DFlash2 的投机解码(speculative decoding)草稿模型。
- 首日支持库:transformers、SGLang、vLLM。支持使用 Miles 进行全参数强化学习。
- 随附基于 Rust 的定制化运行套件(custom harness)。
- Apache 2.0 许可证。
使用 Beam 构建
Reflection 将为使用 Beam 的优秀项目提供 10,000 美元的 Hub 额度。您所要做的就是打造一个项目,并分享到 Hub 上:
- 您可以在 Spaces 上制作一个使用 Beam 模型的演示 Demo
- 您可以针对您偏好的硬件对其进行量化