Muse Spark Open 是 Meta 推出的一款开源权重(open-weight)模型。该混合专家(Mixture of Experts, MoE)模型将文本、图像、音频和视频整合到一个包含约 8160 亿(816B)参数的模型中,每个 token 激活约 420 亿(42B)参数,上下文窗口最高可达 100 万(1M)token。它支持文本生成,为开发者针对不同类型的输入进行提问提供了统一的接口。 继 Muse Glimmer 之后,Muse Spark Open 引入了更大规模的混合专家架构,是迄今为止美国性能最强大的开源权重模型。
Meta 训练 Muse Spark Open 专注于智能体编程(agentic coding):阅读代码库、编写与调试代码以及调用工具。它还支持输入图像、音频和视频,因此同一个模型在处理代码的同时,还可以查看屏幕截图、收听语音备忘录或观看录屏。本文将向你展示如何运行该模型、如何对其进行微调,以及我们用它构建了什么。
整体能力与架构
Meta 将 Muse Spark Open 描述为一个针对代码优化的模型,基于真实开发者的工作流(如多文件重构和长时间调试会话)进行训练。Muse Spark Open 是一款以智能体为核心的模型,能够在长任务中进行规划、行动、观察和自我纠错,包括结合图像进行网页浏览。
| 特性 | Muse Spark Open |
|---|---|
| 模型规模 | 总参数量约 816B;每个 token 激活约 42B |
| 专家路由 | 每个 MoE 层包含 256 个专家;每个 token 选取 8 个 |
| 输入 | 文本、图像、音频和视频 |
| 输出 | 文本 |
| 上下文窗口 | 最高 1M token |
| 检查点格式 | BF16 和 NVFP4 |
检查点仓库为 Muse-Spark-Open-816B-