跳转到内容
主站 新闻 控制台

欢迎 Muse Spark Open:来自 Meta 的前沿开源权重多模态混合专家(MoE)模型

· Hugging Face
教程模型卡

Muse Spark Open 是 Meta 推出的一款开源权重(open-weight)模型。该混合专家(Mixture of Experts, MoE)模型将文本、图像、音频和视频整合到一个包含约 8160 亿(816B)参数的模型中,每个 token 激活约 420 亿(42B)参数,上下文窗口最高可达 100 万(1M)token。它支持文本生成,为开发者针对不同类型的输入进行提问提供了统一的接口。 继 Muse Glimmer 之后,Muse Spark Open 引入了更大规模的混合专家架构,是迄今为止美国性能最强大的开源权重模型。

Meta 训练 Muse Spark Open 专注于智能体编程(agentic coding):阅读代码库、编写与调试代码以及调用工具。它还支持输入图像、音频和视频,因此同一个模型在处理代码的同时,还可以查看屏幕截图、收听语音备忘录或观看录屏。本文将向你展示如何运行该模型、如何对其进行微调,以及我们用它构建了什么。

整体能力与架构

Meta 将 Muse Spark Open 描述为一个针对代码优化的模型,基于真实开发者的工作流(如多文件重构和长时间调试会话)进行训练。Muse Spark Open 是一款以智能体为核心的模型,能够在长任务中进行规划、行动、观察和自我纠错,包括结合图像进行网页浏览。

特性Muse Spark Open
模型规模总参数量约 816B;每个 token 激活约 42B
专家路由每个 MoE 层包含 256 个专家;每个 token 选取 8 个
输入文本、图像、音频和视频
输出文本
上下文窗口最高 1M token
检查点格式BF16 和 NVFP4

检查点仓库为 Muse-Spark-Open-816B-