コンテンツにスキップ
メインサイト ニュース コンソール

Muse Spark Open へようこそ:Meta による最先端のオープンウェイト・マルチモーダル混合エキスパート(MoE)モデル

· Hugging Face 翻訳済
教程模型卡

Muse Spark Open は、Meta が公開したオープンウェイト(open-weight)モデルです。この Mixture of Experts(MoE:混合エキスパート)モデルは、テキスト、画像、音声、動画を約8,160億(816B)パラメータのモデルへと統合したもので、トークンあたりのアクティブパラメータ数は約420億(42B)、コンテキストウィンドウは最大100万(1M)トークンに達します。テキスト生成に対応しており、開発者がさまざまな種類の入力に対して問い合わせを行うための統一されたインターフェースを提供します。 Muse Glimmer に続き、Muse Spark Open はより大規模な Mixture of Experts アーキテクチャを導入し、現時点で米国発としては最も高性能なオープンウェイトモデルとなっています。

Meta は Muse Spark Open を、コードベースの読解、コードの作成・デバッグ、ツールの呼び出しといったエージェンティックコーディング(agentic coding)に特化してトレーニングしました。さらに画像、音声、動画の入力にも対応しているため、同一のモデルでコードを扱いながら、スクリーンショットの確認や音声メモの聞き取り、画面録画の視聴などを行うことができます。本記事では、このモデルの実行方法やファインチューニングの手順、そして私たちがこれを使って構築したものについて紹介します。

全体的な機能とアーキテクチャ

Meta は Muse Spark Open をコード向けに最適化されたモデルと位置づけており、複数ファイルのリファクタリングや長時間のデバッグセッションといった、実際の開発者のワークフローに基づいてトレーニングされています。Muse Spark Open はエージェントを核としたモデルであり、画像と組み合わせたウェブブラウジングを含め、長時間のタスクにおいて計画、行動、観察、自己修正を行うことができます。

機能 / 特性Muse Spark Open
モデル規模総パラメータ数 約816B、トークンあたりのアクティブパラメータ数 約42B
エキスパートルーティングMoEレイヤーあたり256エキスパート、トークンごとに8エキスパートを選択
入力テキスト、画像、音声、動画
出力テキスト
コンテキストウィンドウ最大 1M トークン
チェックポイント形式BF16 および NVFP4

チェックポイントのリポジトリは Muse-Spark-Open-816B-

#教程#模型卡#4Allapi.com

4All API チームによる投稿

原文リンク:https://huggingface.co/blog/meta-muse-spark-open

主流 AI モデル API をお探しですか?4All API は OpenAI / Anthropic / Google Gemini / Qwen / DeepSeek など数十種類のモデルを単一の API キーで呼び出せます。公式準拠の価格、エンタープライズ品質の通信路、5 分で接続完了。

4All API コンソールに登録 →