コンテンツにスキップ
メインサイト ニュース コンソール

NVIDIA、MiniMax H3ベースの動画強化ソリューションをオープンソース化、最大4Kの再生成に対応

· 量子位
国内AI

NVIDIAとMITの研究チーム、Hugging Faceで動画高画質化プロジェクト「Open-H3-Regenerate-2K」のモデル重みを公開

NVIDIAとマサチューセッツ工科大学(MIT)の研究者らで構成されるEfficient-Large-Modelチームは先日、動画高画質化プロジェクト「Open-H3-Regenerate-2K」のモデル重みをHugging Faceで公開しました。対応する推論コードもNVlabs/Sanaリポジトリでオープンソース化されています。本手法はMiniMax H3をベースにしており、低解像度のドラフト動画を高解像度動画へと再生成することが可能です。2560×1440の2K出力をサポートし、最大で3840×2160のネイティブ4K再構築・生成に対応しています。

Image 3

MiniMax H3の完全なシステムには、マルチモーダルなコンテキスト処理、基礎的な動画・音声生成、および高解像度での再生成といったパイプラインが含まれています。そのうち、すでに重みがオープンになっているH3-Baseは768pの動画・音声生成を担い、公式のH3-Regenerate-2KモジュールはAPI経由で提供されています。今回公開されたプロジェクトは、H3ベースモデルの生成能力を活用し、高解像度の再生成パイプラインに対してローカル環境へのデプロイを可能にするオープンな実装ソリューションを提供するものです。

リファインモデルの学習フェーズにおいて、研究チームはH3 Transformerのバックボーンネットワークと動画VAEの既存パラメータを固定し、新規に追加したリファイン用LoRAのみを学習させました。推論フェーズでは、このリファイン用LoRAをLightX2V FL2VA TurboやLMS Sharpといったコミュニティのアダプターと統合し、3ステップのデノイズ処理によってターゲット解像度で映像の細部を再生成します。元のドラフト動画のシーン、構図、動きの各情報は、この処理における事前情報(プライア)として機能します。

推論効率向上のため、本プロジェクトではコミュニティが開発した潜在空間アップスケーラーを採用し、動画の潜在表現(Latent Representation)を直接拡大することで、高解像度処理に伴う反復的なエンコード・デコードのオーバーヘッドを回避しています。さらに、SoL-Engineのスパースアテンション機構、低精度演算、高速VAEデコーダーを組み合わせることで、リファイン処理およびデコード処理の全工程を大幅に高速化しました。

プロジェクトチームが公開したベンチマークテストによると、1基のNVIDIA B200 GPUおよびシステムウォームアップ後のテスト条件下において、約5秒の動画に対する潜在空間拡大・3ステップのリファイン・2Kデコードにかかる総処理時間は、未最適化バージョンの87.26秒から22.45秒へと短縮され、処理速度は約3.9倍に向上しました。なかでも高速デコーダーの導入により、従来約15秒かかっていた動画デコード時間は約1.6秒にまで圧縮されています。

画質の面では、プロジェクトチームはRefinerBench-150ベンチマーク上で比較評価を実施しました。同一の入力および同一の2K出力というテスト条件下において、Open-H3-Regenerate-2Kは知覚的品質評価ベンチマーク「UniPercept」で平均スコア60.0を獲得し、公式のH3-Regenerate-2K APIの53.4を上回りました。また「VBench」評価においても、本手法は美的品質、レンダリング品質、および被写体の一貫性のスコアで優位性を示しました。一方、公式APIは動きの滑らかさとダイナミックさの面でわずかにリードを維持しています。

MiniMax H3が今年8月に重みを公開して以降、同モデルをベースとしたファインチューニングや蒸留、ツールの適合化が急速に進み、国内外の数多くの研究チームやコミュニティ開発者が参加しています。初月のダウンロード数は2,400万回を突破し、300以上の公開派生モデルが生み出されるなど、2026年において世界で最もダウンロードされたモデルの一つとなっています。

その中でも、NVIDIAとMITが共同で行うH3関連の研究開発は多岐にわたる応用分野をカバーしています。今回の動画高画質化ソリューションに加え、同チームはこれまでにも、H3 Ref2VAをベースに構築されたストリーミング動画レンダリングモデル「StreamRender-H3」や、H3の動画VAEから蒸留された高速デコーダー「Sol-H3-VAE」を公開しており、それぞれインタラクティブな動画レンダリングやデコード効率の最適化を支援しています。

これまでに、LightX2Vがリリースした「MiniMax-H3 Turbo」では4ステップや8ステップなどの蒸留版が提供されており、コミュニティによるファインチューニングモデル「Singularity」は、モーション表現、顔のディテール、ビジュアルスタイルの最適化に重点を置いています。また、海外チームのFastVideoやPikaもそれぞれ、4ステップのプレビュー版「FastH3」や6ステップサンプリングを採用した「Pika H3 Flex」をリリースしています。さらに、ComfyUIやUnslothもモデル重みの統合や量子化バージョンのサポートを通じて、H3をより多くのローカルクリエイティブワークフローへと深く組み込んでいます。

#国内AI#4Allapi.com

4All API チームによる投稿

原文リンク:https://www.qbitai.com/2026/10/506743.html

主流 AI モデル API をお探しですか?4All API は OpenAI / Anthropic / Google Gemini / Qwen / DeepSeek など数十種類のモデルを単一の API キーで呼び出せます。公式準拠の価格、エンタープライズ品質の通信路、5 分で接続完了。

4All API コンソールに登録 →