NVIDIA Nemotron オープンモデルを活用したハロウィンのお化け屋敷づくり
というか、むしろ……
「わっ!さあ、とっとと俺の芝生から出て行け!」
要約(TL;DR): MonsterHouse は、ハロウィンのために制作したインタラクティブなプロジェクションプロジェクトです。「トリック・オア・トリート」にやって来た子どもたちの声に耳を傾け、気難しくて不機嫌な老海賊船のような声で応答しますが、訪問者が礼儀正しく接すると態度を和らげます。本プロジェクトは NVIDIA Nemotron ボイスエージェント(Voice Agent) をベースに構築され、NVIDIA Nemotron ASR、Nemotron 3.5 Bolt E4B 4GB、Magpie TTS Zeroshot、Audio2Face-3D を統合し、すべて1台のワークステーション上で稼働しています。
ハロウィンに我が家を訪れる子どもたちに、ユニークで楽しい体験をしてもらいたいと考えました。家自体が主導して子どもたちと会話し、お菓子を配るという仕組みですが、怖がらせるというよりは、少し不機嫌で小言が多いキャラクターに仕上げています。気づけば、ガレージドアに大きな口を取り付け、憎まれ口を叩く術を教え込むという解決策に行き着いていました。
こうして誕生したのが「MonsterHouse」です。海賊の昔話を語り尽くし、燃え盛るような笑みを浮かべ、訪問者からの「お願いします(Please)」という一言にはめっぽう弱い、一風変わった古い建物です。NVIDIA Nemotron ボイスエージェント(Nemotron Voice Agent) が会話の基盤フレームワークを提供しています。Nemotron Speech が聞き取り役を務め、Bolt E4B が頭脳として機能し、NVIDIA Magpie TTS Zeroshot がリアルタイム音声を生成、そして NVIDIA Audio2Face-3D が木製の口をリアルかつ生き生きと動かして話させます。
Monster House の仕組み
- 聴覚(Listening): NVIDIA Nemotron Speech ASR が訪問者の音声をテキストに変換します。[確認済み:
nemotron-speech-streaming-en-0.6b.q8_0.gguf]- 思考(Thinking): 対話エージェント向けに設計されたオープンソースのエッジ向け小型言語モデル(SLM)である NVIDIA Nemotron 3.5 Bolt E4B 4GB が、すべての返答を生成します。LoRA ファインチューニングの重みによって独特のキャラクター性が与えられています。
- 発声(Speaking): NVIDIA Magpie TTS Zeroshot が、キャラクターの短いリファレンス音声サンプルを基に合成音声を生成します。
- アニメーション(Animating): NVIDIA Audio2Face-3D が、クリアな音声から Unreal Engine 5 内の口元アニメーションを生成します。
- 視覚(Seeing): NVIDIA Nemotron 3 Nano Omni がハロウィンの仮装を認識・描写し、YOLO と ByteTrack を組み合わせて訪問者のカウントとトラッキングを行います。
- システム実行(Running it): NVIDIA Nemotron ボイスエージェント(Voice Agent) が、NVIDIA RTX PRO 6000 Blackwell Max-Q 1枚と NVIDIA RTX PRO 4000 Blackwell 1枚を搭載した1台のワークステーション上で全コンポーネントをオーケストレーションします。
棘だらけの不敵な笑み
口元づくりが最初のステップでした。木製ガレージドアの板が裂けて不揃いな唇となり、呪われた大口を開けるたびに、内側から漏れる業火が車道を照らし出す情景を思い描きました。古めかしく表情豊かでありながら、訪問者がやって来たことに対して少し腹を立てているような風貌に見せる必要がありました。

