跳转到内容
主站 新闻 控制台

Nemotron 万圣节

· Hugging Face
教程模型卡

利用 NVIDIA Nemotron 开源模型打造万圣节鬼屋

或者应该说是……

哇!现在赶紧从我的草坪上滚开!

图片 7: 博客缩略图

核心要点(TL;DR): MonsterHouse 是我为万圣节制作的一个交互式投影项目。它会倾听前来“不给糖就捣蛋”(trick-or-treat)的孩子们说话,用一艘脾气暴躁的老海盗船的嗓音进行回答,而当访客表现出礼貌时,它的态度又会软化下来。该项目基于 NVIDIA Nemotron 语音智能体(Voice Agent) 构建,集成了 NVIDIA Nemotron ASR、Nemotron 3.5 Bolt E4B 4GB、Magpie TTS Zeroshot 和 Audio2Face-3D,全部运行在单台工作站上。

我想让万圣节来我家的孩子们以一种有趣且独特的方式进行互动。这栋房子将负责主导互动并分发糖果,但比起吓人,它更偏向于傲娇爱抱怨。不知不觉中,我的解决方案就是给车库门装上一张大嘴,并教会它如何吐槽。

这就是 MonsterHouse 的由来:一座满肚子海盗故事、挂着烈焰笑容、对“请”字毫无抵抗力的古怪老建筑。NVIDIA Nemotron 语音智能体(Nemotron Voice Agent) 提供了对话基础框架。Nemotron Speech 负责倾听,Bolt E4B 充当大脑,NVIDIA Magpie TTS Zeroshot 生成实时语音,而 NVIDIA Audio2Face-3D 则负责驱动木质嘴部进行生动的开合说话。

视频 1

Monster House 的工作原理

  • 听觉(Listening): NVIDIA Nemotron Speech ASR 将访客的语音转化为文本。[已确认:nemotron-speech-streaming-en-0.6b.q8_0.gguf ]
  • 思考(Thinking): NVIDIA Nemotron 3.5 Bolt E4B 4GB(一款专为对话智能体设计的开源端侧小语言模型)负责生成每一句回复。LoRA 微调权重赋予了它独特的个性。
  • 发声(Speaking): NVIDIA Magpie TTS Zeroshot 根据角色的简短参考音频样本,生成对应的合成语音。
  • 动画(Animating): NVIDIA Audio2Face-3D 将清晰的语音转化为虚幻引擎 5(Unreal Engine 5)中的嘴部动画。
  • 视觉(Seeing): NVIDIA Nemotron 3 Nano Omni 负责识别并描述万圣节装扮,同时结合 YOLO 和 ByteTrack 对访客进行计数与追踪。
  • 系统运行(Running it): NVIDIA Nemotron 语音智能体(Voice Agent) 在配备有一张 NVIDIA RTX PRO 6000 Blackwell Max-Q 和一张 NVIDIA RTX PRO 4000 Blackwell 的单台工作站上统筹调度所有组件。

满是木刺的咧嘴大笑

嘴巴是第一步。我设想木制车库门的木板裂开成为参差不齐的嘴唇,每当它张开那张受诅咒的大嘴时,从内部透出的地狱烈焰便会照亮车道。它需要看起来既古老、富有表现力,同时又对访客的出现表现出一种轻微被冒犯的不悦。

图片 8: 火焰大嘴_一座房子的几种表情,带有…