跳转到内容
主站 新闻 控制台

Granite Switch 4.1:单一端点集成对话、决策与语音

· Hugging Face
教程模型卡

去年春季推出的 Granite Switch 项目开创了一种模块化的模型开发方法。如今,Granite Switch 4.1 模型配备了决策适配器(Decision adapter)以及 OpenASR 排行榜上速度最快的 ASR 模型,能够在自然语言响应、通用与专用决策以及语音转文字(ASR)任务之间高效切换——所有这一切都只需单个托管端点(hosted endpoint)即可完成。

granite_switch_adapter_swap

具体而言,Granite-Switch-4.1-8B 和 -30B 模型的配置包含:

这三项技术(连同底层的基座模型)组合成一个模型,在 GPU 上占用的显存(VRAM)几乎与基座模型单独运行时相同。这意味着用更少的 GPU 即可实现更多的能力。

而且,由于 Switch 适配器被构建为高缓存效率的激活 LoRA(Activated LoRAs),由基座模型生成时创建的 KV 缓存(KV cache)可以复用于后续任何基于适配器的决策。结合我们团队近期对 vLLM 的贡献(加速低秩适配器推理)以及同位部署的 ASR 编码器,Granite Switch 4.1 模型能够在对话请求、决策请求和语音请求之间以极快的速度自由切换。

欢迎体验我们的 Speech-to-Decisions HF 空间,在该空间中,granite-switch-4.1-8b 能够实时在单个端点上完成音频转录、摘要生成、有害内容筛查以及测试另外 15 个用户自定义标识。

Granite Libraries:初代决策模型

决策模型并不是新鲜事物。我们此前发布的 Granite Libraries 就包含了一系列专用的“决策模型”适配器以及其他专用任务适配器,它们可以组合成定制的 Granite Switch 模型。虽然 Jev 和其他闭源决策模型侧重于通用性,但我们发现,许多专用的 granitelib 适配器在特定分类任务上的表现往往能够超越通用模型。

在此对比 granitelib 适配器 与通用决策模型在专用分类任务上的评估表现。

由于适配器共享基座模型的 KV 缓存,在通用决策适配器的基础上引入专用适配器几乎无需额外开销。你既能从通用模型中获得广泛的覆盖面,又能在重点关心的任务中借助专用模型获得更高的准确率。

在 Granite-Switch-4.1-30B(冻结的 Granite 基座 + 4 个专用 aLoRA)与 Jev-27B(冻结的 Qwen 基座模型 + 1 个通用决策 LoRA)的“竞速赛”中,Granite-Switch-4.1-30B 完成一个真实世界的 5 步 RAG 工作流的速度远超其竞争对手。

构建并扩展你自己的 Granite Switch 模型

Granite-Switch-4.1-8B 和 -30B 属于“开箱即用(batteries included)”的版本。它们是我们预先编译并集成了一组实用适配器的 Granite Switch 模型。但你并非只能使用我们提供的版本。任何人都可以构建自己的 Granite Switch 模型,从 Granite Libraries 中自由混搭组合适配器,以最大程度满足自身需求。

展望未来,我们看到了社区通过自定义及第三方适配器来构建和扩展 Granite Switch 模型的巨大机遇。我们计划发布用于在 Mellea 中训练适配器的 Adapter SDK,并提供相关教程以及 Granite Switch 支持。这些适配器既可以是用于增强基于决策的工作流的专用分类适配器,也可以是用于专用语言任务的适配器。你甚至可以使用自定义适配器来教会一个 3B 参数版本的 Granite 游玩经典游戏《毁灭战士》(Doom)。

与 Jev 类似,我们定制的 3B 参数 Granite Switch 模型能够做出瞬间决策来操控《毁灭战士》游戏,但其决策速度可达 每秒 60 到 100 次决策,而 Jev 据报道仅为每秒 10 次决策。1 与 Jev 不同的是,该 Granite Switch 模型还可以在游玩的同时进行解说并回答你的问题。

我们期待在接下来的几周内发布更多关于 Granite Switch 的细节和数据。在此之前,我们鼓励你上手体验最新的 Switch 模型以及以下帮助快速入门的实用资源。

入门资源

脚注

1 https://typesafe.ai/blog/introducing-system-one-models-and-jev