去年春季推出的 Granite Switch 项目开创了一种模块化的模型开发方法。如今,Granite Switch 4.1 模型配备了决策适配器(Decision adapter)以及 OpenASR 排行榜上速度最快的 ASR 模型,能够在自然语言响应、通用与专用决策以及语音转文字(ASR)任务之间高效切换——所有这一切都只需单个托管端点(hosted endpoint)即可完成。
具体而言,Granite-Switch-4.1-8B 和 -30B 模型的配置包含:
-
用于通用决策的新型 Decision aLoRA(例如 v1/systemone);
-
专用的 Guardian aLoRA,在安全相关决策任务中的平均表现优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash;以及
-
嵌入用于转录任务的 Granite-Speech-5.0-Turbo-CTC,它是 OpenASR 排行榜上速度最快的 ASR 模型。
这三项技术(连同底层的基座模型)组合成一个模型,在 GPU 上占用的显存(VRAM)几乎与基座模型单独运行时相同。这意味着用更少的 GPU 即可实现更多的能力。
而且,由于 Switch 适配器被构建为高缓存效率的激活 LoRA(Activated LoRAs),由基座模型生成时创建的 KV 缓存(KV cache)可以复用于后续任何基于适配器的决策。结合我们团队近期对 vLLM 的贡献(加速低秩适配器推理)以及同位部署的 ASR 编码器,Granite Switch 4.1 模型能够在对话请求、决策请求和语音请求之间以极快的速度自由切换。
欢迎体验我们的 Speech-to-Decisions HF 空间,在该空间中,granite-switch-4.1-8b 能够实时在单个端点上完成音频转录、摘要生成、有害内容筛查以及测试另外 15 个用户自定义标识。
Granite Libraries:初代决策模型
决策模型并不是新鲜事物。我们此前发布的 Granite Libraries 就包含了一系列专用的“决策模型”适配器以及其他专用任务适配器,它们可以组合成定制的 Granite Switch 模型。虽然 Jev 和其他闭源决策模型侧重于通用性,但我们发现,许多专用的 granitelib 适配器在特定分类任务上的表现往往能够超越通用模型。
在此对比 granitelib 适配器 与通用决策模型在专用分类任务上的评估表现。
由于适配器共享基座模型的 KV 缓存,在通用决策适配器的基础上引入专用适配器几乎无需额外开销。你既能从通用模型中获得广泛的覆盖面,又能在重点关心的任务中借助专用模型获得更高的准确率。
在 Granite-Switch-4.1-30B(冻结的 Granite 基座 + 4 个专用 aLoRA)与 Jev-27B(冻结的 Qwen 基座模型 + 1 个通用决策 LoRA)的“竞速赛”中,Granite-Switch-4.1-30B 完成一个真实世界的 5 步 RAG 工作流的速度远超其竞争对手。
构建并扩展你自己的 Granite Switch 模型
Granite-Switch-4.1-8B 和 -30B 属于“开箱即用(batteries included)”的版本。它们是我们预先编译并集成了一组实用适配器的 Granite Switch 模型。但你并非只能使用我们提供的版本。任何人都可以构建自己的 Granite Switch 模型,从 Granite Libraries 中自由混搭组合适配器,以最大程度满足自身需求。
展望未来,我们看到了社区通过自定义及第三方适配器来构建和扩展 Granite Switch 模型的巨大机遇。我们计划发布用于在 Mellea 中训练适配器的 Adapter SDK,并提供相关教程以及 Granite Switch 支持。这些适配器既可以是用于增强基于决策的工作流的专用分类适配器,也可以是用于专用语言任务的适配器。你甚至可以使用自定义适配器来教会一个 3B 参数版本的 Granite 游玩经典游戏《毁灭战士》(Doom)。
与 Jev 类似,我们定制的 3B 参数 Granite Switch 模型能够做出瞬间决策来操控《毁灭战士》游戏,但其决策速度可达 每秒 60 到 100 次决策,而 Jev 据报道仅为每秒 10 次决策。1 与 Jev 不同的是,该 Granite Switch 模型还可以在游玩的同时进行解说并回答你的问题。
我们期待在接下来的几周内发布更多关于 Granite Switch 的细节和数据。在此之前,我们鼓励你上手体验最新的 Switch 模型以及以下帮助快速入门的实用资源。
入门资源
-
在 Colab 上创建你自己的 aLoRA 与 LoRA 竞速对比。
脚注
1 https://typesafe.ai/blog/introducing-system-one-models-and-jev
