发布于 2026 年 11 月 12 日
- 为什么不用 JSON?
- LLMON 与对话模板(Chat Templates)有什么关系?
- LLMON 如何应对提示词注入攻击
- 通用能力
- 我们是如何训练模型的
- 自带词表(ScienceWorld)
- 立即体验
大语言模型(LLM)依赖其上下文来生成下一组词元(token)。在长交互轨迹中,上下文会被多种类型的组件填满:系统提示词(system prompt)、历史对话轮次、作用于检索文档的指令、工具响应或用户数据、限制允许输出范围的要求,以及推理链。上下文承载着丰富的结构,但其中大部分对模型而言要么是隐式的,要么被编码为 JSON 等并非专为 LLM 消化而设计的格式。这是导致 LLM(尤其是参数规模较小的模型)表现脆弱、有时出现意外失效的主要原因之一。缺乏显式结构还可能被攻击者利用,例如发起提示词注入(prompt injections)攻击。
为了解决这一问题,我们开发了 LLMON(LLM Object Notation,发音为“lemon”),这是一种 LLM 原生的标记语言,旨在向模型显式传递结构和语义信息。语义连贯的组件会用有意义的标签进行标记,并包裹在保留的特殊词元(special-token)分隔符中。数据模式(Data schemas,包括嵌套结构)以一种对因果大语言模型(causal LLM)毫无歧义的方式进行声明。通过唯一 ID,模型可以指向位于上下文任意位置的特定指令,并将其与应处理的数据载荷(data payloads)进行绑定——这类似于编程语言中调用函数并向其传递参数的方式。
今天,我们发布两个衍生自 Granite 4.1 基座模型的实验性预览模型,它们经过专门训练,能够理解和生成带有 LLMON 标记的文本:granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview。同时,我们还开源了一个 GitHub 仓库,其中包含用于处理 LLMON 的工具包以及工作流和模板示例。
*它能实现什么: