跳转到内容
主站 新闻 控制台

Palette:教小模型按你的设计语言制作幻灯片

· Hugging Face
教程模型卡

向顶尖的前沿模型(frontier model)索要一份幻灯片演示文稿(slide deck),你通常会得到一份不错的作品。但如果让它生成十份,它们就会开始变得千篇一律:同样富有品位的默认设置、同样的内置风格,隐约散发着一股“AI 生成 PPT”的味道。这在平时倒无所谓,直到你希望演示文稿符合你自己的模板风格时,问题就来了。前沿模型都有其固有的内置风格,无论怎样编写提示词(prompting),都无法阻止它们漂移回原有的样式。此外,有时演示内容涉及机密,根本无法离开你的本地系统。

这两点都指向了同一个解决方案:拥有一个属于你自己的模型——开放权重、运行在自有基础设施上,并基于你自己的设计语言进行训练。但难点在于,那些你真正愿意自行托管的小型开源模型在这方面表现很糟糕。它们生成的演示文稿往往漏洞百出:标题融入背景中消失不见、文字超出幻灯片边界、形状杂乱地层叠在一起。

Palette 正在验证一个设想:一个基于你自有设计语言的合成数据训练而成、并由测试框架(harness)进行校验的小型开源模型,能够在保证你完全拥有输出成果的同时,与前沿模型系统相抗衡。我们对一个 20B(200 亿参数)的模型进行了微调,让它模仿人类的制作方式来构建演示文稿:由设计师负责规划演示文稿,由程序员负责绘制每一页幻灯片。其训练数据遵循 IBM 设计语言(IBM Design Language),在 PresentBench 基准测试中,它在我们评估的三个领域中的两个均名列第一。本文将介绍我们如何合成数据、训练该模型,并围绕其构建校验与修复框架。

为什么小型模型很难做好演示文稿

幻灯片演示文稿看似简单,但制作一份演示文稿却要求模型完成三项小型模型并不擅长的事情:

在“看不见”画面的情况下进行幻灯片排版。 模型并不是直接绘制幻灯片,而是通过编写代码,将每个元素定位到特定的 x、y 坐标、宽度和字号。一个 75 个字符的标题在 56pt 字号下是否能排进两行,需要模型在“脑海”中进行算术推演,而且只有在代码渲染之后,它才能发现自己是否算错。小型模型经常算错,这也就是形状重叠和文字溢出幻灯片的原因。

需要同时做出两类截然不同的决策。 决定每页幻灯片的内容以及如何展现(是用图表还是表格?删减哪些内容?)属于编辑判断(editorial judgment);而对其进行精确排版定位则属于几何学问题。单次推理必须在 10 到 20 页幻灯片中同时处理好这两类决策,还要保持调色板、排版字体以及整体布局的一致性。

缺乏展示演示文稿制作过程的数据。 现成的演示文稿有很多,但缺乏解释设计抉择背后的依据或生成这些演示文稿的代码。

像人类一样构建:设计师与程序员的协同

没有人能一蹴而就地做好一份演示文稿。你总是先梳理叙事脉络(共有多少页、每页讲什么、哪页放图表、哪页放表格),然后再去逐页构建。Palette 也以同样的方式拆分工作,通过单个 LoRA 适配器(adapter)承担两个角色:

  • 设计师:阅读规划大纲并编写结构化的 JSON 任务摘要(brief),内容包括:调色板、字体排印规范(type system),以及每页幻灯片的布局、确切内容和简短的设计依据。
  • 程序员:从摘要中获取单页幻灯片的规范,并在给出推理过程之后,编写用于绘制该幻灯片的 pptxgenjs JavaScript 代码。

至此,每个角色只需做出