跳转到内容
主站 新闻 控制台

前沿实验室在买什么:对话 Handshake AI 深度剖析数据 —— Garrett Lord 及团队

· Latent Space
播客深度访谈

Handshake 在一年内从推出发展到 10 亿美元规模,不断拓展前沿实验室专业数据的边界。这是我们首次深入探访一家数据实验室,涵盖金融、生物与对齐(Alignment)领域的具体案例。

swyx .ai

11 月 9 日 · 164 分钟

在 YouTube 上打开视频 ↗

这是我们 Latent Space 首次深入探访一家 AI 数据公司。在短短大约一年时间里,Handshake 的 AI 训练业务从上线发展到了 10 亿美元年化总收入(gross annualized revenue)的规模。前沿实验室在以如此庞大的规模采购什么?在哪些评估基准(evals)上,模型仍远未达到人类水平?Garrett Lord 带上了构建这些强化学习环境(reinforcement learning environments)的团队成员,为我们现场展示。我们将首次进行实时实操演示!

为了涵盖 Handshake 庞大的业务范畴,我们不得不联合了科学、工程、研究、金融各领域的播客主持人制作了这期非常特别的联合播客,因为 Handshake 的业务横跨所有这些领域甚至更多。

在通用介绍之后,请关注以下三个板块:

  • 金融。 在金融演示中,智能体(agent)必须在银行的电子邮件中找到自己的任务,弄清楚哪些文件决定了这笔交易,并交付一个工作簿。注意看客户邮件中关于现有商誉(goodwill)的一行内容会发生什么。智能体把这个数字带入 Python 代码中并减去了它。Collin 指出,当你直接询问模型时,它是可以解释其税务处理方式的。错误发生在它必须识别出正是这行特定的代码需要应用该规则的时候。

  • 生物。 Nick Magazine 和 Jonas Mueller 为我们展示了 VIALS,这是 Handshake 用于解读科学家在工作中使用的图像的基准测试。Nick 在屏幕上展示了九张脑肿瘤组织切片,并询问哪两张显示出最严重的血管坏死(vessel necrosis)。在看他的答案之前,你可以自己先琢磨一下。Nick 选了 H 和 I。模型也选了这两张,但多选了一个 G。看 Nick 指出组织中缺失了什么,比单纯看分数更具启发性。

  • 编码。 在一个模拟的文件访问任务中,团队可以检查智能体读取了哪些文件、是否核对过副本,以及它事后对 Shell 历史记录做了什么操作。如果只看智能体最终回复的文本记录(transcript),就会错过 Steve Kelling 和 Nishant Ranka 所评估的大部分核心内容。

出席嘉宾

  • 🟣 AI 数据业务 — Garrett Lord、Sahil Bhaiwala 和 Nishant Ranka,在节目的开头和结尾探讨专家级数据市场。

  • 🌸 生命科学 — Nick Magazine 和 Jonas Mueller,在屏幕上展示凝胶电泳和脑组织切片任务。

  • 🟢 金融 — Collin Schweiker 和 Sahil Bhaiwala,带我们了解 Project Falcon 及其 Excel 自动评分器。

  • 🟠 对齐(Alignment) — Steve Kelling 和 Nishant Ranka,在安全模拟环境中追踪智能体的工具调用(tool calls)。

节目笔记

  • ATLAS-Finance — 探索这一专为在模拟银行的收件箱、文档和财务模型之间开展工作的智能体而设计的基准测试。

  • 银行内部实况 — Handshake 追踪了另一项已公开的交易“Project Osprey”,从客户邮件一直到评分决策的全过程。我们在访谈屏幕上看到的是 Project Falcon。

  • VIALS 样本任务 — 体验这些科学图像题目,包括本期节目中提到的凝胶电泳和脑组织任务。

  • Handshake 如何训练模型解读科学图表 — 该团队介绍了如何利用中间图像描述(intermediate image descriptions)来训练和评估视觉-语言模型(VLM)。

时间戳

0:00 深入了解 Handshake AI
0:39 Garrett、Sahil 和 Nishant 探讨前沿训练数据
5:15 如何为智能体构建银行环境
13:07 前沿实验室如何采购数据
15:51