当你看不到数据时,如何构建法律智能体(Legal Agent)——专访 Legora CTO Jacob Lauritzen

Latent.Space
11月2日 · 67 分钟
Legora 无法查看其智能体(Agent)为律师处理任务时留下的任何一条运行追踪(Trace)记录。这些数据完全归律所的客户所有。当你看不到智能体的具体工作过程时,该如何去构建和测试它?
Jacob Lauritzen 是法律科技历史上增长最快的公司之一——Legora 的首席技术官(CTO)。该团队最初起步于斯德哥尔摩的一个地下室,当时仅凭 ChatGPT、瑞典法律数据和一个搜索工具。如今,律师可以使用 Legora 起草和编辑 Word 文档、在一张表格中审查 10,000 份合同,或是开展尽职调查(Due Diligence)。该智能体还能协调律师、客户以及其他智能体之间的工作。当 Legora 进行自身的技术收购时,团队正是使用自家产品完成的尽调。
对话核心亮点
• 为什么 Legora 多年来一直拒绝添加模型选择器(Model Picker),以及最终为何选择上线该功能
• Jacob 估计当前模型已经能很好地处理约 60% 的法律工作,以及为什么剩下的工作需要更聪明的模型
• 三名工程师和三名律师如何以客户的实际工作为蓝本构建测试环境,其原理类似于强化学习(RL)中使用的“环境/世界”(worlds)
• 一个曾经准确率只有 70% 的条文引用问题,在一次模型版本迭代后跃升至 99%,Legora 自身甚至无需做出任何调整
• 为什么 Legora 将所有系统都部署在 Azure 上,以及为什么他们不使用 ElevenLabs
• Tabular Review(表格审查):一款拥有百万级单元格的电子表格,其设计甚至连名称都被整个行业争相效仿
• 业务受理(Intake)是如何运作的、智能体如何生成清单,以及一份清单如何启动另一个智能体
• 法律工程师(Legal Engineer)与前线部署工程师(Forward-Deployed Engineer)各自的职责,以及谁来编写代码
• Jacob 曾用一张“斯巴达 300 勇士”的幻灯片来论证 20 名工程师便足以支撑业务,而如今团队已有 100 人,他依然感到人手不足
• 为什么 Jacob 认为 Fable 和 Opus 在文书起草方面过于啰嗦,而更青睐 Astra 简练的文风
• 为什么起草长篇合同本质上是一个搜索问题
• 基础模型实验室是否会像颠覆编程工具那样,切断法律垂直工具的生存空间
• 律所合伙人制度、按小时计费模式以及初级律师的岗位将何去何从
Legora 目前正在纽约、斯德哥尔摩和伦敦招募工程师。
章节
0:00 开篇引言
0:40 走近 Jacob Lauritzen,Legora 首席技术官
1:05 起步:斯德哥尔摩地下室里的逆袭者
1:54 Legora 如何从“ChatGPT + 瑞典法律”演变为法律智能体
4:12 从助手(Assistant)到智能体(Agent)的转变
5:23 Legora 使用哪些模型,以及为什么添加模型选择器
7:48 现在的模型对律师来说足够好用吗?
8:20 九个月前智能体还无法做到的事
9:18 在模拟世界与包含 10,000 个文件的数据室中测试智能体
10:07 评估(Evals)团队与 Legora 的 100 名法律工程师
11:03 当评估看似徒劳无功:一次更新让引用准确率从 70% 跃升至 99%
12:18 未来五到十年的法律执业形态
14:18 律所合伙人模式能否存续?
16:40 律师助理与初级律师将何去何从?
18:00 按小时计费模式与早期法律科技折戟的原因
19:39 资金如今流向何方
22:44 Legora 如何使用自家产品进行收购尽调
23:59 瑞典律所与美国律所的差异
26:12 无法查看运行追踪(Traces)时的产品指标体系
27:41 追踪内容改写,以及将故障归纳为 10 到 20 种类型
28:42 为什么数据隐私促使 Legora 将所有系统运行在 Azure 上
30:04 开放权重模型(Open-weight models)与模型套利
30:55 转录模型与为什么 Legora 不使用 ElevenLabs
33:33 智能体、Tabular Review、项目协作与 Word 插件
34:24 律师如何使用 Tabular Review
35:51 为什么表格形式行之有效,以及从前 10 行中能学到什么
37:53 法律业务受理机器人(Intake bot)如何在 Slack 中运作
39:11 智能体如何生成清单,清单又如何触发后续智能体
40:15 在相同组件上构建产品与收购 Wexler
42:37 前线部署工程师在 Legora 的职责
43:52 法律工程师与前线部署工程师如何协助大客户落地
46:43 前线部署团队未来一年的规划
47:24 为什么 Legora 曾抵制构建 API
49:26 智能体本身能否成为 API?
50:12 “斯巴达 300 勇士”幻灯片与仅保留 20 名工程师的计划
51:32 那些无人要求、Legora 却主动押注的方向
53:05 用于法律检索的开放权重模型后训练(Post-training)
54:05 搜索、检索与后期交互(Late Interaction)
54:51 优秀的法律智能体测试与运行框架(Harness)包含哪些要素,以及起草为何依赖搜索
56:25 哪个模型撰写的草稿质量最高?
57:03 幻觉问题与 Legora 的引用系统
57:41 律师会核对引用出处吗?
58:19 针对百[万级…]是采用 MapReduce 还是单个大上下文窗口(Context Window)