无追踪日志下的评估(Evals without traces)、百万级单元格表格审查,以及“按小时计费”商业模式的裂痕
11 月 2 日 · 75 分钟阅读
在本期节目中,我们与 Legora 的首席技术官(CTO)Jacob Lauritzen 展开对话。此前几周,他们刚刚宣布以 88 亿美元估值完成了 5.5 亿美元的 E 轮融资。我们探讨了为律师构建 AI Agent 需要解决哪些问题,以及其他 Agent 开发者能从这些实践中获得哪些启示。
Legora 最初诞生于斯德哥尔摩的一个地下室,起初的产品非常简单:ChatGPT、瑞典法律数据库和一个搜索工具。Jacob 此前曾带着自己的初创公司经历过 YC(Y Combinator),后来协助 Max Junestrand 撰写了 Leya(Legora 的前身)的申请材料。随后他以工程负责人身份加入公司,现任 CTO。
如今,该 Agent 能够起草和编辑 Word 文档、批量审查数千份合同,并在律师、其客户及其他 Agent 之间协同工作。今年 4 月,即产品上线不到 18 个月之际,该公司的 ARR(年度经常性收入)便突破了 1 亿美元,目前拥有超过 1,800 家客户。公司在今年 3 月以 55.5 亿美元估值完成了 5.5 亿美元融资,随后在 10 月又以 88 亿美元估值追加了 5.5 亿美元融资。其最新收购的 Wexler 已经是该公司仅在今年内完成的第五笔收购。
我们向 Jacob 探讨了以下问题:当无法直接访问客户数据时,该如何评估(eval)Agent?哪些任务仍然依赖性能更强大的模型?法律工程师与前线部署工程师(forward deployed engineers)之间如何分工协作?以及为什么作为传统商业模式的“按小时计费”(billable hour)正在被彻底颠覆?
“按小时计费”模式发生了什么变化?
当 Jacob 第一次阅读 Leya 的 YC 申请书时,他给出的反馈非常直接:人们尝试做法律科技(LegalTech)已经无数次了,但从未成功过。如果律师是按小时计费的,效率提升就意味着账单工时减少、收入下降。他们为何要采购这样一款工具?
他指出,真正发生改变的是律所自身承受的外部压力。在美国,像小型合同审查这类的常规工作,收费模式已经在转向固定项目费用(flat project fees)。部分律所甚至会免费承接这些工作以留住客户。利润重心正在转移至并购(M&A)、诉讼业务以及花在客户身上的咨询时间。
我们询问这是否意味着律所将不再需要律师助理和初级律师。Jacob 表示这并不是 Legora 观察到的趋势。如今一名优秀的初级律师比两年前更有价值,因为借助工具他们能完成的工作量大幅提升,这与软件工程领域的现状如出一辙。
无客户数据访问权限下的评估(Evals)
大多数团队通过分析追踪日志(traces)来迭代优化 Agent。但 Legora 无法查看任何追踪日志。用户上传的绝大部分材料均属于机密,且多属于律所的客户而非律所本身。
因此,评估团队必须高度重构客户的实际工作场景。由三名工程师和三名律师组成的团队搭建了强化学习(RL)仿真环境,来模拟客户的实际业务流。例如构建一个包含 10,000 个文件的数据室(data room),让 Agent 在其中执行尽职调查,并生成一份能够精准捕捉各类潜在风险点(red flags)的报告。团队根据不同的专业领域和任务类型,将测试结果呈现在热力图上。通常,新模型在某一特定法律业务板块表现提升的同时,在其他板块的表现反而可能下滑。
该团队调动了一个由大约 100 名法律工程师组成的资源池:这些成员大多在大牌律所工作过三到四年,且通常拥有计算机科学背景。在生产环境中,Legora 将故障归类为 10 到 20 种已知的失效模式(failure modes),并通过功能开关(feature flags)在后台运行成本极低的 LLM 专项检查。
这些严格的安全合规限制同样决定了 Legora 的基础设施选型。其所有服务均运行在 Azure 上,因为在 Legora 创立之初,律所客户普遍不接受 AWS 或 GCP,而微软此前已凭借 Microsoft 365 获得了律所的供应商合规准入。
更聪明的模型在哪些场景依然不可或缺
Legora 曾长期抗拒提供模型选择器(model picker),但最终还是做出了妥协。Jacob 的观点是,律师不应该被迫去纠结和选择底层的模型架构