データが見えない状況で、いかにしてリーガルエージェント(Legal Agent)を構築するか——Legora CTO Jacob Lauritzen 氏インタビュー

Latent.Space
11月2日 · 67分
Legora は、自社のエージェント(Agent)が弁護士のタスクを処理する際に残す実行トレース(Trace)ログを一切見ることができません。これらのデータはすべて法律事務所のクライアントに帰属しています。エージェントの具体的な作業プロセスがブラックボックスである中で、どのようにしてそれを構築・テストしているのでしょうか?
Jacob Lauritzen 氏は、リーガルテック史上で最も急成長を遂げている企業の一つである Legora の最高技術責任者(CTO)です。チームの始まりはストックホルムの地下室で、当時は ChatGPT、スウェーデンの法律データ、そして1つの検索ツールしかありませんでした。現在では、弁護士が Legora を使って Word 文書のドラフト作成や編集を行い、1つのスプレッドシート上で10,000件の契約書をレビューし、デューデリジェンス(Due Diligence)を実施しています。さらにこのエージェントは、弁護士、クライアント、他のエージェント間の作業も調整します。Legora が自社の技術買収を進めた際には、まさに自社プロダクトを使ってデューデリジェンスを完遂しました。
対談の主なハイライト
• なぜ Legora は長年にわたりモデルピッカー(Model Picker)の追加を拒み続けてきたのか、そして最終的に実装を決断した理由
• 現在のモデルで法律業務の約60%を十分こなせると Jacob 氏が推計する理由、そして残りの業務になぜより賢いモデルが必要なのか
• 3名のエンジニアと3名の弁護士が、クライアントの実務をベースに強化学習(RL)の「環境/ワールド(worlds)」に似たテスト環境をいかにして構築したか
• かつて精度70%にとどまっていた条文引用の課題が、モデルのアップデートだけで、Legora 側は何も手を加えずに99%へと跳ね上がった話
• なぜ Legora はすべてのシステムを Azure 上で動かしているのか、そしてなぜ ElevenLabs を使わないのか
• Tabular Review(表形式レビュー):百万行規模のセルを扱えるスプレッドシートであり、その設計や名称に至るまで業界全体から追随されている機能
• 案件受付(インテイク / Intake)の仕組み、エージェントがチェックリストを生成し、そのリストが別のエージェントをキックする流れ
• リーガルエンジニア(Legal Engineer)とフォワードデプロイドエンジニア(Forward-Deployed Engineer)それぞれの役割分担と、誰がコードを書くのか
• Jacob 氏はかつて「スパルタ300人」のスライドを用いてエンジニア20人で事業を支えられると主張していたが、チームが100人となった今でも人手不足を感じている理由
• ドラフト作成において、なぜ Jacob 氏は Fable や Opus を「冗長すぎる」と感じ、Astra の簡潔な文体を好むのか
• なぜ長文の契約書ドラフティングは本質的に「検索の問題」なのか
• 基底モデル(ファンデーションモデル)ラボは、コーディングツールを刷新したように、法律特化型バーティカルツールの生存領域を奪うのか
• 法律事務所のパートナーシップ制度、時間請求(タイムチャージ)モデル、そしてジュニアアソシエイトのキャリアは今後どうなるのか
Legora は現在、ニューヨーク、ストックホルム、ロンドンでエンジニアを募集中です。
チャプター一覧
0:00 イントロダクション
0:40 Jacob Lauritzen 氏(Legora CTO)の紹介
1:05 始まり:ストックホルムの地下室から生まれた挑戦者
1:54 Legora はどのように「ChatGPT + スウェーデン法」からリーガルエージェントへと進化したか
4:12 アシスタント(Assistant)からエージェント(Agent)への転換
5:23 Legora が採用しているモデルと、モデルピッカーを追加した理由
7:48 現在のモデルは弁護士にとって十分実用的なのか?
8:20 9か月前にはエージェントにできなかったこと
9:18 シミュレーションワールドと10,000件のファイルを含むデータルームでのエージェントテスト
10:07 評価(Evals)チームと Legora の100名のリーガルエンジニア
11:03 評価が無意味に見えた瞬間:たった一度のアップデートで引用精度が70%から99%に跳ね上がった経緯
12:18 今後5〜10年における法律実務のあり方
14:18 法律事務所のパートナーシップモデルは存続できるか?
16:40 パラリーガルやジュニアアソシエイトの立ち位置はどう変わるのか?
18:00 時間請求(タイムチャージ)モデルと、初期のリーガルテックが苦境に陥った原因
19:39 資金は今どこへ流れているのか
22:44 Legora はいかに自社プロダクトを活用して買収デューデリジェンスを実施したか
23:59 スウェーデンの法律事務所と米国の法律事務所の違い
26:12 実行トレース(Traces)が見えない中でのプロダクトメトリクス体系
27:41 テキストのリライト追跡と、不具合を10〜20種に分類するアプローチ
28:42 データプライバシーを理由に、Legora がすべてのシステムを Azure 上で動かすわけ
30:04 オープンウェイトモデル(Open-weight models)とモデルアービトラージ
30:55 文字起こしモデルと、なぜ Legora は ElevenLabs を使わないのか
33:33 エージェント、Tabular Review、プロジェクトコラボレーション、そして Word アドイン
34:24 弁護士は Tabular Review をどのように活用しているのか
35:51 なぜテーブル形式が機能するのか、そして最初の10行から学べること
37:53 法律相談受付ボット(Intake bot)は Slack 上でどう動くのか
39:11 エージェントはどうやってチェックリストを作成し、そのリストがどのように次のエージェントを起動するのか
40:15 共通コンポーネント上でのプロダクト開発と Wexler の買収
42:37 Legora におけるフォワードデプロイドエンジニアの役割
43:52 リーガルエンジニアとフォワードデプロイドエンジニアは大企業顧客の導入をどう支援するのか
46:43 フォワードデプロイチームの今後1年のロードマップ
47:24 なぜ Legora はかつて API の提供に抵抗していたのか
49:26 エージェントそのものが API になり得るか?
50:12 「スパルタ300人」のスライドと、エンジニア20人体制にとどめる当初の計画
51:32 誰からも要望されなかったが、Legora があえて先手を打った領域
53:05 法的検索に特化したオープンウェイトモデルの事後学習(Post-training)
54:05 検索、リトリーバル、そしてレイトインタラクション(Late Interaction)
54:51 優れたリーガルエージェントのテスト・実行フレームワーク(Harness)に必要な要素と、ドラフティングが検索に依存する理由
56:25 最もドラフト作成能力が高いモデルはどれか?
57:03 ハルシネーション問題と Legora の引用システム
57:41 弁護士は引用元を実際に確認しているのか?
58:19 百万規模のデータに対して MapReduce を使うべきか、単一の巨大コンテキストウィンドウ(Context Window)を使うべきか