トレースログなしでの評価(Evals without traces)、百万セル規模のスプレッドシートレビュー、そして「タイムチャージ」ビジネスモデルの綻び
11月2日 · 読了目安 75分
今回のエピソードでは、Legoraの最高技術責任者(CTO)であるJacob Lauritzen氏をお迎えしました。同社は数週間前、評価額88億ドルで5億5,000万ドルのシリーズE資金調達を発表したばかりです。本対談では、弁護士向けAIエージェントの構築において直面する課題や、他のエージェント開発者がその実践から学べる知見について掘り下げました。
Legoraはストックホルムの地下室で産声を上げました。最初のプロダクトは、ChatGPT、スウェーデンの法律データベース、そして検索ツールを組み合わせただけの非常にシンプルなものでした。Jacob氏は以前、自身のスタートアップでYC(Y Combinator)を経験しており、Max Junestrand氏によるLeya(Legoraの前身)の応募申請書の作成をサポートしました。その後、エンジニアリング責任者として入社し、現在はCTOを務めています。
現在、同社のエージェントはWordドキュメントの起草や編集、数千件におよぶ契約書の一括レビューを行い、弁護士、そのクライアント、さらには他のエージェント間でも協調して動作します。今年4月、プロダクトのリリースからわずか18か月足らずでARR(年間経常収益)は1億ドルを突破し、現在の顧客数は1,800社を超えています。同社は今年3月に評価額55億5,000万ドルで5億5,000万ドルを調達し、続く10月には評価額88億ドルでさらに5億5,000万ドルを調達しました。直近で買収したWexlerは、同社にとって今年だけで5件目の買収案件となります。
今回、Jacob氏には以下のようなトピックについて伺いました。顧客データに直接アクセスできない中でエージェントをいかに評価(eval)するのか? より高性能なモデルを依然として必要とするタスクとは何か? リーガルエンジニアと前線配備エンジニア(forward deployed engineers)はどのように協業しているのか? そして、従来のビジネスモデルである「タイムチャージ(billable hour)」がなぜ根底から覆されようとしているのか?
「タイムチャージ」モデルに何が起きているのか?
Jacob氏がLeyaのYC応募書類を初めて読んだ際、そのフィードバックは極めて率直なものでした。「リーガルテック(LegalTech)への挑戦はこれまで数え切れないほど行われてきたが、成功した例はない。弁護士がタイムチャージ制で請求している以上、効率化は請求時間の減少、ひいては売上の減少を意味する。なぜ彼らがそのようなツールを導入するのか?」と。
しかし彼が指摘するには、変化したのは法律事務所が直面している外部からのプレッシャーです。米国では、小規模な契約書レビューのような定常業務において、課金モデルがすでにプロジェクトごとの定額制(flat project fees)へと移行しつつあります。一部の法律事務所では、クライアントを引き留めるためにこうした業務を無償で引き受けることさえあります。利益の中心は、M&Aや訴訟業務、そしてクライアントとの対話に充てるコンサルティング時間へとシフトしています。
では、法律事務所にはパラリーガルやジュニア弁護士が不要になるということでしょうか。Jacob氏によれば、Legoraが観察している傾向はそうではありません。ツールを活用することでこなせる業務量が劇的に増加したため、優秀なジュニア弁護士の価値は2年前よりもむしろ高まっており、これはソフトウェアエンジニアリング業界の現状とまったく同じ構図です。
顧客データへのアクセス権がない状況下での評価(Evals)
多くのチームはトレースログ(traces)を分析してエージェントを反復改善しています。しかし、Legoraは一切のトレースログを閲覧することができません。ユーザーがアップロードする資料の大半は機密情報であり、その多くは法律事務所自体ではなく、そのクライアントに帰属するものだからです。
そのため、評価チームはクライアントの実際の業務シナリオを高度に再現しなければなりませんでした。エンジニア3名と弁護士3名からなるチームが、実際の業務フローを模倣する強化学習(RL)シミュレーション環境を構築しました。例えば、10,000件のファイルを含むデータルームを用意し、エージェントにデューデリジェンスを実行させ、潜在的なリスク要因(red flags)を的確に捉えたレポートを生成させます。チームは専門分野やタスクタイプごとにテスト結果をヒートマップ上に可視化しています。往々にして、新しいモデルはある特定の法務領域でパフォーマンスが向上する一方で、別の領域では逆に低下することもあります。
このチームは、約100名のリーガルエンジニアからなる人材プールを活用しています。その多くは大手法律事務所で3〜4年の実務経験を持ち、コンピュータサイエンスのバックグラウンドも兼ね備えています。本番環境において、Legoraは障害を10〜20種類の既知の失敗パターン(failure modes)に分類し、機能フラグ(feature flags)を通じてバックグラウンドで極めて低コストなLLM専用チェックを実行しています。
こうした厳格なセキュリティ・コンプライアンス上の制約は、Legoraのインフラ選定にも直接影響を与えました。同社のすべてのサービスはAzure上で稼働しています。Legora創業当初、法律事務所の顧客は一般にAWSやGCPを受け入れていませんでしたが、マイクロソフトはすでにMicrosoft 365を通じて法律事務所側のベンダーコンプライアンス認可を取得していたからです。
より賢いモデルが依然として不可欠な領域
Legoraは長らくモデルセレクター(model picker)の提供に抵抗していましたが、最終的には妥協することになりました。弁護士が基盤となるモデルアーキテクチャの選択に頭を悩ませるべきではない、というのがJacob氏の考えでした。