Handshake はローンチからわずか 1 年で 10 億ドル規模へと急成長し、フロンティアラボ向け専門データの境界を押し広げ続けています。今回は、金融、バイオ、アライメント(Alignment)分野の具体的なユースケースを網羅した、データラボへの初の本気潜入レポートです。
11 月 9 日 · 164 分
Latent Space として、AI データ企業をここまで深く取材するのは今回が初めてです。わずか 1 年ほどの間に、Handshake の AI トレーニング事業はローンチから 年換算総売上(gross annualized revenue)10 億ドル の規模にまで達しました。フロンティアラボはこれほど巨大な規模で何を調達しているのでしょうか?どのような評価ベンチマーク(evals)において、モデルはまだ人間に遠く及ばないのでしょうか?Garrett Lord 氏が、これらの強化学習環境(reinforcement learning environments)を構築しているチームメンバーを連れて、ライブで実演してくれました。史上初となるリアルタイムでのハンズオンデモをお届けします!
Handshake の膨大な事業領域をカバーするため、私たちは科学、エンジニアリング、リサーチ、金融といった各分野のポッドキャストホスト陣とタッグを組み、極めて特別なコラボレーションエピソードを制作しました。Handshake のビジネスは、これらすべての領域、さらにはそれ以上にまたがっているからです。
全体概要に続き、ぜひ以下の 3 つのセクションにご注目ください:
-
金融。 金融デモでは、エージェント(agent)が銀行の受信トレイから自身のタスクを特定し、どの文書が案件を決定づけるかを読み解き、ワークブックを提出しなければなりません。クライアントからのメールに記載された既存の「のれん(goodwill)」に関する 1 行に何が起こるか注目してください。エージェントはその数値を Python コードに持ち込み、減算してしまいました。Collin 氏が指摘するように、モデルに直接尋ねれば、その税務上の取り扱いを正しく説明できます。問題は、まさにその特定のコード行にルールを適用しなければならないと判断するフェーズで起きたのです。
-
バイオ。 Nick Magazine 氏と Jonas Mueller 氏が、科学者が実務で扱う画像を読み解くための Handshake 製ベンチマーク「VIALS」を実演してくれました。Nick 氏は画面に脳腫瘍の組織切片を 9 枚表示し、最も深刻な血管壊死(vessel necrosis)が見られる 2 枚はどれかを問いかけます。彼の答えを見る前に、ぜひご自身でも考えてみてください。Nick 氏が選んだのは H と I でした。モデルもこの 2 枚を選びましたが、余分に G も選択してしまいました。Nick 氏が組織の中で何が欠落しているかを指摘する解説は、単にスコアを眺めるよりもはるかに示唆に富んでいます。
-
コーディング。 模擬ファイルアクセスタスクにおいて、チームはエージェントがどのファイルを読み込んだか、コピーを照合したか、そして事後に Shell 履歴に対してどのような操作を行ったかを検証できます。エージェントが最終的に出力したテキストログ(transcript)を見るだけでは、Steve Kelling 氏と Nishant Ranka 氏が評価している核心の大部分を見落としてしまいます。
出演ゲスト
-
🟣 AI データビジネス — Garrett Lord、Sahil Bhaiwala、Nishant Ranka。番組の冒頭と結びで、エキスパートレベルのデータ市場について議論します。
-
🌸 ライフサイエンス — Nick Magazine、Jonas Mueller。ゲル電気泳動や脳組織切片のタスクを画面上で実演します。
-
🟢 金融 — Collin Schweiker、Sahil Bhaiwala。「Project Falcon」および Excel 自動採点ツールの詳細を案内します。
-
🟠 アライメント(Alignment) — Steve Kelling、Nishant Ranka。セキュアなシミュレーション環境下で、エージェントのツール呼び出し(tool calls)を追跡します。
ショーノート
-
ATLAS-Finance — 模擬銀行の受信トレイ、ドキュメント、財務モデルを行き来しながら作業するエージェント向けに設計されたベンチマークを体験。
-
銀行内部の実態 — Handshake が追跡した公開済み案件「Project Osprey」の全プロセス(クライアントメールからスコアリング判断まで)。なお、インタビュー画面で実演しているのは「Project Falcon」です。
-
VIALS サンプルタスク — 本エピソードで取り上げたゲル電気泳動や脳組織のタスクを含む、科学画像課題を体験。
-
Handshake が科学図表を読み解くモデルをトレーニングする方法 — 中間画像記述(intermediate image descriptions)を活用して視覚言語モデル(VLM)をトレーニング・評価するアプローチをチームが解説。
タイムスタンプ
0:00 Handshake AI の深層に迫る
0:39 Garrett、Sahil、Nishant が語る最先端のトレーニングデータ
5:15 エージェントのための銀行環境の構築方法
13:07 フロンティアラボはどのようにデータを調達しているか
15:51