コンテンツにスキップ
メインサイト ニュース コンソール

AnthropicのIPOロードショー動画

· Simon Willison 翻訳済
技巧LLM

Anthropic の IPO ロードショー動画。Anthropic は昨日 IPO のロードショーを開始しました。そのロードショー動画には、同社の事業運営に関するこれまで公開されていなかった情報がいくつか含まれています。

共同創業者である Tom Brown 氏による「計算資源へのアプローチ(Approach to compute)」に関するパートは特に興味深く、Anthropic がどのようにして AWS Trainium、Google TPU、NVIDIA GPU、そして AMD GPU にまたがって Claude のトレーニングとデプロイを行っているかが語られています。

なぜ公式の書き起こしがないのかは分かりませんが、私が MacWhisper を使って抽出した書き起こしを用意しました。ハイライトは以下の通りです。

現在、私たちは4つの主要なチップファミリーにまたがって Claude のトレーニングとデプロイを行っています。これが可能になったのは、私たちが早い段階でマルチチップ戦略(multi-chip strategy)という型破りな賭けに出たからです。当時、多くの人は異なるチップ上で AI モデルを動かす労力は割に合わないと考えていました。それぞれのチップには専用のソフトウェアスタックと推論スタックが必要となり、構築には高いコストと困難が伴います。私たちはこれを何年も続けてきており、今では非常に得意としています。[…]

例を挙げましょう。今年、私たちは初めて AMD GPU の使用を開始しました。以前は、新しいチッププラットフォームを導入するには、数十人のエンジニアが数ヶ月をかける必要がありました。しかし今回は、Mythos にそれを試させました。すると、人間の介入をほとんど必要とせず、わずか3日間で AMD 上で Claude を稼働させることに成功したのです。Claude はカーネル(kernels)のほぼ 100% を移植または新規に作成しました。[…]

私たちの計算資源における優位性の2つ目の原動力は、「コンピュート・マルチプライヤー(compute multipliers:計算効率の乗数)」を発見するスピードです。私たちが重視しているのは「総有効計算量(total effective compute)」であり、これは物理的なキャパシティと私たちが発見したコンピュート・マルチプライヤーの積で表されます。マルチプライヤーを1つ発見するたびに、私たちの総有効計算量のプールは拡大します。例えば、ある特定の知能レベルのモデルをトレーニングするのに 100 単位の計算量が必要だとします。4倍のコンピュート・マルチプライヤーがあれば、わずか 25 単位の計算量で全く同じモデルをトレーニングできることになります。あるいは、その 100 の物理単位の計算量を使って、以前は 400 単位必要だった、さらに賢いモデルをトレーニングすることもできるのです。

コンピュート・マルチプライヤーは、他社が模倣困難な競争優位性を私たちにもたらします。それらは互いに相乗効果を生みます。私たちが発見する新しいマルチプライヤーはすべて、以前のマルチプライヤーにプラスの影響を与え、互いに積み重なっていくのです。再帰的自己改善(recursive self-improvement)に近づくにつれ、このプロセスはさらに加速すると私たちは考えています。Claude が完全に独力でコンピュート・マルチプライヤーを発見できるようになり、その結果、マルチプライヤーの数がますます急速に増加していくでしょう。

昨年9月、Anthropic が公開した最近の3つの問題に関する事後分析(postmortem)の中で、TPU のデプロイメントにのみ影響するバグについて言及されており、その時点で彼らのマルチチップ戦略の片鱗がすでに見えていました。