数年前、カリフォルニア工科大学（Caltech）教授の Anima Anandkumar は、AI を基盤とする初のオープンソース気象モデルの開発に着手しました。彼女はこの分野の専門家と議論する中で、懐疑的な意見にも直面しました。天候はカオス的であり、物理シミュレーションは難しく、関連技術はすでに数十年にわたって発展しているうえ、スーパーコンピューターも必要です。利用可能なデータも、はるかに不足していました。それでも Anima は開発を続け、完成にこぎ着けました。1年も経たないうちに、彼女のチームは FourCastNet を開発しました。これは、既存の最も優れた物理ベースのシミュレーションに匹敵する性能を持つ予測モデルです。Anima とその後の研究のおかげで、現在では誰でもコンシューマー向け GPU を使い、比較的短い時間スケールで天候を正確に予測できるようになっています。[^1]
私たちが Latent.Space で公開してきた約15回の科学番組では、原子、分子、材料、生物学、数学について取り上げてきました。Anima は、連続物理システムの研究を切り開いてきたパイオニアです。天候、核融合、流体や熱の流れは、モデル化が極めて難しい巨大な科学領域です。規模が大きく、カオス的であり、そして本質的にマルチスケールだからです。これは AI コミュニティがある程度見過ごしてきた領域ですが、今後急速に発展すると私たちは考えています。今後数回の番組では、より大規模な物理システムについてさらに紹介する予定です。
Anima の研究から分かるのは、この AI の領域には、他の分野に広く浸透しているスケーリングの考え方をそのまま適用できないということです。データが存在しないのです。この種の分野におけるオープンソースのデータセットは、数十万、場合によっては数百個のサンプルしかなく、大量の token を「飲み込む」Transformer に必要な規模には到底及びません。さらに悪いことに、物理学が求める解像度によってコンテキスト長は数千億規模にまで膨れ上がるため、token を増やすだけでは解決できません。しかし、これは上限ではなく、単により緩やかな道のりにすぎません。この領域の進歩は、構造と帰納バイアスを組み込むことによってもたらされます。「苦い教訓（bitter lesson）」の影響を強く受けてきた言語モデル研究者の皆さんには、申し訳ありません。
「各次元に数百個のグリッド点しかないとしても――これはすでに産業規模の出発点ですが……私たちが議論しているコンテキスト長は数千億、さらには1兆に達します。したがって、この規模のタスク向けに Transformer を構築できるなどとは期待しないでください。世界中の計算資源をすべて合わせても足りません。」
その背後にある数学
こうしたシステムに対応するため、Anima は ニューラル作用素（Neural Operators） と呼ばれる技術を切り開きました。これは、過去10年間の AI 理論における最も美しい発展の一つです。[^2] ニューラル作用素は、データと物理法則を組み合わせることで、マルチスケールの入力と出力に対応できます。もはや単一のグリッドをモデル化するのではなく、複数のスケールにまたがって変化する関数そのものをモデル化するのです。これにより、Anima とそのチームは物理的な直観に基づいて事前分布を構築できるようになりました。
