几年前，加州理工学院（Caltech）教授 Anima Anandkumar 开始着手开发首个基于 AI 的开源天气模型。她在与该领域专家交流时遭遇了质疑：天气具有混沌性，物理模拟很难，相关技术已经发展了数十年，而且需要超级计算机；可用的数据也远远不够。尽管存在这些保留意见，Anima 还是继续推进并完成了开发。不到一年，她的团队便开发出了 FourCastNet，这是一种预测模型，其表现足以与现有最优秀的基于物理的模拟相媲美。得益于 Anima 及其后续工作，如今任何人都可以使用消费级 GPU，在较短时间尺度上准确预测天气。[^1]
在我们于 Latent.Space 发布的约十五期科学节目中，我们已经讨论过原子、分子、材料、生物学和数学。Anima 是研究连续物理系统的先驱。天气、聚变，以及流体或热量流动，都是极难建模的庞大科学领域：它们规模巨大、具有混沌性，而且从根本上来说是多尺度的。这是一个 AI 社区在一定程度上忽视的领域，但我们预计它将快速发展。未来几期节目中，我们计划进一步介绍大型物理系统。
从 Anima 的工作中可以看出，这一 AI 领域并不适合套用已经渗透到其他领域的规模化思路。数据并不存在：许多此类领域的开源数据集只有几十万甚至几百个样本，远远达不到“吞噬”大量 token 的 Transformer 所需的规模。更糟糕的是，物理学所要求的分辨率会将上下文长度推高到数千亿级，因此你不能只靠增加 token 来解决问题。不过，这并不是一道上限，而只是一条更缓慢的道路：这里的进展来自融入结构和归纳偏置。那些深受“苦涩教训”（bitter lesson）影响的语言模型研究者们，抱歉了。
“如果每个维度甚至只有几百个网格点——而这已经是工业规模的起点……我们讨论的上下文长度就达到了数千亿，甚至一万亿。因此，别指望为如此规模的任务构建 Transformer 了，全世界的算力加起来也不够。”
其背后的数学
为了应对这些系统，Anima 开创了一种称为 神经算子（Neural Operators） 的技术，这是过去十年 AI 理论领域最优美的发展成果之一。[^2] 神经算子能够结合数据与物理定律，从而支持多尺度的输入和输出。我们不再对一个网格进行建模，而是在建模一个能够跨越多个尺度演化的函数。这使 Anima 及其团队能够基于物理直觉构建先验。
