跳转到内容
主站 新闻 控制台

AI 进展正在放缓吗?

分析实践

Image 1: AI 作为常态技术

Image 2: AI 作为常态技术

Image 3: 用户头像

探索 AI 作为常态技术的更多内容

将 AI 视为一种变革性但普通的技术,而非超级智能。

超过 76,000 名订阅者

AI 进展正在放缓吗?

解析近期技术趋势与相关说法

Image 4: Arvind Narayanan 的头像Image 5: Sayash Kapoor 的头像

Arvind Narayanan 和 Sayash Kapoor

2024 年 12 月 18 日

169

16

29

作者:Arvind Narayanan、Benedikt Ströbl 和 Sayash Kapoor。

自 2023 年 3 月 GPT-4 发布后,科技界的主流叙事是:模型持续扩展(scaling)将带来通用人工智能(AGI),随后是超级智能。那些极端预测虽然后来逐渐退潮,但直到一个月前,AI 行业的普遍看法仍是:模型扩展在可预见的未来还会继续。

随后,The Information、Reuters 和 Bloomberg 接连报道,揭示三家领先的 AI 开发者——OpenAI、Anthropic 和 Google Gemini——都在下一代模型上遇到了问题。如今,许多业内人士,包括 Ilya Sutskever——或许是模型扩展最著名的支持者——都在发出截然不同的声音:

“2010 年代是扩展的时代,如今我们又回到了惊奇与发现的时代。每个人都在寻找下一件事,”Sutskever 对 Reuters 表示。“把正确的东西扩展好,如今比以往任何时候都更重要。”

新的主流叙事似乎是:模型扩展已经死亡,而“推理扩展”(inference scaling),也就是“测试时算力扩展”(test-time compute scaling),才是提升 AI 能力的前进方向。其思路是在使用模型执行任务时投入越来越多的计算,比如让模型在回答前先“思考”。

这让 AI 观察者感到困惑:AI 能力的进步是否正在放缓?在这篇文章中,我们审视了这一问题的证据,并提出四个主要观点:

  1. 宣布模型扩展死亡还为时过早。

  2. 无论模型扩展是否会继续,行业领袖在这一问题上的反复改口都说明,盲目信任他们的预测是多么愚蠢。他们并不比我们其余人掌握更多信息,而且他们的叙事深受自身利益影响。

  3. 推理扩展是真实存在的,并且有很多低垂的果实可摘,这可能在短期内带来能力的快速提升。但总体而言,推理扩展带来的能力改进很可能既不可预测,又会在不同领域之间分布不均。

  4. 能力提升与 AI 的社会或经济影响之间的联系极其薄弱。影响的瓶颈在于产品开发速度和采用率,而不是 AI 能力本身。

模型扩展已经死亡了吗?

几乎没有什么新信息促成了这次突然的风向转变。我们在这份通讯中早就说过,模型扩展面临着重要逆风。正如我们当时提醒人们不要过度追捧扩展一样,如今也必须警惕对模型扩展过度悲观。

所谓“照常扩展”在 GPT-4 级模型之后就结束了,因为这些模型已经使用了大部分容易获取的数据源进行训练。我们早就知道,要让模型扩展继续下去,需要新的思路。因此,除非我们有证据表明许多这类思路都已经被尝试过且失败了,否则就不能断言模型扩展没有更多空间了。

仅举一例:在多模态模型的训练中加入 YouTube 视频——是视频本身,而不是转写文本——或许能解锁新的能力。也可能不会有帮助;在有人真正尝试之前我们不会知道,而且我们也不知道它是否已经被尝试过。需要注意的是,这件事很可能必须由 Google 来做,因为该公司不太可能把 YouTube 训练数据授权给竞争对手。1

如果模型扩展方面仍然如此不确定,为什么叙事会突然反转?原因在于,GPT-4 完成训练已经两年多了,因此“下一代模型只是比预期慢一点”这个说法变得越来越不可信。一旦有一家公司承认出了问题,其他公司也就更容易跟着承认。堤坝一旦出现裂缝,就会迅速崩溃。最后,如今 OpenAI 的推理模型 o1 已经推出,这也给公司在承认模型扩展遇到问题时留了退路,因为他们可以声称自己只是转向推理扩展,从而保住面子。

需要明确的是,我们没有理由怀疑那些报道——即许多 AI 实验室确实进行了更大规模的训练,但最终并未发布相应模型——的真实性。但从中能得出什么结论,就不那么清楚了。大模型迟迟未发布的可能原因包括:

  • 技术困难,例如收敛失败,或在多数据中心训练中实现容错时出现复杂问题。

  • 该模型并没有比 GPT-4 级模型强多少,因此发布出来会显得过于平淡。

  • 该模型并没有比 GPT-4 级模型强多少,因此开发者一直花很长时间试图通过微调(fine tuning)榨出更好的性能。

总之,模型扩展确实有可能已经触及极限,但也有可能这些波折只是暂时的,最终某家公司会找到克服它们的方法,比如解决任何技术困难,和/或找到新的数据源。

让我们别再依赖业内人士了

新的叙事如此之快地出现,已经足够奇怪;同样值得注意的是,旧叙事却持续了这么久,尽管潜在的局限性……