优化理论、进化生物学、竞争市场与机器学习共同预测了什么——以及为什么答案相同
熟悉 Dharma AI 的读者都知道,我们认为“专精化”是高效 AI 系统的核心原则之一,它塑造着从成本、性能到可靠性和主权的方方面面。很少有论文能像 Goldfeder、Wyder、LeCun 和 Shwartz-Ziv 于 2026 年的工作那样,对这一观点作出如此严谨的阐述。
本文将探讨并解读 AI Must Embrace Specialization via Superhuman Adaptable Intelligence(Goldfeder, Wyder, LeCun, & Shwartz-Ziv, 2026)中的思想。该论文从优化理论、生物学、组织经济学和机器学习四个领域汇聚出的论证,不仅为后文讨论提供了证据结构,也构成了其思想基础。本文中的框架、组织方式与编辑综合均由 Dharma 提出。
传统预期是合理的:随着 AI 系统变得更强大,它们也应当变得更通用。更强的能力与更广的适用性似乎天然相伴——更多资源、更好的方法、更充分的训练,应该会让系统对越来越多的任务更有把握。
但真实出现的模式却不同。那些在某一特定领域取得最重大成果的系统,往往是对该领域聚焦最窄的系统。蛋白质结构预测的突破,来自一个为单一科学任务专门设计的系统。若仔细审视 AI 发展的历史里程碑,也会发现它们反映的是强烈的领域定向,而不是不断扩张的通用性。
这种模式一再出现。它跨越不同领域、跨越数十年,也跨越几乎没有共同点的架构选择。如此稳定的模式,意味着背后存在一个共同原因——而这个原因并不源自 AI 研究本身。
一个算法通过贴合目标而获胜
1997 年,Wolpert 和 Macready 证明了一件在 AI 架构讨论中很少被提及的事:不存在某一种通用优化算法能在所有可能问题上都优于其他所有算法(Wolpert & Macready, 1997)。这个证明是数学意义上的,而非哲学意义上的。若对学习器可能遇到的所有问题求平均,每种算法表现都一样好——也一样差。某个算法在某一类问题分布上获得的优势,必然要在其他分布上作出让步。性能不会凭空增加,而只是重新分配。
其现实含义非常直接:“算法通过成为目标问题的良好匹配而获胜”(Goldfeder et al., 2026)。该定理并不是说通用性不可能——它说的是,通用性并不是性能优势。实现超越的稳定结构路径,是聚焦:用广度换取匹配度。
当有限资源加入讨论时,这一点会更加清晰。任何真实系统都受制于约束——有限算力、有限数据、有限开发时间。在能量有限的前提下,将可用资源集中用于学习一组有限任务的方法,必然会优于把同样资源分散到无限范围内的方法。算术关系不容回避:随着任务集合无限扩张,每个任务可分配的资源会趋近于零。在有限资源条件下,全面覆盖与有意义的性能之间存在直接张力。
该定理指向的结论并不是通用性不好,而是更窄、也更可操作:正如论文所说,“普遍通用性是一个理论概念,但在实践中它是一个神话”(Goldfeder et al., 2026)。在真实约束面前能存活下来的,不是那个试图做所有事情的系统,而是那个能贴合目标的系统。
数学已经把这一点表述为一个预测,而不是偏好。这个预测在优化理论之外的世界是否成立,则是另一个问题。
生物学和市场早已知道的事
另外两个领域在优化理论给它命名之前,就已经得出了同样的预测。
正如论文对生物学案例的描述:在某个生态位中的每一次性能提升,都会在别处付出代价。通才携带着适用于多种环境的特征,却没有任何一种环境是最优的——能力被过度分散,无法在某个特定条件下形成压倒性优势。没有权衡,就没有性能提升;投入到一种能力中的资源,就无法再用于另一种能力。自然选择偏好的是与局部条件相匹配的设计,而不是那些为了在所有可能环境中实现均匀覆盖而优化的设计。能够存活并繁殖下来的生物,并不是最通用的,而是最精准匹配的。经过漫长的进化时间尺度累积后,结果并不是通才占据主导,而是专才填满各个生态位。正如论文所说:“专精化不是生物学中的偶然现象;它是有限资源、竞争目标以及奖励在少量进化相关挑战上表现的环境共同作用下的可预测结果”(Goldfeder et al., 2026)。
竞争市场则通过不同机制遵循同样的动态。未能达到性能门槛的组织和策略会被淘汰——不是通过灭绝,而是通过退出、失去资金支持,并被更匹配的替代方案取代。竞争充当一种选择机制:它放大有效策略,消除无效策略。这种机制与生物选择毫无相同之处——没有遗传,没有突变,没有进化时间尺度。被选择的单位不是生物体,而是组织、产品、策略。但结构性压力是相同的:有限资源、性能要求,以及系统性地移除那些分布过于分散、以至于无法在关键之处脱颖而出的实体。当性能标准清晰且稳定时,集中化能力会胜过分散化能力。
进化和市场的运作机制完全不同——时间尺度不同、选择单位不同、遗传机制也不同。然而,在资源压力下,两者都会产生同样的结果:以贴合度胜过广度。定理预言了这一点。生物学和市场各自独立地得出了这一结论。当第三个领域以完全不同的方式得出同样发现时,这种模式就不再像一个定理,而开始像某种关于受约束系统如何行为的更普遍规律。
机器学习不断重新发现专精化
同样的模式也出现在机器学习内部——不是从优化理论推导出来的,而是通过不断积累的经验……