从 AI 扩展的苦涩教训(Bitter Lesson of AI scaling)到尚未解开的蛋白质折叠之谜,Google DeepMind 的 Pushmeet Kohli 与 Biohub 的 Sal Candido 正在重新思考:要打造真正理解生物学的 AI,究竟需要什么?在这场由 Brandon Anderson 主持的特别圆桌讨论中,他们探讨了为什么说 AlphaFold 的突破仅仅只是个开端、为什么仅靠扩展算力和数据无法解决生物学问题,以及下一代 AI 模型将如何彻底改变我们对蛋白质、细胞和人类疾病的认知。
我们深入探讨了 AI 驱动生物学的未来:在生物数据中寻找扩展定律(scaling laws)、科学直觉与通用架构之间的权衡、为什么蛋白质结构预测远未完全解决,以及构建生命系统的预测模型需要什么。Pushmeet 反思了 AlphaFold 背后的经验教训、人类可解释性的局限,以及未来的前沿模型是否能比人类更好地理解其他 AI 系统。Sal 则阐释了为什么蛋白质语言模型可能已经蕴含了我们尚未挖掘的科学知识、生物学建模必须如何超越单一蛋白质,以及为何要实现 Biohub 攻克所有疾病的使命,需要从实现 10 倍跨越式突破而非渐进式微调的角度去思考。
讨论要点:
- 生物学领域的**“苦涩教训”**:为什么仅扩展算力和数据是不够的
- 为什么找到正确的**扩展定律(scaling law)**比盲目增加模型规模更重要
- 低质量的宏基因组数据(metagenomic data)如何能够改进蛋白质语言模型
- 为什么 AI 研究人员总是针对现有可用数据而非最重要的科学问题进行优化
- 来自 DeepMind 的经验:如何在建模、数据生成与科学专业知识之间取得平衡
- 为什么构建虚拟细胞(virtual cell)需要从根本上不同的数据集
- AlphaFold 的手工设计架构以及科学直觉的作用
- 为什么优质数据比单纯拥有更多数据更重要
- 归纳偏置(inductive biases)、扩展定律与专用 AI 架构的未来
- 为什么我们尚未进入后 Transformer 时代,但架构正在不断演进
- 为什么说 AlphaFold 实际上并没有完全解决蛋白质折叠问题
- 蛋白质动力学、固有无序性(disorder)以及静态结构预测的局限性
- 冷冻电镜显微照片(cryo-EM micrographs)如何能够解锁更丰富的生物表征
- 从单一蛋白质模型迈向整个生物系统模型
- 费曼的著名原理,以及为什么 AI 现在能够创造出我们尚不理解的事物
- 蛋白质语言模型内部蕴藏的隐形生物学知识
- 为什么可信度与不确定性校准(uncertainty calibration)比完全的可解释性更重要
- 前沿 AI 模型是否能比人类更好地解释其他 AI 系统
- AI 何时能为药物研发带来 10 到 100 倍的加速
- 为什么攻克所有疾病需要思考 10 倍的突破而非 10% 的提升
Pushmeet Kohli —— Google DeepMind
Sal Candido —— Biohub
- Biohub: https://biohub.org/team/salvatore-candido/
- X: https://x.com/salcandido
- LinkedIn: https://www.linkedin.com/in/salcandido/
Brandon Anderson —— 主持人
时间线
00:00:00 引言:生物学数据的“苦涩教训”
00:01:00 寻找扩展定律与生物学的适用数据
00:04:54 DeepMind 的苦涩教训:解决问题 vs 扩展模型规模
00:06:50 AlphaFold、数据局限性与构建虚拟细胞
00:09:52 手工设计架构 vs 扩展算力
00:11:53 优质数据、归纳偏置与模型设计
00:13:39 超越 Transformer:AI 架构的未来
00:14:38 为什么 AlphaFold 并没有完全解决蛋白质折叠问题
00:17:39 蛋白质动力学、设计与冷冻电镜
00:19:09 从单一蛋白质走向整体生物系统
00:20:43 费曼原理:创造我们所不理解的事物
00:22:18 蛋白质语言模型中隐藏的知识
00:23:48 AlphaFold、可信度与可解释性
00:25:56 AI 能否比人类更好地理解其他 AI 模型?
00:27:43 AI 何时能彻底变革药物研发?
00:29:47 为什么攻克所有疾病需要 10 倍的突破
对话实录
引言:数据领域是否存在“苦涩的教训”?
Brandon Anderson [00:00:04]: 很高兴来到这里。今天上午真是令人振奋,有这么多令人惊叹的消息公布。我认为生物科学的未来正在这里拉开帷幕。这是建模专场分会。我们都是做建模的人,因此谈论数据是很自然的事。
在谈到数据时,我喜欢思考的一件事就是如何正确地对其进行扩展。这让我联想到了“苦涩的教训”(The Bitter Lesson),但换成了数据的视角。对于那些不是 AI 圈内的朋友来说,“苦涩的教训”指的是这样一个论断:能够随着规模扩展(scale)的方法最终都会胜出。只要能够扩展得足够大,它就能赢。所以我的问题首先抛给 Sal:数据领域是否存在“苦涩的教训”?
Sal Candido [00:01:00]: 毫无疑问。显然,为了让它奏效,你必须拥有合适的数据。关于扩展定律(scaling laws)的一个误解是,人们以为扩展定律无处不在、始终存在。实际上,很多工作恰恰在于去找到那个扩展定律。我们的很多工作都是在努力弄清楚:在什么样的情况下,只要投入更多算力、投入更多数据,就能够获得更好的结果?
如果能处于这种境况那就太棒了,因为一旦实现,你就可以像摇曲柄一样持续推进。它就变成了一个工程问题,而这正是我喜欢的事情。这与模型架构有关,但很大程度上也与数据……