AIスケーリングにおける**「苦い教訓」(Bitter Lesson of AI scaling)から、未だ解明されていないタンパク質折りたたみの謎に至るまで、Google DeepMindのPushmeet KohliとBiohubのSal Candidoは、「生物学を真に理解するAIを創るには、一体何が必要なのか?」を問い直しています。Brandon Andersonがモデレーターを務めたこの特別パネルディスカッションでは、なぜAlphaFoldのブレイクスルーは始まりに過ぎない**のか、なぜ計算資源やデータのスケールアップだけでは生物学の課題を解決できないのか、そして次世代のAIモデルがタンパク質、細胞、そしてヒトの疾患に対する私たちの理解をどのように根本から変革していくのかが語られました。
本セッションでは、AI主導の生物学の未来を深く掘り下げました。生物学的データにおけるスケーリング則(scaling laws)の探求、科学的直観と汎用アーキテクチャのトレードオフ、タンパク質構造予測が完全な解決からは程遠い理由、そして生命システムの予測モデルを構築するために求められるものについて議論しています。PushmeetはAlphaFoldから得られた教訓、人間による解釈可能性の限界、そして将来のフロンティアモデルが人間よりも的確に他のAIシステムを理解できるようになるのかについて考察しました。一方Salは、タンパク質言語モデルには未開拓の科学的知見がすでに内在している可能性があること、生物学的モデリングがいかに単一タンパク質を超えて進化しなければならないか、そしてすべての疾患を克服するというBiohubのミッションを果たすには、漸進的な微修正ではなく10倍の非連続なブレイクスルーを目指す思考が必要である理由を語りました。
ディスカッションの要点:
- 生物学分野における**「苦い教訓」**:計算資源とデータのスケールアップだけでは不十分な理由
- 盲目的にモデルサイズを拡大するよりも、適切な**スケーリング則(scaling law)**を見出すことがなぜ重要なのか
- 低品質なメタゲノムデータ(metagenomic data)が、いかにしてタンパク質言語モデルを向上させ得るか
- なぜAI研究者は最も重要な科学的課題ではなく、現在利用可能なデータに最適化してしまうのか
- DeepMindからの教訓:モデリング、データ生成、科学的専門知識のバランスをいかに取るか
- 仮想細胞(virtual cell)の構築に、根本的に異なるデータセットが必要とされる理由
- AlphaFoldの手作業で設計されたアーキテクチャと科学的直観の役割
- 単にデータ量を増やすことよりも高品質なデータが極めて重要な理由
- 帰納バイアス(inductive biases)、スケーリング則、そして専用AIアーキテクチャの未来
- なぜ私たちはまだポストTransformer時代に到達していないのか、しかしアーキテクチャはどのように進化しているのか
- AlphaFoldは実のところ、タンパク質折りたたみ問題を完全に解決したわけではないと言える理由
- タンパク質のダイナミクス、天然変性(disorder)、そして静的構造予測の限界
- クライオ電子顕微鏡写真(cryo-EM micrographs)が、より豊かな生物学的表現を解き放つ仕組み
- 単一タンパク質モデルから生物システム全体のモデルへの飛躍
- ファインマンの有名な原則と、AIが今や人間が理解できないものをも創り出せる理由
- タンパク質言語モデルの内部に眠る目に見えない生物学的知識
- 完全な解釈可能性よりも、信頼性と不確実性のキャリブレーション(uncertainty calibration)がなぜ重要なのか
- 最先端のAIモデルは、人間よりも巧みに他のAIシステムを説明できるようになるのか
- AIはいつ創薬プロセスに10倍から100倍の加速をもたらすのか
- あらゆる疾患を克服するには、なぜ10%の改善ではなく10倍のブレイクスルーを見据える必要があるのか
Pushmeet Kohli —— Google DeepMind
Sal Candido —— Biohub
- Biohub: https://biohub.org/team/salvatore-candido/
- X: https://x.com/salcandido
- LinkedIn: https://www.linkedin.com/in/salcandido/
Brandon Anderson —— モデレーター
タイムライン
00:00:00 導入:生物学データにおける「苦い教訓」
00:01:00 スケーリング則の探求と生物学に適したデータ
00:04:54 DeepMindの苦い教訓:課題解決 vs モデル規模の拡大
00:06:50 AlphaFold、データの限界、そして仮想細胞の構築
00:09:52 手作業で設計されたアーキテクチャ vs 計算資源のスケールアップ
00:11:53 高品質なデータ、帰納バイアス、モデル設計
00:13:39 Transformerの先へ:AIアーキテクチャの未来
00:14:38 なぜAlphaFoldはタンパク質折りたたみ問題を完全に解決していないのか
00:17:39 タンパク質のダイナミクス、設計、クライオ電子顕微鏡
00:19:09 単一タンパク質から生物システム全体へ
00:20:43 ファインマンの原則:理解できないものを創り出す
00:22:18 タンパク質言語モデルに隠された知識
00:23:48 AlphaFold、信頼性、解釈可能性
00:25:56 AIは人間よりも他のAIモデルを理解できるのか?
00:27:43 AIはいつ創薬に根本的な変革をもたらすのか?
00:29:47 あらゆる疾患の克服に10倍のブレイクスルーが必要な理由
対談全文
導入:データの世界にも「苦い教訓」は存在するのか?
Brandon Anderson [00:00:04]: ここに来られて光栄です。今朝は本当に刺激的で、数多くの素晴らしい発表がありました。生物科学の未来がまさにここから切り拓かれつつあると感じています。本セッションはモデリングをテーマとしています。私たちは皆モデリングに携わっている人間ですから、データについて議論するのはごく自然なことです。
データについて考える際、私が特に意識しているのは「いかに正しくスケールさせるか」という点です。これは、いわゆる「苦い教訓」(The Bitter Lesson)をデータの視点から捉え直すことにも通じます。AI分野に馴染みのない方のために補足すると、「苦い教訓」とは、スケール(規模拡大)可能なアプローチが最終的に勝利するという主張です。十分にスケールさせることができれば、勝利を収めることができる。そこで最初の質問をSalに投げかけたいと思います。データの世界にも「苦い教訓」は存在するのでしょうか?
Sal Candido [00:01:00]: 間違いなく存在します。もちろん、それを機能させるためには適切なデータが必要です。スケーリング則(scaling laws)についてよくある誤解の一つは、それがどこにでも、常に存在していると思われていることです。しかし実際には、そのスケーリング則を見つけ出すこと自体に多くの労力が注がれています。私たちの仕事の多くは、「どのような状況であれば、より多くの計算資源やデータを投入することで、確実に優れた成果が得られるのか」を突き止めることにあります。
もしそのような状況に持ち込めたなら、それは素晴らしいことです。一度確立してしまえば、あとはクランクを回し続けるように前進できるからです。そうなれば純粋なエンジニアリングの課題となり、まさに私が大好きな領域です。これにはモデルアーキテクチャも関わってきますが、大部分はデータが……