Googleを離れた理由の一つ：小規模チームだからこそ、極限まで集中できる！
Geminiは初期のCodingに関しては、確かにあまり得意ではなかった
さすがJeff Dean、実直な人だ。
Googleを退職してから初めて行った公開インタビューで、彼はもう隠すことなく、まさに「元社員による古巣への率直な批評」を繰り広げた。
Stanford 2026 Frontier & Pioneer Symposiumで、Jeff Deanはこれまであまり公に詳しく語ってこなかった話題を、次々と語った——
なぜGoogleを離れたのか、なぜGeminiはうまくいかなかったのか、自身の研究の秘訣、新会社Discovery Loopが今後何に賭けるのか……インタビューでは、そうした話をすべて率直に明かしている。
インタビュー全体を通して、情報量は非常に多かった。今回Jeff Deanが示した主な見解は、次のようにまとめられる。
- AIのサイバーセキュリティ能力は、すでにトップクラスの人間の攻撃者に匹敵し、さらにその先に達している可能性がある。
- TensorFlowには当時、明確な失敗が二つあった。Jeff Dean自身もそれを認めている。
- 科学実験の1回の反復にかかる時間は、将来的には1日、1週間から1分、1時間へと短縮される可能性がある。
- Jeff Deanが本当に目指している再帰的な自己改善は、モデルのパラメータ、学習データ、Eval、さらにはモデルアーキテクチャそのものまで対象にする。
- 画期的な研究テーマを探す際には、論文を1本精読するより、まず10本、さらには100本の論文の概要に目を通すほうがよい。
以下は、今回のインタビューの主な内容を記録したものだ。核心となる発言を中心に抜粋・整理しており、一部の文章は原意を変えない範囲で適宜省略・修正している。
Geminiは初期のCodingに確かに弱さがあった
**Q：**Geminiの開発を振り返って、最も意外だったことは何ですか？次世代のAIシステムに生かせる経験には、どのようなものがありますか？
**Jeff Dean：**Geminiは実際のところ、Google社内で比較的早い時期に始まった複数の研究プロジェクトが、最終的に一つに統合されたものです——
当初のDeepMind、Google Brain、そしてGoogle Researchの他のチームによる研究などが含まれます。
当時、私たちは次第に、皆が実際には非常によく似た方向に進んでいることに気づきました。
たとえば、モデルの規模を絶えず拡大すると同時に、複数のチームがそれぞれ、言語モデルにマルチモーダル能力を持たせ、画像などの情報を理解できるようにする方法を研究していました。
そこで私は当時、1ページのMemoを書きました。「それぞれが別々に取り組むのは少しばかげている。直接協力すべきだ」と考えたのです。
人材、アイデア、計算リソースを統合し、最初からマルチモーダル能力を備えたモデルを学習させる。そして、Google社内の複数の研究組織から最高の人材を集める、という構想でした。
その後、私はOriol VinyalsとともにGeminiプロジェクトを立ち上げ、当初は共同技術責任者を務め、これらのチームを実際に統合しました。
今振り返ると、最初からモデルにマルチモーダル能力を持たせたことは、非常に成功した判断でした。
最終的に、さまざまなタスクに利用できるモデルを目指すのであれば、テキスト、言語、コード、画像、動画、音声、その他のモダリティを同時に理解できるべきだからです。
当時は学習データにLiDARデータまで一部加えていました。少なくともモデルに、LiDARというデータ形式の存在を認識させるためです。後にGeminiをさらに学習させる際、LiDARが重要な応用分野になる可能性もありました。
しかし当時、私たちはモデルに多くのことを高い水準でこなしてほしいと考えていました。そのため、GeminiのCoding能力を本当に驚くべきレベルまで高めることを、私たちは少し重視するのが遅かったと思います。
後になってその点に気づき、追いつくための努力を続けました。現在は、非常に優れた取り組みがいくつか進められています。
また、Codingは非常に重要な能力だと思います。
モデルのCoding能力を専門的に高めると、最終的には推論能力の高いシステムが得られることが多いからです。コードを書くには、問題を一つひとつ段階的に処理し、複雑な問題を複数のサブ問題に分解して、それぞれを解決する能力が求められます。
そのため、Coding能力が向上すると、その能力は通常、Coding以外の多くのタスクにも応用されます。
TensorFlowには当時、明らかな失敗が二つあった
**Q：**TensorFlowを振り返って、当時の設計で、今なら考え直すと思う点はありますか？もし今もう一度作り直すなら、どこを変えますか？
**Jeff Dean：**当時、いくつかの点で確かにうまくできていなかったと思います。
第一に、当初はEager Executionのようなモードを導入しなかったことです。
その後、この方式はPyTorchやJAXなどのフレームワークで非常に広く使われるようになり、TensorFlowにも後から導入されました。これは抽象化全体をよりよいものにしたと思います。
もう一つの問題は、TensorFlowをオープンソース化した際に、contribというサブディレクトリを設け、外部の多くの開発者がさまざまな補助ライブラリや異なる実装方法を提供できるようにしたことです。
その結果、コミュニティに大きな混乱を招きました。同じことを実現する方法が、徐々に10通りも存在するようになったからです。どれを使うべきかは、contribのどのサブディレクトリやライブラリを使うかによって変わりました。
今振り返ると、当時はTensorFlowのコアをもっとシンプルに保ち、これらをコア上に構築される外部ライブラリとして扱うべきでした。
もし今日もう一度作るなら、同じ設計にはしないでしょう。
もちろん、TensorFlowは全体として、多くの人が実際に機械学習に触れ始めるきっかけとなり、共通のフレームワークを使って、それぞれが関心を持つ問題を解決できるようにもしました。この点は非常に価値があったと思います。
Googleを離れた理由の一つ：小規模チームだからこそ、極限まで集中できる！
**Q：**なぜGoogleを離れて起業することを選んだのですか？大企業と比べて、小規模チームが最先端AIの研究に取り組むうえで、どのような強みがありますか？
**Jeff Dean：**私はGoogleで過ごした27年間を、本当に楽しんでいました。そこで非常に優秀な同僚たちとも出会いました。
ですから、Googleは今、とてもよい状態にあると思います。Googleには独自の計画があり、これからもGeminiモデルを非常に優れたものへと発展させていくでしょう。一方で、私自身も外に出て、今取り組もうとしていることを始めるのを楽しみにしています。
非常に専門性の高い小さな会社で、全員が一つの使命を中心に働くという状態には、それ自体に大きな魅力があります。
しかも、今は以前とは条件が大きく異なります。クラウドコンピューティングの発展や、さまざまなクラウドプラットフォーム上で大規模な機械学習向け計算資源が利用できるようになったことで、小さなチームでも資金を調達し、こうしたインフラを直接利用できるようになりました。すべてをゼロから構築する必要はありません。
そのため、少人数のグループが夢やビジョン、あるいは特に探究したい方向性を持っていれば、今では非常に小規模な組織でも取り組むことができます。
Googleやその他のクラウドサービスプロバイダーに依存し、多くの大規模なインフラ作業を担ってもらうことができます。
私たちにとって、現在小さな会社として最もエキサイティングな点は、科学とエンジニアリングの自動化に非常に集中して取り組めることです。
率直に言えば、これはおそらくGoogleの内部にいても実現できたでしょう。
しかし、もし10人ほどしかおらず、パロアルトのどこかのオフィスで全員がこの一つのことだけに集中していれば、大規模組織にありがちなささいな雑音の多くを、直接回避できます。
もちろん、大企業にも素晴らしい点はたくさんあります。この数年間、私はGoogleで多くの深い友情を築きましたし、大企業だからこそ提供できるリソースやサポートからも大きな恩恵を受けました。
だからこそ、そうした支援から離れることには、確かに少し不安もあります。同時に、とてもエキサイティングなことでもあります。
Googleを離れた後、科学的発見を自動反復可能なLoopにしたい
**Q：**最近では、再帰的な自己改善について議論される機会が増えています。AIシステムが自らを改善する方法を継続的に学習し、AIの発展をさらに加速させることは可能なのでしょうか？この点をどう考えていますか？
**Jeff Dean：**機械学習を使って機械学習を改善するという考えは、実際には何年も前から研究されてきました。
私の共同創業者であるQuoc Leは、早い時期からNeural Architecture Searchに取り組んでいました。これは、モデルに自動的にモデルアーキテクチャを生成させ、学習速度やトレーニングコストなどの指標に基づいて継続的にフィードバックを与え、より優れた設計を徐々に見つけていくものです。
その後、彼らはEvolved Transformerにも取り組みました。進化アルゴリズムによってTransformerの構成要素を再組み合わせし、最終的に標準的なTransformerよりも約30％高い効率を持つアーキテクチャを見つけました。
そのため私は以前から、AIにAIそのものの改善に参加させることは、非常に重要な方向性だと考えてきました。
再帰的な自己改善が本当に解決すべき課題は、モデル構築に必要な一連の要素すべてを、自動化によって継続的に改善できるようにすることです。
現在は通常、モデルの品質向上にどのようなデータが最も役立つのか、モデルを評価するにはどのようなEvalが必要なのか、どのようなモデルアーキテクチャを選ぶべきなのかを、それぞれチーム全体で研究しています。
私は、これらの工程は将来的に、非常に効果的な自動化Loopを形成できると考えています。それぞれの部分を継続的に最適化し、その結果を組み合わせることで、最終的にはモデル全体の能力や品質、データの組み合わせを改善していくのです。
実際、現代の科学やエンジニアリングにおける多くの問題を詳しく見てみると、似たような構造を持っていることがわかります。
まず大きな問題を提起し、それを多数のサブ問題に分解する。そして、あるサブ問題に対する解決策を考え、その案を実装し、実際に実験を行い、実験結果を評価する。
次に、実験で得られた結果をフィードバックし、そのフィードバックをもとに、次にどのような実験を行うべきかを決めます。
これは、最も基本的な科学的方法そのものです。エンジニアリング設計も同じで、設計を繰り返し改善し、さまざまな案の特性を比較していきます。
私たちが目指しているのは、こうした完全なLoopを、ますます自動化していくことです。
Discovery Loopの目標：「20人の博士」に匹敵する研究能力を一つのモデルに持たせる
**Q：**先ほど再帰的な自己改善について話されましたが、それは設立したばかりの新会社とも関係があるように思えます。具体的には何をしようとしているのでしょうか？
**Jeff Dean：**新会社Discovery Loopの背後にあるアイデアは、機械学習、科学、エンジニアリングを自動化し、さまざまな分野で科学的発見が生まれる速度を高めることです。
最初は、間違いなく少数の分野に集中します。初期段階では、ある程度の集中を維持することが非常に重要だからです。
しかし、異なる分野の間には、再利用できる基盤や汎用的な技術が数多く存在すると考えています。
さらに、さまざまな科学・工学分野を本当に理解するモデルを構築できれば、一つのモデルに、20分野近くでPhDレベルの専門能力を同時に持たせられる可能性があります。
20の異なる分野で博士号を取得できる人間は、誰もいません。
しかし、モデルがそのような能力を備えれば、大きな問題の中で本当に重要なサブ問題は何かを判断し、AgentやMulti-Agentシステムを割り当てて、それぞれのサブ問題を解決できるようになります。
そして、各サブ問題の結果を再び組み合わせて、大きな問題全体に対する解決策を形成し、このサイクルを継続的に繰り返すのです。
さらに私たちは、このサイクルをますます高速に回せるようにしたいと考えています。適切なツールを構築し、システムが実験を非常に短時間で実行したり、実験を評価したりできるようにするのです。
そうすれば、これまで1日、あるいは1週間かかっていた実験の1回の反復が、将来は1分、または1時間で完了する可能性があります。
それだけでなく、何千回もの実験を同時に実行し、そこからフィードバックを得て、そのフィードバックをもとに次に行う実験群を判断することもできます。
そのため私たちは、実験を実行する速度と、実験そのものの質という二つの要素を同時に高めたいと考えています。
この二つを継続的に向上させることができれば、最終的に非常に驚くべき成果が生まれると思います。
論文を1本精読するより、10本、さらには100本の概要に目を通すほうがよい
**Q：**ある技術が本当に基礎的な価値を持つのか、それとも単に現在注目されているだけなのかを、どのように判断していますか？研究やエンジニアリングにおいて、変わることのない原則はありますか？
**Jeff Dean：**私は学生たちによくこう話します。論文を1本、非常に丁寧に読み終えるよりも、10本の論文にざっと目を通すほうがよい場合があります。
そうすれば、「どのようなことが実現可能になりつつあるのか」について、頭の中に10個のアイデアが増えるからです。場合によっては、100本の論文の概要にざっと目を通してもよいでしょう。
本当に身につけたいのは、それまで結びついていなかった重要なアイデア同士を結びつける能力です。
難しい問題に直面したとき、さまざまなことが漠然と実現可能になりつつあると知っていれば、問題全体を捉え直す助けになることがあります。
最初は、その問題が7つの要素から成り、そのどれも解決不可能に見えるかもしれません。しかし、もう一度見直してみると、そのうち5つの方向性ではすでに研究が進み始めており、問題の一部を解決するには十分かもしれないと気づくことがあります。
そして残りの二つについては、現時点ではどうすればよいのかまったくわからない。しかし本気で取り組めば、解決できる可能性があります。
私にとって、本当に長期的に取り組む価値があるのは、こうした問題です。5年がかりで取り組むことになるかもしれません。
もし問題の解決に20年かかりそうで、現時点ではどの部分をどう突破すればよいのかさえまったく見えていないなら、通常はまだ時期尚早です。
同様に、2年で完成でき、具体的な道筋も非常に明確な問題は、どちらかといえば実務的なエンジニアリングの領域です。
本当に探す価値があるのは、非常に異なるアプローチが必要になる可能性がありながら、同時に実現可能性が見え始めている問題です。
私がよく使うもう一つのエンジニアリング上のツールは、オーダーの概算を素早く行うことです。たとえば、これだけのデータを処理するには、どれくらいの時間がかかるのか。このネットワークを通じてデータを転送するとしたら、そもそも実現可能なのか。100年かかるのか、それとも10秒で済むのか。
10秒と100年では、まったく意味が違います。
だからこそ、第一原理とエンジニアリングの経験を使い、さまざまな解決策がどの程度のオーダーにあるのかを、頭の中で素早く判断できなければなりません。
私に魔法のような答えがあるわけではありません。最終的にうまくいかなかったことも数多くあります。だから、もう一つアドバイスするとすれば、
成功しないかもしれないことにも、できるだけ多く挑戦してみることです。その中には、必ず成功するものもあります。
AIはトップクラスの人間ハッカーができることを、すでに実行できる。さらにその先に進む可能性もある
**Q：**サイバーセキュリティ分野でAIの能力が急速に高まっていることについて、どう見ていますか？
**Jeff Dean：**こうしたモデルは、他の多くのテクノロジーと同じように、さまざまな用途に利用できます。
大半の応用は、世界全体に非常にポジティブな影響をもたらすと思います。
たとえば医療AIや教育AIは、これまで人々が自力では解決するのが難しかった問題の解決を助け、より多くのことを成し遂げられるようにします。これは非常にエキサイティングなことです。
しかし、モデルはセキュリティ上の脆弱性を探すためにも使えるため、ここには確かに両刃の剣という側面があります。
現実世界に数多く存在するセキュリティ脆弱性を発見して修正するために使える一方で、悪意あるユーザーが同じ能力を利用して、そうした脆弱性を攻撃することもできます。
現在、こうしたモデルは、すでに高度な人間のサイバー攻撃者が実行できることの一部を実行でき、さらにその先に進んでいる可能性さえあります。
同時に、非常に優秀な人間のサイバー防御エンジニアでさえ見つけられない可能性がある脆弱性を発見することもあります。
そのため、サイバーセキュリティではこれまで常に、攻撃側と防御側の間で均衡が保たれてきました。一方ではコンピューターシステムを守ろうとする人々が努力し、他方ではそのシステムを攻撃しようとする人々が努力しています。今では、双方が手にするツールがはるかに強力になっています。
私はサイバーセキュリティの専門家ではありませんが、これは確かに懸念すべき問題だと思います。モデルにさせたくないことについては、法律や規制などの非技術的な手段も必要になるかもしれません。
最終的には、社会全体で、モデルに何をしてほしいのか、また何をさせたくないのかを徐々に明確にしていく必要があります。
参考リンク：