コンテンツにスキップ
メインサイト ニュース コンソール

AIの進展は鈍化しているのか?

· Normal Tech (AI Snake Oil) 翻訳済
分析实践

Image 1: AI 作为常态技术

Image 2: AI 作为常态技术

Image 3: 用户头像

AI を「常態技術」としてもっと探る

AI を超知能ではなく、変革的ではあるが普通の技術として捉える。

購読者数 76,000 人以上

AI の進歩は鈍化しているのか?

最近の技術トレンドと、それにまつわる言説を読み解く

Image 4: Arvind Narayanan 的头像Image 5: Sayash Kapoor 的头像

Arvind Narayanan と Sayash Kapoor

2024 年 12 月 18 日

169

16

29

著者:Arvind Narayanan、Benedikt Ströbl、Sayash Kapoor。

2023 年 3 月に GPT-4 が公開されて以来、テック業界の主流の物語は、モデルの継続的なスケーリングが AGI(汎用人工知能)、ひいては超知能をもたらす、というものだった。そうした極端な予測はその後やや下火になったものの、つい 1 か月前までは、AI 業界の一般的な見方は「モデルのスケーリングは当面まだ続く」というものだった。

ところがその後、The Information、Reuters、Bloomberg が相次いで、主要な AI 開発企業 3 社——OpenAI、Anthropic、そして Google Gemini——が次世代モデルで問題に直面していると報じた。いまや、モデルのスケーリングを最も強く支持してきた人物の一人である Ilya Sutskever を含め、業界の多くの人々が、まったく異なるトーンで語り始めている。

「2010 年代はスケーリングの時代でしたが、いまは驚きと発見の時代に戻っています。誰もが次の一手を探しているのです」と、Sutskever は Reuters に語った。「正しいものを適切にスケールすることは、これまでになく重要です。」

どうやら新たな主流の物語は、「モデルのスケーリングは終わった。これからの AI 能力向上の道は『推論スケーリング』(inference scaling)、つまり『テスト時計算量のスケーリング』(test-time compute scaling)だ」というものらしい。その考え方は、モデルを使ってタスクを実行する際に、より多くの計算資源を投入することで、たとえば回答前にモデルに「考えさせる」といった形で能力を引き出す、というものだ。

これにより、AI を注視してきた人々は戸惑っている。AI 能力の進歩は本当に鈍化しているのだろうか。この文章では、その証拠を検討し、次の 4 点を主張する。

  1. モデルのスケーリングが死んだと断言するのは、まだ早すぎる。

  2. モデルのスケーリングが今後も続くかどうかにかかわらず、この論点をめぐる業界リーダーたちの言い分の変わり身の早さは、彼らの予測を盲信することがいかに愚かかを示している。彼らは私たち一般の人々よりも多くを知っているわけではなく、その語りは自らの利害に大きく左右される。

  3. 推論スケーリングは現実に存在し、しかも手つかずの「低い果実」が数多くあるため、短期的には能力が急速に向上する可能性がある。ただし全体としては、推論スケーリングによる能力改善は、予測困難で、しかも分野ごとに偏って現れる可能性が高い。

  4. 能力向上と AI の社会的・経済的影響との結びつきは、きわめて弱い。影響を決めるボトルネックは AI の能力そのものではなく、製品開発のスピードと普及率である。

モデルのスケーリングはもう終わったのか?

今回の急な潮目の変化を生んだ新しい情報は、実のところほとんどない。私たちはこのニュースレターですでに述べたように、モデルのスケーリングには重要な逆風がある。以前、スケーリングを過剰に持ち上げないよう注意を促したのと同じく、いまはモデルのスケーリングを過度に悲観しすぎないよう警戒する必要がある。

いわゆる「これまで通りのスケーリング」は、GPT-4 級モデル以降は終わったと言われてきた。というのも、そうしたモデルはすでに入手しやすいデータソースの大半を使って学習しているからだ。モデルのスケーリングを今後も続けるには新しい発想が必要だということは、以前から分かっていた。したがって、そうした新しい発想の多くが試され、失敗したことを示す証拠がない限り、モデルのスケーリングにはこれ以上余地がないなどとは言えない。

たとえば、多モーダルモデルの学習に YouTube 動画——書き起こしテキストではなく、動画そのもの——を加えることで、新たな能力が開けるかもしれない。あるいは、役に立たないかもしれない。実際に試されるまでは分からないし、すでに試されたかどうかも分からない。なお、これはおそらく Google がやるしかない。というのも、同社が YouTube の学習データを競合他社に提供する可能性は低いからだ。1

それほど不確実性が大きいのに、なぜ叙述はここまで急に反転したのか。理由の一つは、GPT-4 の学習完了からすでに 2 年以上が経ち、「次世代モデルは想定より少し遅れているだけだ」という説明が、ますます説得力を失ってきたからだ。ある企業が問題を認めると、他社もそれに続きやすくなる。堤防にひびが入れば、一気に決壊する。さらに、OpenAI の推論モデル o1 がすでに登場していることも、同社がモデルのスケーリングで問題を抱えていると認める際の逃げ道になっている。つまり、推論スケーリングへ舵を切っただけだと言えば、面目を保てるからだ。

はっきりさせておくと、私たちは、複数の AI ラボがより大規模な学習を実際に行ったものの、対応するモデルを結局リリースできていない、という報道の真実性を疑う理由はない。だが、そこから何が言えるのかは、はっきりしない。大型モデルがなかなか公開されない理由としては、次のようなものが考えられる。

  • 収束に失敗するなどの技術的な難しさ、あるいは複数のデータセンターにまたがる学習で冗長化を実現する際の複雑な問題。

  • そのモデルが GPT-4 級モデルより大して強くないため、公開してもあまり目新しさがないこと。

  • そのモデルが GPT-4 級モデルより大して強くないため、開発者が微調整(fine tuning)で少しでも性能を引き出そうとして長い時間を費やしていること。

要するに、モデルのスケーリングが本当に限界に達している可能性はある。一方で、これらのつまずきは一時的なものにすぎず、最終的にはどこかの企業が技術的難題を解決したり、新しいデータソースを見つけたりして乗り越える可能性もある。

業界人への依存は、もうやめよう

新しい物語がこれほど急速に現れたこと自体も十分に不思議だが、それと同じくらい注目すべきなのは、潜在的な限界があったにもかかわらず、古い物語がこれほど長く続いたことだ……