出典:whatmodel.sh。私が作成したオープンソースの AI リーダーボードです(昨日ここで公開しました)。
すべてのデータポイントは公表済みのベンチマーク結果に基づいています。1,011 件のソース、987 種類のベンチマークにわたる計 22,113 件の結果を網羅しており、各結果には元ソースへのリンクが添付されています。
このチャートにはテキストモデルのデータが使用されています(1,211 のモデル、617 のベンチマークにおける 18,755 件の結果)。
-
14,436 件の結果は第三者による独立した評価によるものです。論文の著者が独自にモデルを実行して得た結果(主に ACL Anthology や arXiv の CC BY ライセンス論文)、Epoch AI、LMArena データセット、EvalPlus、EleutherAI harness などが含まれます。
-
7,677 件は各研究所(ラボ)が自社モデルについて報告したスコアであり、「ラボ報告値(lab-reported)」としてマークされています。
すべてが完全なオープンソースです。データセット(CC BY-SA 4.0 ライセンス)およびスコアリングコード(MIT ライセンス)は https://github.com/jakemanger/whatmodel で公開されており、CSV は https://whatmodel.sh/data/manifest.json からダウンロードできます。各数値は参照元にリンクされており、ソースごとのライセンス種別も記録されています。
インタラクティブ版(任意のモデルをクリックするとスコアとソースを確認可能):https://whatmodel.sh/race
注目の議論
sosuke (⬆69):Anthropic が蒸留「攻撃」をどう減らしたか自慢げに発表しているのを見ましたか? https://www.anthropic.com/research/distillation-defenses 。ユーザーとしては、こういった変更には強い嫌悪感を覚えます。いずれにしても、このトレンドが続くことを願っています。 dennisler (⬆23):Anthropic が出すものをまだ信じているんですか?企業評価額を吊り上げるための PR にすぎませんよ…… enternoescape (⬆24):「蒸留」という言葉を使うのは、意図的にミスリードを誘っているように感じます。そうした行為が全く存在しないと言っているわけではありません。実際にあるのは確かですが、オープンソースモデルが追いついてきたスピードは、「蒸留こそがキャッチアップできた唯一の理由だ」という前提では説明がつかないように思えます。「自分たちだけがこれを成し遂げられるほど賢い」と思い込むこのメンタリティは、実にアメリカらしいですね。もしあるオープンソースモデルが丸 1 か月リードしたら、彼らは何と言うつもりでしょうか?単なる蒸留だけで、どうしてそんなことが可能になるというのでしょう? a_beautiful_rhind (⬆23):まったくその通りではありません。実際にはフロンティアモデルによって生成された合成データセットが使われており、それは LLaMA-1 の時代からずっと行われてきたことです。一方で、斬新なアーキテクチャや推論・デプロイの最適化といった取り組みには全くスポットライトが当たりません。彼らは Anthropic から MLA(Multi-head Latent Attention)や engram でも「蒸留」したとでも言うのでしょうか?まったくおかしな話です。 Macestudios32 (⬆104):たとえ 2 年遅れていようと……(型落ちだとしても)自分の手元に所有できることは、最新モデルをレンタルするよりも優れています。 jakecoolguy (OP) (⬆29):個人的には、7 か月前のモデルの時点ですでに十分強力だったので、ここまで来ているだけでも信じられないほど素晴らしいことだと思います。 jakecoolguy (OP) (⬆1):同感です! jakecoolguy (OP) (⬆1):そうですね、データを見る限り、アメリカの研究所がクローズド化(今や OpenAI ではなく “Closed AI” になっていますね)したことに起因しているように思えます。ただ正直なところ、中国の研究所がこの領域で成し遂げていることは本当に目を見張るものがありますし、その加速は今も続いています。