来源:whatmodel.sh,一个由我构建的开源 AI 排行榜(昨天在此发布)。
每个数据点均来自已公开发布的基准测试结果:涵盖来自 1,011 个来源、987 项基准测试的 22,113 条结果,且每条结果都附有其原始发布出处的链接。
该图表采用了文本模型的数据:包含 1,211 个模型在 617 项基准测试中的 18,755 条结果。
-
14,436 条结果来自独立评估:由论文作者自行运行模型得出(主要来自 ACL Anthology 和 arXiv 的 CC BY 授权论文)、Epoch AI、LMArena 数据集、EvalPlus、EleutherAI harness 等。
-
7,677 条是各大实验室为其自身模型报告的得分,标记为实验室自报(lab-reported)。
所有内容完全开源:数据集(遵循 CC BY-SA 4.0 协议)和评分代码(遵循 MIT 协议)均发布在 https://github.com/jakemanger/whatmodel ,CSV 下载地址为 https://whatmodel.sh/data/manifest.json 。每个数字都链接回其出处,并记录了每个来源的许可证类型。
交互版本(点击任意模型即可查看其得分与来源):https://whatmodel.sh/race
热门讨论
sosuke (⬆69):你看到 Anthropic 为他们如何减少蒸馏“攻击”而欢呼了吗 https://www.anthropic.com/research/distillation-defenses ,作为用户,我非常反感这些改动。不管怎样,我希望这种趋势能继续下去。 dennisler (⬆23):你还信 Anthropic 发布的任何东西吗?不都是为了拉高估值的公关手段罢了…… enternoescape (⬆24):感觉用“蒸馏”这个词是有意为之的不恰当。我并不是说这种情况不存在,因为它确实存在,但开源模型追赶的速度,似乎无法用“这是它们赶上的唯一原因”这一前提来解释。这种自以为只有自己才足够聪明能做成某件事的心态,非常符合美国的做派。如果某个开源模型领先了整整一个月,他们又会怎么说?如果仅仅是靠蒸馏,这怎么可能做得到? a_beautiful_rhind (⬆23):根本不是那么回事。其实是用前沿模型生成的合成数据集,这种做法从 LLaMA-1 时代就一直在发生。与此同时,新颖的架构或部署推理优化却从未受到任何关注。难道他们从 Anthropic 那里“蒸馏”出了 MLA(多头潜在注意力)或者 engram(记忆印痕)?真有意思。 Macestudios32 (⬆104):即便落后两年……拥有它(即使已经过时),也胜过租用最新的模型。 jakecoolguy (OP) (⬆29):我是说,7 个月前的模型能力就已经非常强了,所以在我看来这已经相当了不起了。 jakecoolguy (OP) (⬆1):同意! jakecoolguy (OP) (⬆1):是的,根据我对数据的观察,我认为这似乎源于美国实验室转向闭源(比如现在的“Closed AI”,而不是 OpenAI)。不过说实话,中国实验室在这方面做得确实非常令人惊叹,而且还在持续加速。