跳转到内容
主站 新闻 控制台

我做了一个开源 AI 排行榜,可显示你设备能运行的最佳模型

· Reddit · r/LocalLLaMA
Reddit

大家好,我开发了 whatmodel.sh

使用方法如下:

  • 输入你的内存(RAM)和显卡(GPU)配置
  • 查看你可以在本地运行的模型、其排名以及运行命令
  • 在相同的评分标准下,将其与基于 API 的商业模型进行对比

在开发这个工具的过程中我意识到,一台 32GB 内存的 Mac 现在完全可以在本地免费运行得分与 GPT-5 相当的模型(例如 4-bit 量化的 Qwen3.8 27B)。

每个模型的最终综合得分基于 19,731 项已公布的基准测试结果拟合而成,且每项结果都附带原始来源链接。具体评估方法请见 whatmodel.sh/method,其数据集、评分代码及基准测试脚本均已开源:github.com/jakemanger/whatmodel

它也支持在终端中直接运行:curl whatmodel.sh

如果你想参与贡献,项目中提供了一个用于采集真实每秒生成 token 数(tok/s)的基准测试脚本;你也可以在 GitHub 上提交新模型、基准得分及对应的来源。

热门讨论

asankhs (⬆22):你可以从 https://huggingface.co/spaces/LocalLLaMA/local-model-explorer 获取我们已有的数据来进一步改进它,该数据集也是开源的 —— https://huggingface.co/datasets/LocalLLaMA/local-model-explorer-data jakecoolguy (OP) (⬆6):感谢提供数据来源建议!我爬取了大量数据,但刚好漏掉了这个!非常有用。我已经将其作为功能需求记录,现在就去把它加上:https://github.com/jakemanger/whatmodel/issues/6 dadnothere (⬆23):1GB 显存(VRAM)的选项在哪?🥺 jakecoolguy (OP) (⬆10):太难了兄弟!已经为你加上了 1GB、2GB 和 4GB 的选项。后续还需要添加更多小于 1GB 的模型,因为我觉得你现在可能只剩下纯 CPU 和系统内存运行的选项了(如果有人想通过 GitHub Issue 推荐一些,我会非常感激)。 Mihael—Keehl (⬆6):能给拥有 3050/4050 显卡的用户加一个 6GB 显存选项吗? Final_Ad_7431 (⬆20):这类工具总是低估混合专家模型(MoE,比如 35b-a3b 即便在 8GB 显存 + 32GB 系统内存上运行效果也出奇得好),同时又高估了我系统能带动的模型大小(27B 绝对不可能在 8GB 显存上正常跑,除非我能忍受 0.1 tok/s 的龟速)。 lungben81 (⬆7):我的配置是 24GB 显存和 64GB 内存,Qwen flash next 配合 Strata 运行非常流畅(60 t/s),但网站上却显示它只能慢速运行。不过无论如何,网站做得非常棒! roworu (⬆8):这个和 llmfit 有什么区别?我发现它只是缺少针对硬件的 TPS(每秒 token 数)预测。