コンテンツにスキップ
メインサイト ニュース コンソール

お使いのデバイスで動く最適なモデルがわかるオープンソースAIランキングを作りました

· Reddit · r/LocalLLaMA 翻訳済
Reddit

みなさん、こんにちは。whatmodel.sh を開発しました。

使い方は以下の通りです:

  • お使いのメモリ(RAM)とグラフィックボード(GPU)の構成を入力する
  • ローカル環境で実行可能なモデル、そのランキング、および実行コマンドを確認する
  • 同一の評価基準のもと、商用APIモデルと性能を比較する

このツールを開発する中で気づいたのですが、32GBメモリを搭載したMacであれば、現在ローカルかつ無料でGPT-5相当のスコアを出すモデル(例:4-bit量子化された Qwen3.8 27B など)が十分に動かせます。

各モデルの最終総合スコアは、公開されている19,731件のベンチマーク結果をもとに算出されており、すべての結果に一次ソースへのリンクが付いています。具体的な評価方法については whatmodel.sh/method をご覧ください。データセット、スコアリングコード、ベンチマークスクリプトはすべてオープンソースとして公開しています:github.com/jakemanger/whatmodel

ターミナルから直接実行することも可能です:curl whatmodel.sh

コントリビューションも歓迎しています。プロジェクト内には実際の1秒あたりの生成トークン数(tok/s)を計測するためのベンチマークスクリプトを用意しているほか、GitHub 上で新しいモデルやベンチマークスコア、その情報源を提供いただくことも可能です。

注目のディスカッション

asankhs (⬆22):改善のためのデータとして、私たちが作成した https://huggingface.co/spaces/LocalLLaMA/local-model-explorer を活用できるかもしれません。このデータセットもオープンソースで公開されています —— https://huggingface.co/datasets/LocalLLaMA/local-model-explorer-data jakecoolguy (OP) (⬆6):データソースの提案ありがとうございます!大量のデータを収集したのですが、これは完全に見落としていました!とても助かります。機能要望として起票したので、さっそく追加作業に取り掛かります:https://github.com/jakemanger/whatmodel/issues/6 dadnothere (⬆23):VRAM 1GBの選択肢はどこですか?🥺 jakecoolguy (OP) (⬆10):それはなかなか厳しいですね!リクエストにお応えして 1GB、2GB、4GB の選択肢を追加しました。現状だと純粋なCPUとシステムメモリだけで動かすしかなさそうなので、今後は1GB未満のモデルももっと拡充していく必要がありますね(GitHubのIssueでおすすめのモデルを教えてもらえると非常に助かります)。 Mihael—Keehl (⬆6):3050/4050 ユーザー向けに VRAM 6GB の選択肢も追加してもらえませんか? Final_Ad_7431 (⬆20):この手のツールは決まって Mixture of Experts(MoE。例えば 35b-a3b はVRAM 8GB + システムRAM 32GB でも驚くほど快適に動作します)を過小評価し、逆に自分のマシンで動かせるモデルサイズを過大評価しがちです(0.1 tok/sという超激遅スピードを許容できるのでなければ、VRAM 8GBで27Bがまともに動くわけがありません)。 lungben81 (⬆7):私の環境は VRAM 24GB、RAM 64GB で、Qwen flash next と Strata の組み合わせだと非常にスムーズ(60 t/s)に動作するのですが、サイト上では「低速でしか動かない」と判定されてしまいます。いずれにしても、とても素晴らしいサイトですね! roworu (⬆8):これと llmfit は何が違うのでしょうか?ハードウェアごとのTPS(1秒あたりのトークン数)予測がないくらいに見えますが。