コンテンツにスキップ
メインサイト ニュース コンソール

オープンウェイトモデルとフロンティアモデルの実態

· Reddit · r/LocalLLaMA 翻訳済
Reddit

現在の SOTA(最先端)モデルが依然としてオープンソースモデルを一歩リードしているのは明らかです。しかし、ベンチマークを適切に精査してみると、ほんの数か月前とは状況が大きく様変わりしていることがわかります。

今や、オープンソースモデルの性能は Sonnet 5 を超えるまでに至っています。以前は Sonnet 4.6 や 3.7 の性能水準に追いつき追い越すのに数か月もかかっていたことを考えれば、これは劇的な変化です。(Dario も焦っていることでしょう)

正直なところ、「Spark Open」はバージョン 1.2 相当の性能が出れば御の字だと思っていましたが、いずれにせよ、適切なコンテキストを踏まえてベンチマークデータを見れば、これはオープンソースエコシステムにとって途方もない好材料です。

あとは、Qwen 4 や GLM などのモデルがさらに勢力図を塗り替えていけるかどうかにかかっています。しかし、本質的な結論を言えば、Sonnet 5 や Astra に厳密に依存していないユーザーであれば、もはや有料の商用クローズドモデルを卒業しても何ら問題ないレベルに来ています。

注目のディスカッション

Nexter92 (⬆93): アメリカ勢はどうやらループ型 Transformer(looped transformers)へとシフトしつつあるようだ。中国のベンダーも来月か 2027 年までには追いついてくるだろうから、少し待てばいい。https://www.reddit.com/r/singularity/comments/1wyu0ss/microsoft_has_accidentally_revealed_gpt61_sol/ rkoy1234 (⬆32): 「もう一度考えて(think again)」とプロンプトで打つのは、実質的にプアマンズ・ループ型 Transformer だよな、わかってるよ 頭トントン EstarriolOfTheEast (⬆18): その手の「ループ型」Transformer は、レイヤーを共有して深度を稼ぐための一つの手法に過ぎず、うまく扱えば Experts myopia(エキスパートの近視眼性)の問題も緩和できる。だが、性能の真の秘訣はアーキテクチャの小手先の調整ではなく、データと強化学習(RL)のトレーニング環境にある。それに、現時点でこれがリークされたと噂されているのも Sol だけだ。Astra についても同様の推測はできるかもしれないが、仮に両者がそうだったとしても、Opus については依然として未知数だし、Opus の使い心地のスムーズさは Sol や Astra よりもはるかに優れている。 Radiant_Cheesecake19 (⬆34): 個人的にさらに頭が痛いのは検閲問題だ。Anthropic のモデルは、少しでも「アライメントに反する」と判断したコンテンツは容赦なく弾いてくる。例えばサイバーセキュリティ関連のタスクだ。さっきブルーチーム用のテスト環境(blue team harness)を作ろうとしたら即座にブロックされた。一方で中国系のモデルなら問題なく使わせてくれる。実際に他所をハックしている側の企業(Anthropic)が、ユーザーのハッカー対策を拒否してくるなんて笑い話にもならないよ(笑)。 Character_Split4906 (⬆50): 正直なところ、オープンウェイト(オープンソース)モデルだけでも主要なユースケースの 99% はこなせる段階に達したと感じている。残り 1% の極端なコーナーケースに遭遇する確率なんてごくわずかで、ほぼ無視できるレベルだ。仕事終わりに 2 ノードの Spark 環境で GLM 5.3 Flash を走らせているが、商用モデルとの差はほとんど体感できない。面白そうなアプリのアイデアをいくつか開発しつつ、Spark であれこれいじって楽しんでいるよ。 cosmicnag (⬆15): GLM Flash はマジで神(GOATed)だわ。 Upstairs-Extension-9 (⬆29): おいおい、あんたが動かしてるのは 1 万ドルもするシステムじゃないか。比較になるわけないだろ 😭 NoFaithlessness951 (⬆27): なんでそんなに Sonnet 5 に執着してるんだ? リリース当初からひどいモデルだったろ。それに MiMo v2.6 Pro のことも見落としてる。あれこそが現在最強のオープンソースモデルで、実質的にパレートフロンティア(pareto frontier)に位置しているぞ。