很明显,当今的 SOTA(业界顶尖)模型仍然领先于开源模型。然而,如果我们对基准测试(benchmark)进行恰当的筛选,就会发现情况与几个月前相比已大不相同。
如今,开源模型的表现已经超越了 Sonnet 5。这是一个重大转变,毕竟此前追赶并超越 Sonnet 4.6 或 3.7 的性能水平花费了数月之久。(Dario 要紧张了)
说实话,我原本以为“Spark Open”能达到 1.2 版本的水平就不错了;但无论如何,如果结合恰当的背景来看基准测试数据,这对于开源生态系统而言都是极大的利好。
现在就看 Qwen 4 和 GLM 等模型能否进一步打破平衡了。但真正的结论是:对于那些并不严格依赖 Sonnet 5 或 Astra 的人来说,现在完全可以放弃付费的闭源商业模型了。
热门讨论
Nexter92 (⬆93): 美国似乎已经转向循环 Transformer(looped transformers)了。中国厂商下个月或者 2027 年前就会追上来,稍等等就好。https://www.reddit.com/r/singularity/comments/1wyu0ss/microsoft_has_accidentally_revealed_gpt61_sol/ rkoy1234 (⬆32): 输入“再想想(think again)”不过是穷人版的循环 Transformer 罢了解 敲脑袋 EstarriolOfTheEast (⬆18): 那种“循环”Transformer 只是通过共享层来增加深度的一种方式,如果处理得当,还能缓解专家模型近视(Experts myopia)的问题。然而,数据和强化学习(RL)训练环境才是性能的真正秘诀,而不是这种架构上的微调。此外,目前也仅仅是 Sol 疑似泄露了这点。Astra 或许也可以这么推测,但即便两者皆是如此,我们对 Opus 还一无所知,而使用 Opus 时的顺滑程度可比 Sol 或 Astra 强多了。 Radiant_Cheesecake19 (⬆34): 让我更头疼的是审查问题。Anthropic 的模型会审查任何它们觉得“不对齐”的内容。比如网络安全任务。我刚才尝试用它搭建蓝队测试环境(blue team harness)直接就被拦截了。中国模型就允许这么做。真正去黑别人的公司(Anthropic)居然拒绝让你防范黑客,真是太可笑了,哈哈。 Character_Split4906 (⬆50): 老实说,我觉得我们已经达到了这样一个阶段:即便只是开源权重模型,也能搞定 99% 的主流使用场景了。我认为遇到那最后 1% 极端场景的概率极低,几乎可以忽略不计。我在工作之余一直在双节点 spark 上跑 glm 5.3 flash,几乎感觉不出区别。我正用它开发几个自己觉得好玩的应用点子,顺便用 spark 修修补补。 cosmicnag (⬆15): glm flash 简直太封神(GOATed)了。 Upstairs-Extension-9 (⬆29): 哥们儿,你跑的是一套价值一万美元的系统,这有什么可比性 😭 NoFaithlessness951 (⬆27): 你为什么非要抓着 Sonnet 5 不放,它刚发布那会儿就是个烂模型。另外你还漏了 MiMo v2.6 pro,它才是目前最强的开源模型,实际上已经处于帕累托前沿(pareto frontier)了。