跳转到内容
主站 新闻 控制台

[AINews] Gemini 4 Carbon 登顶榜单,面向网络安全防御者发布

· Latent Space
播客深度访谈

好在我们赶在今天的发布之前上线了关于 Opus 5.5 的播客节目,并在节目中将其称为全球最强模型。

令人非常惊喜的是,Gemini 发布了 Carbon,这是一款比问世仅 3 周的 Argon 更先进的前沿模型(frontier model),且拥有极其出色的基准测试跑分:

这让它在 Artificial Analysis 综合基准榜单上斩获全新第 1,这也可能是 GDM(Google DeepMind)在 AAII 历史上首次拔得头筹:

在 X 上查看帖子 ↗


AI Twitter 简报

Gemini 4 Carbon 登顶独立基准榜单,目前访问权限仅限网络安全防御人员

  • 发布(Launch):Google DeepMind 在 Argon 发布两周后推出了 Gemini 4 Carbon。其定位是在网络安全与长跨度任务(long-horizon tasks)上达到业界最高水平(SOTA)(@sundarpichai,@GoogleDeepMind)。

    • 官方宣称的网络安全测试结果:漏洞挖掘基准 SEC-bench Pro 得分 88.2%,漏洞利用 ExploitGym 得分 54.8%,安全补丁修复 CWE-bench 得分 71.0%(@sundarpichai)。
    • 可用性(Availability):Carbon 首先通过 Fairwind 计划向受信任的网络安全防御人员开放,并承诺“尽快”向更多开发者提供访问权限(@GoogleAI)。
    • 定价(Pricing):Phil Schmid 援引的价格为每百万输入/输出 token 对应 $2/$10(带附加说明)(@_philschmid)。Artificial Analysis 给出的标准价格为 $4/$20,并包含未设截止日期的 50% 首发折扣。上下文缓存输入(Cached input)成本为每百万 token $0.20(@ArtificialAnlys)。
    • 规格参数(Specs):该模型具备 1M token 上下文窗口和 1M 最大输出长度。输入支持文本、图像、视频和语音;输出为文本(@ValsAI)。
  • 安全性指标(Google 官方数据):在 Terminal-Bench 4.0 上的作弊成功率降至 0.0%,作弊尝试率降至 0.4%。无证据主张(unsupported claims)相较 Argon 降低约 2 倍。过度越权执行(overreach)减少 26%,服务不足(under-service)减少 29%(@OfficialLoganK)。

  • Artificial Analysis 评测:Carbon 以 59 分的成绩位列 Intelligence Index v5 榜首。在索引包含的 9 项评测中,有 4 项位居第一:HLE-Diamond、TB-Science、AA-Omniscience 和 AutomationBench(@ArtificialAnlys)。

    • 编程能力(Coding):在 Coding Agent Index(编程智能体指数)中,搭配 Antigravity CLI 的 Carbon 得分为 59,而搭配 Opus 5.5 [max] 的 Claude Code 得分为 62。在 FrontierCode v1.1 上得分为 51%,Opus 为 56%。
    • 知识工作(Knowledge work):Carbon 在 AA-Briefcase 上达到 1609 Elo 分,较 Argon 提升了 126 分。仍落后于 Grok 4.7、Muse Wonder 和 Kimi K3.1 Pro(1678)。
    • 成本(Cost):Carbon 在每个基准测试任务上的花费为 $7.76,相比之下 Opus 5.5 为 $10.04,GPT-6 Astra 为 $6.25。它平均每个任务消耗 123k 个输出 token,比 Opus 减少了 29%。
    • 幻觉率(Hallucination):Carbon 在 Omniscience 测试中以 54 分领跑。其幻觉率虽由 Argon 的 4% 上升至 11%,但依然是已测模型中第二低的水平。Opus 5.5 和 Astra 的幻觉率均为 50%。
  • 其他独立评测:

    • Arena:Carbon 在 Text Arena 位列第 1(1528 分),在 Agent Arena 位列第 2(任务成本中位数为 $1.80),在 Code Arena: WebDev 位列第 4(1768 分)(@arena)。Arena 认为相比 Argon 的进步主要归因于获得更多积极评价、更多已确认的成功执行以及更出色的可控引导性(steerability)(@arena)。
    • Vals:Carbon 在 Vals Index 排名第 2,在 Finance Index 和 Legal Research Benchmark 上位列第 1。其生成的输出 token 数量比 Argon 多出 64%,主要集中在金融、税务和法律任务中(@ValsAI,@ValsAI)。