跳转到内容
主站 新闻 控制台

我们能否信任大语言模型(LLM)来判断研究想法的新颖性?

· Hugging Face
教程模型卡

📄 论文 | 📊 数据 | 💻 代码

图 5:一个被六个做出不同新颖性判断的 AI 模型所环绕的灯泡。

今天,我们正式发布《旧想法,新问题》(Old Ideas, Novel Problems),这是一项关于大语言模型(LLM)评估科学研究想法新颖性可靠程度的最新研究。伴随论文,我们还同步发布了一个用于测试新颖性评判器(novelty judges)的基准、数据集和代码,以及一套可供研究人员构建新评测集的自动化流水线。

在 Ai2,我们一直在开发能够支持科学发现不同环节的 AI 系统。DataVoyager 帮助研究人员探索和分析结构化数据,AutoDiscovery 负责生成并验证假设,而 Theorizer 则将海量文献中的证据综合提炼为候选科学理论。结合 Asta,这些项目共同构筑起能够帮助研究人员完成从理解既往工作到提出、验证和完善新想法全过程的系统。

但生成科研想法仅仅是自动化科学发现挑战的一部分。这些想法还必须带来真正的新贡献,这意味着此类系统需要有能力将真正具有新颖性的方向与大多只是对现有工作重新包装的方向区分开来。

这种评判通常被交由另一个 LLM——也就是我们所说的“新颖性评判器”(novelty judge)。新颖性评判器用于评估一个科研想法相较于已有工作是否具有新颖性,其评判形式既可以是独立评估某个想法,也可以是对比两个想法。目前构建此类评判器尚无标准方法:各研究团队可以自主选择模型、提示词(prompt)、评测格式、推理算力预算(reasoning budget),有时还会搭配文献检索系统。这些选择都可能对最终判定产生实质性影响。然而,这些评判器往往仅在人类撰写的论文上进行验证,而非它们实际应当评估的 AI 生成想法。

我们最新的基准评测结果表明,新颖性评估本身远谈不上可靠。在对 6 款担任评判器的 LLM(GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6)的测试中,评测设置看似微小的变化都会对同一想法产生截然不同的评判结果。在其中一项实验中,仅修改提示词中的几个词,就会导致模型在识别两个想法中哪一个更新颖时的准确率波动超过 50 个百分点。引入检索和增加推理算力并不能稳定改善评判结果,而两款专门构建的新颖性评估系统的表现甚至还不如仅使用简单提示词的 Claude Opus 4.6 基线。

如果 AI 要在科学发现中扮演更重要的角色,我们就需要更可靠的方法来判断它是否真正提出了新内容。我们的工作为研究这一问题提供了工具,同时也揭示了目前仍有许多悬而未决的挑战。

构建新颖性评判器基准

为了测试新颖性评判器在区分更高新颖性与较低新颖性科研想法时的可靠程度,我们首先需要一批在底层科学贡献原创性方面具备充分证据的样本。

因此,我们围绕 ICLR 2026 的同行评审构建了一条自动化流水线。我们没有将论文是否被录用作为新颖性的替代指标,而是直接挖掘评审意见本身,提取审稿人明确讨论贡献原创性的段落。这种区分至关重要:一篇论文只要在其他方面足够过硬,即使新颖性不高也可以被录用;同样,一篇具有原创性贡献的被拒论文也可能存在其他方面的短板。

我们构建了一个包含 154 个由人类提出的科研想法的“高新颖性候选池”(high-novelty pool):这些样本选自各自 ICLR 研究领域评分前 10% 的已录用论文,且审稿人均正面肯定了其新颖性、没有任何审稿人提出质疑。我们采用相反的标准构建了一个“较低新颖性候选池”(lower-novelty pool):包含来自评分后 10% 的被拒论文中的 145 个想法,审稿人均对其原创性提出了质疑,且没有任何审稿人正面肯定其新颖性。在针对评审挖掘流程的独立抽检中,标注员在 50 个案例中有 47 个与提取出的新颖性信号极性完全一致;且所有分歧均不会改变审稿人究竟是被判定为赞扬还是质疑该论文的新颖性。

这两个候选池共同构成了我们的第一种评测设置——“仅人类”(Human-Only),用于测试新颖性评判器能否区分具有明确高新颖性或较低新颖性证据的人类撰写想法。但在实际应用中,新颖性评判器正越来越多地被用于评估 AI 生成的想法。因此,我们创建了第二种设置——“人类+生成”(Human+Generated)。

针对该候选池,我们将相同的 1