コンテンツにスキップ
メインサイト ニュース コンソール

研究アイデアの新規性判定において、大規模言語モデル(LLM)を信頼できるか?

· Hugging Face 翻訳済
教程模型卡

📄 論文 | 📊 データ | 💻 コード

図 5:異なる新規性判定を下す 6 つの AI モデルに囲まれた電球。

本日、私たちは大規模言語モデル(LLM)が科学研究アイデアの新規性を評価する信頼性に関する最新研究『Old Ideas, Novel Problems』を正式に公開しました。本論文の公開と併せて、新規性ジャッジ(novelty judges)をテストするためのベンチマーク、データセット、コード、および研究者が新たな評価セットを構築するための自動化パイプラインも提供します。

Ai2 では、科学的発見のさまざまな段階を支援する AI システムの開発に取り組んできました。DataVoyager は研究者が構造化データを探索・分析するのを支援し、AutoDiscovery は仮説の生成と検証を担当し、Theorizer は膨大な文献から得られたエビデンスを総合して科学理論の候補へと昇華させます。Asta と組み合わせることで、これらのプロジェクトは、先行研究の理解から新しいアイデアの提案、検証、改良に至る全プロセスを支援するシステムを共同で構築しています。

しかし、研究アイデアの生成は、科学的発見を自動化する上での課題の一部にすぎません。それらのアイデアは真に新しい貢献をもたらすものである必要があり、これは、そうしたシステムが真の新規性を持つ方向性と、単に既存の研究を焼き直しただけの方向性とを識別できる能力を備えていなければならないことを意味します。

こうした判定は通常、別の LLM——すなわち私たちが「新規性ジャッジ(novelty judge)」と呼ぶもの——に委ねられます。新規性ジャッジは、ある研究アイデアが既存研究と比較して新規性を持つかどうかを評価するために用いられ、その評価形式は単一のアイデアを個別に評価するものから、2 つのアイデアを比較するものまで様々です。現在、こうしたジャッジを構築するための標準的なアプローチは存在しません。各研究チームは、モデル、プロンプト、評価フォーマット、推論計算量予算(reasoning budget)を独自に選択でき、場合によっては文献検索システムと組み合わせることもあります。これらの選択はいずれも、最終的な判定に実質的な影響を与える可能性があります。しかしながら、これらのジャッジは通常、本来評価すべき AI 生成のアイデアではなく、人間が執筆した論文でのみ検証されているのが現状です。

私たちの最新のベンチマーク評価結果は、新規性評価自体が決して信頼できるものとは言えないことを示しています。ジャッジとして機能する 6 つの LLM(GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6)を対象としたテストでは、評価設定のわずかな違いが、同一のアイデアに対してまったく異なる判定結果をもたらすことが判明しました。ある実験では、プロンプト内のわずか数語を変更しただけで、2 つのアイデアのうちどちらがより新規性が高いかを識別するモデルの精度が 50 パーセントポイント以上も変動しました。検索の導入や推論計算量の増加も一貫した判定精度の向上にはつながらず、新規性評価専用に構築された 2 つのシステムに至っては、シンプルなプロンプトを用いた Claude Opus 4.6 のベースラインよりも低い性能を示しました。

AI が科学的発見においてより重要な役割を果たすようになるには、AI が真に新しい内容を提示しているかどうかを判定する、より信頼性の高い手法が必要です。私たちの研究はこの問題を探求するためのツールを提供すると同時に、現時点において未解決の課題がまだ数多く残されていることを浮き彫りにしています。

新規性ジャッジのベンチマーク構築

新規性ジャッジが、より新規性の高い研究アイデアとそうでない研究アイデアをどれほど信頼性高く識別できるかをテストするために、私たちはまず、根本的な科学的貢献の独創性に関する十分な根拠を備えたサンプルを揃える必要がありました。

そこで私たちは、ICLR 2026 の査読(ピアレビュー)をベースにした自動化パイプラインを構築しました。論文が採択されたかどうかを新規性の代替指標とするのではなく、査読コメント自体を直接マイニングし、査読者が貢献の独創性について明確に議論している段落を抽出しました。この区別は極めて重要です。なぜなら、他の側面が十分に優れていれば新規性が低くても採択される論文がある一方で、独創的な貢献を持ちながらも別の欠点によって不採択となる論文も存在するからです。

私たちは、人間が提案した 154 件の研究アイデアからなる「高新規性プール(high-novelty pool)」を構築しました。これらは各 ICLR 研究分野でスコア上位 10% に入る採択論文から選定されたもので、すべての査読者がその新規性を肯定的に評価し、異論を唱えた査読者は一人もいませんでした。一方、その逆の基準を用いて「低新規性プール(lower-novelty pool)」を構築しました。こちらはスコア下位 10% の不採択論文から得られた 145 件のアイデアで構成され、すべての査読者がその独創性に疑問を呈し、新規性を肯定的に評価した査読者は皆無でした。査読マイニングプロセスの独立したスポットチェックでは、アノテーターは 50 件中 47 件で抽出された新規性シグナルの極性と完全に一致しており、すべての不一致においても、査読者が論文の新規性を称賛しているか疑問視しているかという判定が覆ることはありませんでした。

これら 2 つのプールが、私たちの最初の評価設定である「Human-Only(人間のみ)」を構成しています。これは、人間が執筆したアイデアのうち、高い新規性または低い新規性を示す明確な根拠があるものを新規性ジャッジが識別できるかどうかをテストするためのものです。しかし実際の応用現場では、新規性ジャッジは AI が生成したアイデアの評価に使われるケースが増えています。そのため、私たちは 2 つ目の設定である「Human+Generated(人間+生成)」を用意しました。

このプールに対して、私たちは同様の 1

#教程#模型卡#4Allapi.com

4All API チームによる投稿

原文リンク:https://huggingface.co/blog/allenai/novelty-bench

主流 AI モデル API をお探しですか?4All API は OpenAI / Anthropic / Google Gemini / Qwen / DeepSeek など数十種類のモデルを単一の API キーで呼び出せます。公式準拠の価格、エンタープライズ品質の通信路、5 分で接続完了。

4All API コンソールに登録 →