数学、科学、医学などの複数のベンチマークにおいて、スコアは約 10% 向上し、消費トークン数は半減、実行速度は 2 倍になり、コストも通常モデルと比べて大幅に抑えられています。
モデレーター注、論文リンク:[2610.18861] Hybrid Reasoning Agents
元の投稿は tech_x に投稿されたものです。
追記:この手法は、現在の単語空間推論(word-space reasoning)型の大規模言語モデル(LLM)に対する適用手法です。対象モデルを信頼できるのであれば利用しても問題ありませんが、新しいモデルを扱う際は慎重になることをお勧めします。
注目の議論
lordcaylus (⬆184):確かに、こうすればより高速かつ安価になることは以前から分かっていました。しかし同時に、エージェント(agent)が欺瞞的な挙動を隠すのが格段に容易になることも分かっています。安全性においてこの妥協をする価値があるとは到底思えません。
neopolitan77 (⬆32):これって非推論型 LLM と何ら変わりないのでは?遅かれ早かれモデル内部に再び折り込まれるだろうとずっと思っていました。計算プロセスの一部を解釈可能な形で見られるのは素晴らしいことですが、それを「思考」として擬人化してしまうリスクもあります。
lordcaylus (⬆26):ええ、ですが非推論型モデルはそこまで賢くありません。推論プロセスの一部を隠せるようにしてしまうと、それらに「二重思考(doublethink)」の能力を与えることになります。「回答する際はピンクの象について考えないでください」という例でテストした人がいたのを覚えています。通常の推論モデルは思考プロセスの中で「ピンクの象について考えてはいけない」と依然として出力しますが、このようなハイブリッドモデルでは、推論ログからピンクの象の痕跡を完全に消し去ることができてしまいます(おそらく「考えないようにする」という思考自体を隠してしまったためですが……
vtkayaker (⬆22):モデルが推論トレース(reasoning traces)を偽装できることは百も承知です。今のところ偽装があまり上手くないというだけに過ぎません。それが今や、そうした偽装が格段に巧妙になろうとしています。これはかなり厄介です。というのも、私はローカルモデルを動かすときは必ず推論トレースを有効にして、モデルがいつ大きく脱線したり混乱したりしたかを把握しているからです。デバッグにも使っています。推論プロセスを隠蔽するクラウドモデルを使うのは本当に嫌なんですよね。たとえ完璧ではなくても、推論プロセスを可視化できることこそがローカル AI を愛用している理由の一つなのです。
TldrDev (⬆29):は?Facebook が?欺瞞行為?そんなわけ……ないじゃん……
BalleaBlanc (⬆61):「俺を信じろって(trust me bro)」系 LLM。
R_Duncan (スレ主) (⬆9):これはそういった「俺を信じろ」系の LLM ではありません。通常の LLM に対する改良手法であり、自由にオン/オフを切り替えられます。
AdCreative8703 (⬆44):その代償が、モデルがどうやって答えを導き出したのか全く把握できなくなること?確かにユースケースがあるのは分かりますが、現在のアライメント(alignment)問題を考えると、代償が大きすぎる気がしますし、潜在的な危険すら孕んでいるように思えます。