スタンフォード大学がLLMに関する著名な研究知見50件を再検証：44%がもはや成立せず

大規模言語モデル（LLM）に関して発表された知見は、どのくらいの期間有効であり続けるのか。スタンフォード大学の研究者であるOwen Queen氏とJames Zou氏は、2026年11月2日、この問いに答える研究を発表した。両氏は、架空引用の生成からユーザーへの過度な迎合に至るまで、広く引用されている50件の知見を取り上げ、8つの開発元から2024年7月から2026年9月の間にリリースされた20モデルを対象に再検証を実施した。その結果、これら知見の44%がもはや成立していないことが判明した。

大規模な再現実験の手法

各知見について、著者らは原著論文の指標を再現し、当時のモデル（提供終了の場合は類似のモデル）で結果が再現されるかを確認した上で、最新モデルに同一のテストを実施した。各効果は共通の尺度に標準化されており、「1」は原著論文の効果、「0」はその効果が存在しない状態を示す。効果が5分の1以下に低下した場合、その知見は期限切れ（失効）と判定される。著者らは、手作業よりもはるかに迅速にこれらの分析環境を構築するため、Claude CodeやCodexといったコーディングエージェントを使用したと述べている。

期限切れに至る期間の中央値は14.7か月と推定されている。発表から1年後には知見の16%が失効し、2年後には39%に達する。

能力面の欠陥は消え、行動の傾向は残る

最も急速に解消されつつあるのは、能力面の欠陥だ。単語の文字数を数える、別の記数法で計算する、長文の中から情報を見つけ出す、ユーザーに反論されると正解を撤回してしまうといった挙動がこれに当たる。最も分かりやすい例が架空の引用である。2023年の研究では、ChatGPTにおいて55%の参考文献が捏造されていた。今回の著者らの測定では、GPT-3.5 Turboで59%、Claude Sonnet 5.5で約1%、GPT-6.1 Solでは0%となっている。ただし、同一テストにおいてQwen3.7-Flashはいまだに参考文献の69%を捏造しているとも指摘されており、全体的な傾向が個別の特定モデルにそのまま当てはまるわけではない。

一方で持続しているのは、むしろモデルの嗜好や行動傾向である。ユーザーにおもねって意見を合わせる迎合、ジャッジ役のモデルが自らの生成した回答を高く評価する自己選好、自由形式の設問に対する判で押したような均一な回答、左派的な政治傾向、回答を控えるべき状況でも無理に回答してしまう振る舞いなどが挙げられる。正解が存在するエラーは測定が容易で学習時に修正しやすいが、行動傾向の修正ははるかに困難であるためではないかと著者らは推測している。

なお、著者らは本研究の限界として、各知見につき1つのプロトコルしか検証していない点、元モデルが入手不能な場合に代替モデルを用いた点、初期期間の対象モデル数が少ない点を挙げている。また、この研究は査読を受けていない。