- Hugging Faceとネット上の有志1221人が、AI国際会議ICML 2026の論文2226本の再現に挑んだ
- 19日間で6816件の記録が公開され、51%の論文で「主張は本当だった」と確認された
- 一方で23%の論文には、実験で否定された主張や異議のある主張が見つかった
- 再現作業の主役はClaude CodeやCodexなどのAIエージェント。ただしAIも読み違える
- 論文の中身を自分で確かめる時代が始まり、日本の研究者や企業にも影響が及ぶ
「この論文、本当に書いてある通りに動くの？」と疑ったことはありませんか。AI業界では長年、その疑問に誰も答えてきませんでした。ところが2026年8月13日、1221人が2226本の論文を実際に動かして確かめた結果が公開されます。判明したのは、半分は本物、そして23%には疑いが残るという現実でした。
1221人が19日間でAI論文2226本を検証した
この取り組みは「Reproducing ICML 2026」という名前のコミュニティ企画です。
主催したのはAI開発者が集まるプラットフォームのHugging Face（ハギングフェイス）と、論文共有サービスのalphaXiv（アルファザイブ）です。
対象になったのはICML（アイシーエムエル）という、機械学習分野で世界最高峰とされる国際会議です。2026年のICMLには2万3918本の投稿があり、6352本が採択されました。前年のおよそ2倍という激増ぶりです。
やったことはシンプル「論文の通りに動くか試す」
参加者に課されたのは、採択論文を1本選び、そこに書かれた主張を自分の手元で再現することでした。
使える材料は論文のPDF、公開されていればGitHubのコード、そしてプロジェクトページだけです。
期間は2026年7月15日から8月2日までのわずか19日間。この短期間で、参加者1221人が2226本の論文に手を付けました。全採択論文のおよそ34%にあたる規模です。
すべての作業が「ログブック」として公開された
この企画の肝は、作業の全記録を公開させた点にあります。
参加者はTrackio（トラッキオ）という実験記録ツールを入れ、論文ごとに用意された共有ログブックに結果を投稿しました。
ログブックには、書いた説明文、実行したコード、出てきたグラフや数値、さらに希望すればAIエージェントの実行トレース（AIが何を考えて何をしたかの全履歴）まで載ります。
最終的に公開されたログブックは6816件。クラウド上で回された計算ジョブは2962件にのぼりました。賞金として用意されたGPUクレジットは総額4000ドル（約60万円）で、1位が2000ドル、2位が1000ドル、3位と4位が各500ドルという配分です。
結果の数字｜51%は本物、23%には疑義
気になる結果を数字で見ていきます。
検証できた側から先に挙げます。
- 少なくとも1つの主張が独立に確認できた論文：全体の51%（1103本）
- 丸ごと再現できた論文：266本
- 一部再現でき、否定された点はゼロの論文：632本
- 実験で裏付けが取れた個別の主張：3978件
3978件という数字は決して小さくありません。実際にコードを回して数値が一致した、という証拠が積み上がったわけです。
次に疑いが残った側です。
- 反証または異議のある主張が1つ以上見つかった論文：23%
- 主張がすべて否定された論文：49本
- 再現に挑んだチーム同士で結論が割れた論文：242本
- 証拠が足りず判断できなかった論文：502本
- そもそも判定不能だった論文：280本
「判定できない」も立派な発見
ここで注目したいのが、502本の「証拠不足」と280本の「判定不能」です。
合計782本、全体の3分の1以上が白黒つけられなかったことになります。
これは参加者の怠慢ではありません。コードが公開されていない、必要なデータが手に入らない、論文に書かれた計算資源が個人には用意できない。そうした壁に阻まれた結果です。
つまりAI研究の世界には、そもそも検証のスタートラインにすら立てない論文が大量に存在するということです。
「否定された」論文で実際に何が起きていたか
数字だけでは実感がわきません。実際に反証された事例を見ていきます。
増えないはずの誤差が、じわじわ増えていた
ページング（コンピュータのメモリ管理手法）に関する論文は、ある誤差項が「O(1)」つまりどれだけ規模を大きくしても一定だと主張していました。
ところが参加者が測定すると、誤差は「0.38 × log k」のペースで増えていました。規模kを1024まで広げて検証したところ、統計的におよそ9シグマ、つまり偶然では説明できない確かさでズレが確認されました。
面白いのは、同じ論文に「検証済み」の判定も複数ついていた点です。原因は単純で、log kの増加が目に見えるようになる前に検証を打ち切っていたからでした。
論文の数式とコードが食い違っていた
「自己蒸留が継続学習を可能にする」という論文では、もっと根本的なズレが見つかりました。
論文の中心的な数式と理論セクションは逆向きのKLダイバージェンス（2つの確率分布のズレを測る指標）を扱っています。しかし公開されたコードの初期設定は、順向きのKLを計算していました。
理論とプログラムが別のものを計算していたわけです。しかも著者自身のコードを使っても、論文の目玉だった「性能4ポイント向上」という結果は再現できませんでした。
評価の3分の2が「空白」だった
「Transformerに3つの射影は必要か」という論文では、評価方法そのものに穴がありました。
性能を測っていた位置のうち、およそ66%がEOSパディングトークン（文の終わりを埋めるだけの記号）だったのです。この記号は学習で簡単に当てられるようになるため、スコアが3倍ほど良く見えていました。
正しく測り直すと、論文が「品質低下はわずか3.1%」としていた箇所は、実際にはおよそ9.4%でした。3倍の開きです。
3チームがそれぞれ別の場所で反例を見つけた
Attentionとフランク・ウルフ法に関する論文の定理には、3つの独立したチームが反例を突きつけました。
興味深いのは反例が現れたタイミングです。224ステップ目、約3800ステップ目、6416ステップ目とバラバラでした。
短い試行で打ち切っていれば、どのチームも「問題なし」と結論していたはずです。もっとも明確な反例は、小数のまるめ誤差で言い逃れできないよう、分数を使った厳密な計算で記録されました。
AIエージェントも間違える｜人間が舵を取った例が最良
この企画で再現作業の主役になったのは、Claude Code、Codex、OpenResearchのorxといったAIコーディングエージェントです。論文を読み、コードを書き、実験を回すところまでAIが担当しました。
ただし報告書は、AIの限界もはっきり書いています。
AIが陥った3つの失敗パターン
1つめは同じ場所でぐるぐる回ることです。エージェントが局所的なループにはまり、先へ進めなくなるケースが報告されています。
2つめは規模による変化を読み違えることです。前述のページング論文のように、小さい規模では見えない現象を「無い」と判断してしまいます。
3つめは単純な計算ミスです。ある反証は、1回の試行あたりの時間と50件まとめた時間を比べていました。単位が違うのに比較していたわけで、修正すると論文の「8倍高速化」という主張はむしろ正しかったと分かりました。
審判役にもAIを使い、自己申告は信じない設計にした
判定にはGLM-5.2というオープンウェイトのAIモデルが使われました。
このAIが各ログブックを読み直し、「検証済み」「反証」「縮小版で確認」「結論不可」の4段階で評決を下します。
設計で光るのは、判定AIに対して参加者の自己評価を信用するなと明示的に指示した点です。「再現できました」という自己申告ではなく、残された証拠だけで判断させました。さらに審査員が実際のログブックを目視で確認し、自動スコアだけで順位を決めない運用にしています。
一番信頼できたのは人間が操縦した作業
報告書がはっきり述べているのは、もっとも信頼できる結果は人間が舵を取ったワークフローから生まれたということです。
象徴的な例が、画像を数値評価する論文の検証でした。指標の数字だけを見れば正常に見えます。しかし「その画像が実際に使い物になるか」は、人間が目で見ないと分からない問題でした。
この部門で優勝した参加者は、128組の画像ペアを1組ずつ自分の目で判定していきました。AIに丸投げしていたら見逃していた論点です。
これまでの再現性の取り組みと何が違うのか
AI業界が再現性を放置してきたわけではありません。むしろ対策の歴史はそれなりに長いです。
従来の3つのアプローチ
1. 再現性チェックリスト（2019年〜）
NeurIPSという別の主要会議が2019年に導入し、以降すべての投稿で提出必須になりました。「コードを公開したか」「乱数の種を記録したか」といった項目に著者が自己申告する方式です。
2. ML Reproducibility Challenge（2018年〜）
2018年のICLR再現性チャレンジから始まった、有志による再現企画です。ただし対象は毎回数十〜百数十本規模でした。
3. Papers with Code
論文と実装コードを結びつける公開プラットフォームです。コードの在りかは分かりますが、それが論文通り動くかまでは保証しません。
今回が新しかった3つの点
今回のICML 2026企画は、この延長線上にありながら質が変わっています。
第1に規模です。数十本ではなく2226本。会議の3分の1をたった19日でカバーしました。従来の手作業では不可能な速度です。
第2に主張単位の検証です。「論文が再現できたか」ではなく「この主張は成り立つか」を3978件レベルで判定しました。1本の論文の中でも、正しい部分と怪しい部分を切り分けられます。
第3に全記録の公開です。6816件のログブックは誰でも読めます。「再現できなかった」という主張自体も検証可能になったわけで、これは従来の口伝えの噂話とはまったく違います。
参加者のtejasri19氏は、この方式について「エージェントを使った再現性検証は事実上の標準になる可能性がある」とコメントしています。AIがどこで成功し、どこで失敗するかまで見えるからです。
日本の研究者・企業にとって何が変わるか
遠い海外の話に聞こえるかもしれません。ですが影響は日本にも及びます。
論文を根拠に技術選定している企業への影響
ある日本のメーカーで、新しい画像認識手法の導入を検討している技術者を想像してみてください。
根拠にしたのは国際会議に採択された論文の「精度が9割超」という数字です。ところが社内で試すと、まったくその性能が出ない。上司には「実装が悪いのでは」と言われる——。
こうした話は珍しくありません。今回の結果は、その原因が自分たちの側にあるとは限らないことを、数字で示しました。
これからは論文を採用根拠にする前に、公開ログブックを確認するという一手間が、現実的な選択肢になります。
個人でも検証に参加できる時代になった
参加者の一人は、開始から3日遅れで単独参加し、ワークステーション1台で147本の論文を判定して約1200人中9位に入りました。有料の推論費用は2.69ドル（約400円）だったと本人が公表しています。
大学の研究室に所属していなくても、大企業のGPUクラスタがなくても検証に参加できるということです。日本の学生や個人開発者にとって、実力を示す新しい舞台が生まれたとも言えます。
日本国内の動きとどうつながるか
日本でもAIと科学研究を結びつける動きが進んでいます。
文部科学省は2026年4月、「AI for Scienceによる科学研究革新プログラム（SPReAD）」の公募を開始しました。1課題あたり500万円以下で、およそ1000件の採択が予定されています。
また東京拠点のSakana AIは、研究の着想から論文執筆・査読までを自動化する「The AI Scientist」の論文を2026年3月26日にNature誌へ発表しました。
AIが論文を書く流れと、AIが論文を検証する流れは表裏一体です。書く速度だけが上がれば、確かめられない主張が積み上がるだけになります。今回の企画は、その検証側のインフラを作ろうとする試みだと言えます。
よくある質問（FAQ）
Q1. 23%に疑義があったということは、不正が横行しているのですか？
いいえ、そう決めつけるのは早計です。
「反証または異議あり」の中身には、単位の取り違えや検証側の設定ミスも含まれます。実際、8倍高速化を否定した反証は、後から検証側のミスだったと判明しました。
また再現チーム同士で結論が割れた論文が242本ある通り、判定自体が揺れるケースも多いです。意図的な不正と、条件の書き漏らしや理論とコードのズレは別物として読む必要があります。
Q2. ICMLはレベルの低い会議なのですか？
正反対です。ICMLは機械学習分野で最高峰とされる国際会議の一つです。
2026年は2万3918本の投稿から6352本だけが採択されました。厳しい査読を通った論文でも、実際に動かすとこれだけのズレが出るというのが今回の発見です。
裏を返せば、査読という制度はコードを実行して確かめる工程を含んでいないことが可視化されたとも言えます。
Q3. 検証結果はどこで見られますか？
Hugging Face上の「ICML-2026-agent-repro/challenge」で、6816件のログブックとデータセットが公開されています。
特定の論文について調べたい場合、その論文のログブックを開けば、誰がどんなコードを回してどんな結果になったかを読めます。全文英語ですが、翻訳ツールを通せば要点はつかめます。
Q4. 個人でこの手の検証をやるには何が必要ですか？
必要なものは3つです。AIコーディングエージェント、実験を記録するツール、そして計算環境です。
今回の企画ではClaude CodeやCodexが使われ、記録にはTrackioが使われました。計算環境は、軽い論文であれば手元のPCやGoogle Colabの無料枠でも足ります。
ただし大規模言語モデルの学習を伴う論文は、個人での完全再現はほぼ不可能です。だからこそ「縮小版で確認」という判定区分が用意されていました。
Q5. 次回の開催予定はありますか？
Hugging Faceは「今後の再現イベントにご期待ください」と述べており、他の国際会議でも実施する意向を示しています。ただし具体的な日程や制度化の詳細は、現時点では公表されていません。
まとめ
今回の内容を整理します。
- Hugging Faceとalphaxivが主催し、1221人が19日間でICML 2026の論文2226本の再現に挑んだ
- 51%の論文で少なくとも1つの主張が独立に確認され、3978件の主張が実験で裏付けられた
- 一方23%の論文には反証または異議のある主張が見つかり、49本は全主張が否定された
- 理論とコードの不一致、評価位置の66%が空白トークン、増えないはずの誤差の増加など具体的なズレが判明
- 再現の主役はAIエージェントだが、ループにはまる・規模依存を見誤るなどの失敗も多発した
- もっとも信頼できた結果は、人間が舵を取り、AIに作業させたワークフローから生まれた
- 6816件のログブックはすべて公開されており、日本からも誰でも確認・参加できる
もし論文の数字を根拠に技術を選ぼうとしているなら、まずはその論文のログブックが公開されていないか、Hugging Faceで検索してみてください。
参考文献
- What We Learned by Reproducing 2,200 papers from ICML – Hugging Face Blog（2026年8月13日）
- Reproducing ICML 2026 – Hugging Face Space
- ICML-2026-agent-repro/challenge Datasets – Hugging Face
- AI Agents Take On a Challenge to Reproduce ICML 2026 Papers – howaiworks.ai
- AIによるAI研究の実現へ：AIサイエンティスト論文がNature誌に掲載 – Sakana AI
こんな時代だから遊んで学びたい
AIを学ぶオンラインサロン「AIフレンズ」では、生成AIを楽しく、どこよりも優しく学べる環境をご用意しております。
毎週開催されるオンラインセッションでは、リアルタイムで学び合える機会を提供しています。 さらに、月に一度のオフラインイベントでは、メンバー同士が直接交流し、アイデアや知識を深めることができます。
「AIフレンズ」の仲間とともに、新しい価値を創造し、可能性を広げてみませんか？
一緒に学び、成長しながら、生成AIを使いこなす力を身につけましょう！
