7.8%が38.3%に｜変えたのは設定2つ

公開日:

SHARE

伊東雄歩
監修者 伊東 雄歩

株式会社ウォーカー CEO。東北大学卒。MENSA会員、JDLA認定講師、健全AI教育協会理事。生成AI×教育・学習科学を専門とし、2億円超のシステム開発プロジェクトを統括。

taolis.net X note Voicy YouTube
  • OpenAIがAPIの設定を2つ変えただけで、ARC-AGI-3のスコアが13.3%から38.3%に跳ね上がった
  • 公式リーダーボードでは同じモデルが7.8%。順位が引っくり返るほどの差が出た
  • 変えたのは「推論の保持」と「文脈の圧縮」の2つ。モデル本体は一切いじっていない
  • 出力トークンは6分の1に減り、性能とコストが同時に改善した
  • ARC Prize側は結果を認めつつ、「設定と費用を明記すること」を条件にした

AIの性能ランキングを見て、「このモデルは弱いんだな」と思ったことはありませんか。その数字、実はモデルのせいではないかもしれません。2026年7月31日、OpenAIが公開した検証で、設定を2つ変えただけでスコアが約3倍になりました。何が起きたのかを、順番にほどいていきます。

7.8%が38.3%に　何が起きたのか

舞台は「ARC-AGI-3」というAIの知能テストです。

公式のランキング表では、OpenAIの最新モデルGPT-5.6 Solのスコアは7.8%でした。同じ表でAnthropicのOpus 5は30.2%。差は4倍近くあります。

数学の未解決問題を解いたと話題になったモデルが、2Dのパズルゲームで大きく負けている。OpenAIはこれを不思議に思い、原因を調べました。

スコアが3段階で跳ね上がった

調査の結果は、3つの数字に整理できます。

  • 7.8%：公式ランキングに載っていたスコア
  • 13.3%：OpenAIが公式の手順で自分たちで測り直したスコア
  • 38.3%：APIの設定を2つ変えて測ったスコア

13.3%から38.3%へ。約2.9倍です。

しかも、出力トークン（AIが書き出す文字の量）は6分の1に減りました。ふつうは性能を上げようとすると計算量が増えます。今回は逆に、賢くなって安くなりました。

公式の手順では、どの最先端モデルも最初のステージすら突破できませんでした。設定を変えたGPT-5.6 Solは、全6ステージをクリアしています。

変えたのは、たった2つの設定

OpenAIが有効にしたのは、ChatGPTやCodexで普段から使われている2つの機能です。

1つめは「推論の保持（retained reasoning）」。AIが頭の中で考えた内容を、次の一手にも持ち越す設定です。これがオフだと、1手ごとに考えを全部捨てて、ゼロから考え直すことになります。

2つめは「圧縮（compaction）」。会話が長くなって上限に達したとき、古い記録から順に削るのではなく、要点にまとめ直して残す設定です。

従来の方式は「ローリング切り捨て」と呼ばれ、機械的に古い順から消していました。せっかく序盤で見つけたルールが、真っ先に消える仕組みだったわけです。

ARC-AGI-3はどんなテストなのか

ARC-AGI-3は、ARC Prize財団が作った対話型の推論ベンチマークです。ベンチマークとは、AIの実力を測るための共通テストのことです。

出題される問題は、ルールが一切説明されていない2Dのパズルゲームです。AIは自分でボタンを押し、画面の変化を見て、「どうやら色を揃えるゲームらしい」と推理していきます。

設計思想は明快で、「人間には簡単、AIには難しい」問題を作ることです。実際、人間のテスターは全ステージをクリアできます。一方、公開当初は最先端モデルがどれも1%未満でした。

今回の比較対象になっている人間の平均スコアは、行動効率を考慮した指標でおよそ48%とされています。38.3%は、そこにかなり近づいた数字です。

犯人は「ハーネス」だった

OpenAIが名指しした原因は、モデルではなくハーネスでした。

ハーネスとは何か

ハーネスは、AIモデルと外の世界をつなぐ実行の仕組みです。

画面の情報をモデルに渡し、モデルが決めた操作をゲームに送り、会話の履歴を管理する。この一連の足回りを担当します。

Hugging Faceが2026年5月に公開した用語集では、「エージェント＝モデル＋ハーネス」と整理されました。どれだけ賢いモデルでも、足回りが悪ければ実力を出せない、という考え方です。

ARC-AGI-3の公式ハーネスは、あえて何の機能も持たない素朴な作りになっています。特別な道具を与えないほうが、モデル同士を公平に比べられるという理由からです。

記憶を消される新人社員

従来のハーネスに置かれたAIは、毎朝すべての記憶を消される新人社員のような状態でした。

昨日「この扉は開かない」と分かったのに、今日また同じ扉を押す。3日前に立てた作戦も覚えていない。

ルールが分からないゲームでは、これは致命的です。仮説を立て、試し、失敗を覚え、次に活かす。この積み重ねができないと、探索がいつまでも進みません。

推論の保持をオンにすることは、この社員にメモ帳を渡す行為にあたります。圧縮をオンにすることは、メモが分厚くなったときに捨てるのではなく、要約させることにあたります。

ARC Prize側はどう答えたか

この発表に対し、ベンチマークを運営するARC Prize財団は結果自体を認めました。同時に、自分たちのテスト方針も守っています。

共同創設者のフランソワ・ショレ氏は、2種類の設定を線引きしました。

  • 禁止：ベンチマークを解くために特別に作られたハーネス、出題形式の知識を組み込んだハーネス
  • 容認：ARC-AGI-3のために作られたものではなく、すべてのAPI利用者が使える汎用設定

今回の2つはChatGPTやCodexで使われている汎用機能なので、後者にあたります。

ただしショレ氏は、事業者ごとに設定が違うと公平性の問題が起きうるとも述べています。その上で、「設定と費用が明記されているなら許容できる」という立場を示しました。

財団は現在、OpenAIをはじめとする各社と協議中です。サーバー側で会話状態を保持する仕組みを、特定の事業者だけが有利にならない形で検証済みテストに取り込めないか探っています。

他のベンチマークでも起きている

ハーネスで結果が変わる現象は、ARC-AGI-3だけの話ではありません。

2026年6月、カリフォルニア大学バークレー校のRDIが主導する「Agents’ Last Exam（ALE）」というランキングが公開されました。ここではモデル名とハーネス名がセットで記録されています。

首位はGPT-5.5をCodexハーネス経由で動かした構成で、合格率24.0%。3位はClaude Fable 5をClaude Codeハーネス経由で動かした構成で22.0%でした。

さらに「Harness-Bench」という、ハーネスそのものの性能を測る研究も登場しています。同じモデルでも、組み合わせるハーネス次第でタスク完了率や効率が大きく変わることが示されました。

ハーネスの設計思想は各社で大きく違います。Claude Codeは記憶を「事実ではなくヒント」として扱い、実行前にファイルを確認します。別のシステムでは、安全性を優先して記憶機能そのものを持たせない設計もあります。

つまり「モデルAはモデルBより賢い」という比較は、もう単独では成立しにくくなっているのです。

日本の企業とユーザーへの影響

この話は、遠い研究所の出来事ではありません。日本で業務にAIを入れている現場にこそ効いてきます。

ある中堅メーカーの情報システム部が、問い合わせ対応AIを導入したとします。ベンチマーク上位のモデルを選んだのに、社内では「同じ質問を何度も聞き返してくる」と不評でした。原因がモデルではなく、社内ツール側が会話履歴を毎回リセットしていたことだった——今回の話は、まさにこの構図です。

経理部門で請求書を数百件処理するAIも同じです。1件ごとに判断基準を忘れるなら、100件目の精度は1件目より落ちます。

社内文書を横断して調べるAIエージェントも同様で、何を調べて何が空振りだったかを覚えていなければ、同じ検索を繰り返してトークン代だけがかさみます。

日本企業がAIを選ぶとき、これまではモデルの性能表を見る場面が多くありました。今後は「どのハーネスで動かすか」を同じ重みで検討する必要があります。

特に金融や医療のような規制の厳しい業界では、記憶をどこに保存するか、監査ログをどう残すかが設計の分かれ目になります。性能とセキュリティのどちらを優先するかで、選ぶべきハーネスが変わります。

コスト面の朗報もあります。今回、出力トークンが6分の1になりました。設定の見直しは、請求額を直接下げられる改善策でもあるということです。

よくある質問（FAQ）

Q1. モデルを新しくしなくても性能は上がるのですか？

A. 今回のケースでは上がりました。GPT-5.6 Solというモデル自体は同じで、APIの設定だけを変えています。ただし、すべてのタスクで同じ効果が出るとは限りません。長い手順を積み重ねる作業ほど、効果が大きいと考えられます。

Q2. 「推論の保持」と「圧縮」は誰でも使えますか？

A. どちらもOpenAIのAPIで一般公開されている汎用設定です。ChatGPTやCodexでは以前から使われています。開発者であれば自分のアプリに適用できます。

Q3. これはベンチマークの数字を良く見せる小細工ではないのですか？

A. ARC Prize財団は、ベンチマーク専用に作り込んだ仕掛けは禁止としています。一方、誰でも使える汎用設定は容認する方針です。今回の2つは後者にあたると判断されました。ただし公平性の課題が残ることは、財団側も認めています。

Q4. 38.3%というのは高いのですか？

A. 人間の平均は約48%とされているので、まだ届いていません。ただし公開当初は最先端モデルがどれも1%未満だったことを考えると、大きな前進です。

Q5. 自社でAIを使うとき、まず何を確認すればいいですか？

A. 会話履歴の扱いを確認してください。古い記録を機械的に削っていないか、AIの思考過程を毎回捨てていないか。この2点だけでも、精度とコストが変わる可能性があります。

まとめ

  • OpenAIがAPIの設定を2つ変え、ARC-AGI-3のスコアを13.3%から38.3%に引き上げた
  • 公式ランキング上の同モデルのスコアは7.8%で、順位が変わるほどの差が生まれた
  • 変えたのは「推論の保持」と「圧縮」。モデル本体は同じまま
  • 出力トークンは6分の1に減り、性能とコストが同時に改善した
  • ARC Prize財団は結果を認めつつ、設定と費用の明記を条件とした
  • ベンチマークの数字は「モデル＋ハーネス」の合計点として読む時代に入った

まずは自社で動かしているAIツールの会話履歴の設定を開き、古い記録が機械的に捨てられていないか確認してみてください。

参考文献

前の記事

AIが10の数学難問を突破｜OpenAI次期モデル