OpenAIがAI評価の共通プレイブック｜3カテゴリと5つの落とし穴

監修者伊東雄歩

株式会社ウォーカー CEO。東北大学卒。MENSA会員、JDLA認定講師、健全AI教育協会理事。生成AI×教育・学習科学を専門とし、2億円超のシステム開発プロジェクトを統括。

OpenAIが2026年5月29日、第三者評価の共通プレイブック「A shared playbook for trustworthy third party evaluations」を公開した
評価は「能力引き出し」「安全装置の性能」「モデル比較」の3カテゴリで設計すべきと提示
結果を歪める「報酬ハッキング」「拒否」「学習データ汚染」「壊れた問題」「サンドバッギング」の5大ハザードを警告
カギを握るのは評価環境「ハーネス」。ツール・予算・構成次第で同じモデルの成績が大きく変わる
2026年8月のEU AI Act本格施行を控え、日本でも「誰が、どう測るか」が業界標準のテーマになる

「このAIモデルは安全だ」と聞いて、あなたは何を根拠に信じますか？開発元の発表だけでは心もとないですよね。2026年5月29日、OpenAIが第三者評価の進め方を整理した共通プレイブックを公表しました。フロンティアAIの安全性をどう測るか、業界全体の物差しが動き始めています。

OpenAIが公開した「プレイブック」とは何か

2026年5月29日、OpenAIが「A shared playbook for trustworthy third party evaluations（信頼できる第三者評価のための共通プレイブック）」を公開しました。

プレイブックとは「みんなで使える手順書」のことです。スポーツチームでいうと作戦集にあたります。

背景には、AIモデルの安全性を独立した外部機関がチェックする「第三者評価」の重要性が急速に高まっている事情があります。

OpenAIは公式ページで、評価の「妥当性（valid assessment）」を担保するための原則と落とし穴をまとめました。これまで業界に決まった作法がなく、評価者ごとに方法も観点もバラバラだった問題に切り込む内容です。

つまり「AIの通信簿はどう付けるべきか」を、トップランナーであるOpenAI自らが叩き台として提示したわけです。これは単なる技術文書ではなく、政策・規制議論を意識した戦略的な動きと見られます。

評価の3カテゴリ｜どの問いに答える評価かを決める

OpenAIはプレイブックの中で、評価レポートが答えるべき問いを3つのカテゴリに整理しました。評価する前に「どの問いに答える試験なのか」を明確にすべき、というのが基本姿勢です。

① 能力引き出し（Capability Elicitation）

1つ目は「そのモデルは最大限の条件で、このタスクを実行できるか」を測る評価です。

たとえばコーディング能力なら、適切なツール・十分な時間・複数回の試行という「フェアな環境」を与えたうえで実力を引き出します。短時間や貧弱なツールしか与えないと、本来の実力が出ずに「できない」と誤判定するリスクがあります。

OpenAIはこの観点で「能力は資源依存的であり、一度測れば終わりの固定値ではない」と強調しています。コストや試行回数を含めて記録すべき、と提言しています。

② 安全装置の性能（Safeguard Performance）

2つ目は「安全策はどれだけ攻撃に耐えるか」を測る評価です。

ここでは①と逆の姿勢が必要になります。最も巧妙で悪質な攻撃を想定したハーネス（環境）を組み、安全装置の限界を試します。

たとえばジェイルブレイク耐性を測るなら、現実に出回っている最強クラスの攻撃手法でぶつけないと意味がありません。「優しい質問」だけで合格しても、悪意ある利用には無力です。

③ 比較（Comparison）

3つ目は「同じ条件下で、複数のモデルがどう振る舞うか」を測る評価です。

ベンチマーク比較がこのカテゴリにあたります。重要なのは「同条件」を厳密に揃えることで、ハーネス・プロンプト・予算が違えば公平な比較になりません。

たとえば「モデルAは80点、モデルBは60点」と言うときも、両モデルが同じツール・同じ試行回数・同じ評価軸で測られているかを確認する必要があります。

評価を歪める5つの落とし穴（ハザード）

OpenAIはプレイブックの中で、評価結果を歪めるリスク要因を5つの「ハザード」として整理しました。これらを意識せずに評価すると、数字が独り歩きします。

報酬ハッキング（Reward Hacking）：採点の抜け道を見つけて、本来の能力ではなく「点を稼ぐ近道」で高得点を取ってしまう現象
拒否（Refusals）：安全装置が働いて回答を拒否し、本来の能力が見えなくなる現象
学習データ汚染（Contamination）：評価問題が事前学習データに混ざっており、暗記で正解してしまう問題
壊れた問題（Broken Problems）：問題自体に欠陥があり、まともな解答ができない設計上のバグ
サンドバッギング（Sandbagging）：モデルが意図的に能力を低く見せかける、または逆に過剰に見せる振る舞い

たとえば学校のテストで生徒が「カンニングペーパー」を使えば、本当の学力ではなく「カンニング能力」を測ってしまいます。AIの評価でも同じことが起こるのです。

OpenAIは、評価レポートにはこれらのハザードへの対策と、もし発生した場合の影響を必ず記載すべきと提言しています。

カギを握る「ハーネス」という考え方

プレイブックの中で繰り返し強調されているのが「ハーネス（harness）」という概念です。耳慣れない言葉ですが、AI評価の世界では中心的なキーワードになっています。

ハーネスとは「モデルを動かす環境一式」のことです。具体的には、使えるツール・プロンプトの組み方・記憶の持ち方・エラー回復の仕組み・予算（トークン数や試行回数）などすべてを含みます。

OpenAIは公式に「ハーネスは観測される性能を変えるだけでなく、評価対象の能力がそもそも現れるかどうかさえ決定する」と述べています。

つまり、同じモデルでも「貧弱なハーネス」で測れば失敗続き、「リッチなハーネス」で測れば天才のように見えます。だからこそ、評価レポートはハーネスの設計内容を細部まで開示すべきとOpenAIは主張しているのです。

身近な例で考えると、料理人の腕を測るときに「家庭用キッチン」と「プロ厨房」では出せる料理が変わります。「ハーネスの違い」とは、こうした環境差をAI評価に持ち込んだ概念だと考えるとわかりやすいでしょう。

他社・規制との比較｜誰が標準を作るのか

OpenAIのプレイブック公開は、業界の評価標準を巡る競争の中で位置づける必要があります。

OpenAI：今回のプレイブックで「Frontier Governance Framework」の一部として第三者評価を中核に据える戦略。先に手を挙げてデファクトを取りに行く動き
Anthropic：公開・非公開を組み合わせた独自の安全性研究を展開。レッドチーミング体制が強み
NIST AI RMF（米国）：政府発のガバナンス枠組みだが、認証手順までは規定しない緩い基盤
ISO/IEC 42001：第三者認証を伴う国際規格。監査ベースで透明性を担保する
EU AI Act：高リスクAIには適合性評価が義務化。2026年8月に本格施行が予定されており、評価実務の整備が急務

つまりOpenAIは、規制が走り出す直前のタイミングで「評価のあるべき姿」を業界向けに提示し、議論の主導権を握ろうとしています。

これは「ルールを作る側になるか、押し付けられる側になるか」の選択でもあります。プレイブック公開は、トップ企業が能動的にルール作りに参加する姿勢を示すサインです。