- Google DeepMindが2026年8月27日、世界初の「二重盲検（にじゅうもうけん）AI評価」を実施したと発表しました
- 評価する側はAIの中身を見られず、Google側はテスト問題を見られない、という珍しい仕組みです
- 背景にあるのは「ベンチマーク汚染」。AIが試験問題を事前に覚えてしまい、点数が信用できなくなる問題です
- 対象はGemini 2.5 Flash-Lite。MLCommonsの未公開の安全性テスト問題が使われました
- ただし主催者自身が「すべての不正を防げるわけではない」と認めており、課題も残っています
AIの性能を示すグラフやスコア表を見て、「この数字、本当に信じていいの？」と思ったことはありませんか。実はいま、AI業界でその不信感が急速に広がっています。Googleが2026年8月に発表した新しいテスト方法は、この問題に正面から答えるものでした。仕組みと、私たちへの影響をやさしく解説します。
Googleが発表したのは「誰もカンニングできない試験」
Google DeepMindは2026年8月27日、公式ブログで新しい取り組みを公開しました。商用の最先端AIモデルに対して、世界で初めて「二重盲検テスト」を実施したという内容です。
二重盲検とは、もともと薬の効果を調べる医学の言葉です。医者も患者も「どちらが本物の薬か」を知らないまま試験をする方法を指します。
今回のAI版では、隠されるものが2つあります。テストする側はAIモデルの中身（重み＝AIの頭脳にあたるデータ）を見られません。逆にGoogle側は、出題される問題文を一切見られません。
参加したのは、シンガポールAI安全研究所、非営利団体のOpenMined、評価機関のAVERI、ベンチマーク団体のMLCommonsです。対象モデルはGemini 2.5 Flash-Liteでした。
なぜ必要？ AIの「カンニング」＝ベンチマーク汚染
そもそも、なぜここまで手の込んだ仕組みが必要なのでしょうか。
試験問題が学習データに混ざってしまう
AIの実力は、ベンチマーク（共通のテスト問題集）のスコアで比べられます。ところがその多くは、インターネット上で公開されています。
AIは大量のネット情報を読み込んで学習します。つまりテスト問題と正解が、そのまま学習データに紛れ込むのです。これが「ベンチマーク汚染」と呼ばれる現象です。
答案用紙を丸暗記した生徒が満点を取っても、学力はわかりません。同じことがAIの世界で起きています。
実際、OpenAIの調査では、テストした最先端モデルのすべてが、プログラミング評価「SWE-bench Verified」の模範解答を一字一句再現できたと報告されています。
開発企業が「点数を狙いにいく」問題
もうひとつ、根が深い問題があります。
AI開発企業にとって、ベンチマークのスコアは商品の宣伝文句です。数字が1点上がるだけで、投資額や採用企業の数が変わります。学力を上げるのではなく、試験対策だけを極める誘惑が生まれます。
2026年2月の研究では、公開テストは非公開テストより速くスコアが飽和し、選択式は記述式より速く飽和すると報告されました。答えが漏れやすい形式ほど、早く点数が天井に張り付くわけです。
仕組みを分解する 暗号の金庫の中でテストする
では、二重盲検テストは実際どう動くのでしょうか。
鍵になるのは「機密コンピューティング」
中心にあるのは、Google CloudのConfidential Space（コンフィデンシャル・スペース）という技術です。
これは「機密コンピューティング」と呼ばれる仕組みです。データを処理している最中も、CPUやGPUの中で暗号化したまま計算します。管理しているクラウド事業者ですら、中身を覗けません。
この隔離された領域を「エンクレーブ」と呼びます。AIモデルとテスト問題は、このエンクレーブの中で初めて出会います。
7つの手順で進む
AVERIが公開した報告書によると、パイロットは2026年7月から8月にかけて、次の流れで実施されました。
- MLCommonsが、安全性ベンチマーク「AILuminate」の未公開プロンプト（一度も使われていない問題）を提供する
- AVERIが、自分たちだけが持つ鍵でその問題を暗号化する
- OpenMinedのソフトウェアを使い、安全なエンクレーブの中で評価を実行する
- Google DeepMindは、エンクレーブの環境設定だけを担当する
- AIの出力も暗号化されたままAVERIへ返される
- AVERIが復号し、AILuminateの基準で採点する
- 実際の問題文と出力は伏せたまま、結果だけをGoogleに報告する
Googleが受け取るのは点数と分析だけ。問題も回答も手元に残りません。だから次回のテストに向けた「試験対策」ができないのです。
何を測ったのか
今回テストされたのは、性能ではなく安全性でした。
AVERIはAILuminateの温存プロンプトを使い、サイバー攻撃、化学・生物ハザード、ヘイトスピーチ、自傷、暴力犯罪の誘発といった領域を評価しています。
さらにシンガポールAI安全研究所は、シンガポール特有の文脈での有害コンテンツを、独自の非公開プロンプトで別途テストしています。
地域ごとに「何が有害か」は変わります。その土地の事情を知る機関が、問題を渡さずに評価できる。ここが実務上とても大きい点です。
従来のカンニング対策と何が違うのか
ベンチマーク汚染への対策は、これまでもいくつか試されてきました。今回の手法と比べてみます。
これまでの3つのアプローチ
- 問題を毎月入れ替える：LiveBenchは、最近のarXiv論文やニュース記事をもとに毎月新しい問題を出します。学習データより新しい問題なら汚染されにくい、という発想です
- 問題を非公開で持っておく：ARC-AGIやFrontierMath、Humanity’s Last Exam、Scale AIのSEALリーダーボードは、専門家が作った問題を公開しません。ARC-AGI-1では1000問のうち100問が完全非公開の評価用として温存されています
- 第三者がAPI越しに測る：評価機関が外部からAPIを叩いて採点する方法。手軽ですが、リクエストの中身は開発企業側のサーバーを通ります
今回の手法が埋めた穴
従来の方法には共通の弱点がありました。問題を守るか、モデルを守るか、どちらか一方しか選べないのです。
非公開ベンチマークを使うには、開発企業が重みを評価機関に預けるか、APIを開放する必要があります。前者は最重要資産を手放すことになり、後者は問題文が企業側に流れます。だから多くの企業は、外部の厳しい評価を断ってきました。
二重盲検テストは、この二者択一を消しました。暗号の金庫が両方を同時に守るからです。企業秘密を保ったまま、外部機関が本気の評価をできる。ここが決定的な違いです。
前例がなかったわけではありません。2024年にOpenMinedが英国AI安全研究所とAnthropicの協力で同じ発想の実験を行っています。ただし対象は公開モデルのGPT-2で、予行演習でした。今回はそれを商用の最先端モデルに広げた形です。
この仕組みが効いてくる3つの場面
技術の話が続いたので、具体的な場面で考えてみます。
まず、社内でAIを選ぶ担当者です。ある製造業の情報システム部が、問い合わせ対応にAIを入れるとします。候補は3社、カタログにはどれも高いスコアが並びますが、根拠は各社の自己申告です。第三者が封をした問題で測った結果があれば、比較の土台が変わります。
次に、規制当局の審査です。各国は高リスクなAIに外部評価を求め始めていますが、審査側が企業の重みを預かるのは、企業も国家も嫌がります。暗号の中で完結する評価なら、この膠着が解けます。
3つ目は、医療や金融のように失敗が命や資産に直結する現場です。病院が診断支援AIを検討するとき、知りたいのは平均点ではなく「危ない質問にどう答えるか」。安全性の非公開テストは、その一点を突いた検査になります。
残っている課題 「完璧ではない」と主催者も認める
ここまで良い話が続きましたが、限界もはっきり示されています。
AVERIは報告書の中で、「今回のセキュリティ設計は、開発者が理論上取りうる改ざん手段の多くに対処したが、すべてではない」と明記しました。
指摘されている課題は主に3つです。
- より高リスクな場面、たとえば国際的な検証が必要な場面では、追加の安全策が要る
- 二重盲検で保証できるのは「評価の実行」の部分だけ。モデルの作り方や学習データまでは見えない
- 書類の確認や現地調査といった、いわゆる「ローテク」な監査は今後も欠かせない
もうひとつ現実的な壁もあります。この方式はGoogle Cloudの基盤の上で動きました。つまり、Googleが自社の土俵で自社のモデルを測った形です。本当に中立にするには、複数のクラウドや独立した検証者が同じ手順を再現できる必要があります。
日本にとって何が変わるのか
日本にも、AIの安全性を評価する公的な組織があります。2024年に設立されたAIセーフティ・インスティテュート（AISI）です。
AISIは「AIセーフティに関する評価観点ガイド」を公開し、2026年7月にはAIエージェントの普及を踏まえて第1.20版へ改訂しました。レッドチーミング（わざと攻撃して弱点を探す手法）のガイドや、オープンソースの評価ツールも整備されています。
つまり日本には「何を評価すべきか」の物差しは揃いつつあります。足りていないのは、海外企業の最先端モデルを、企業秘密を侵さずに実測する手段でした。
今回シンガポールAI安全研究所が参加した意味は、そこにあります。アジアの一国の研究機関が、自国の文脈に合わせた非公開の問題でGoogleのモデルを直接測ったのです。
同じ枠組みが広がれば、日本語特有の有害表現や、日本の法制度に関する誤答も、問題を渡さずに検証できます。
導入する企業にとっても他人事ではありません。「そのスコアは誰が、どんな問題で測ったのか」を確かめる習慣が要る時期です。ベンダーへの質問リストに1行足すだけでも、選定の精度は上がります。
よくある質問（FAQ）
Q1. 二重盲検テストは、これから業界標準になるのですか？
まだ決まっていません。今回は1社1モデルでのパイロットです。ただしGoogle DeepMindは業界全体の新しい基準づくりを目指すと表明しており、他社が追随するかが今後の焦点になります。
Q2. 私たちが使うChatGPTやGeminiの性能表示は、信用できないのですか？
すべてが間違いというわけではありません。ただし公開ベンチマークのスコアは、実力と「試験慣れ」が混ざった数字だと考えるのが安全です。実際の業務で使えるかは、自分の仕事に近いタスクで試すのがいちばん確実です。
Q3. なぜGemini 2.5 Flash-Liteという小さめのモデルが選ばれたのですか？
公式な理由は明示されていません。一般に、軽量モデルは計算資源が少なくて済み、エンクレーブ内での実行や検証がしやすくなります。まず動くことを確かめる実験として、扱いやすい対象を選んだと見られます。
Q4. 暗号の中でテストして、不正がないとどう証明するのですか？
機密コンピューティングには「アテステーション（証明）」という仕組みがあります。エンクレーブが、決められたプログラムを改ざんなく実行していることを暗号的に示すものです。評価者はこの証明を確認してから、問題の鍵を渡します。
まとめ
- Google DeepMindが2026年8月27日、世界初の二重盲検AI評価を実施したと発表しました
- 評価者はモデルの重みを見られず、Googleは問題文を見られない。Google CloudのConfidential Spaceが使われています
- 背景は、テスト問題が学習データに混ざる「ベンチマーク汚染」。スコアが実力を映さなくなる問題です
- 対象はGemini 2.5 Flash-Lite。MLCommonsの未公開プロンプトと、シンガポールAI安全研究所の独自問題が使われました
- ただし主催者側も「すべての改ざんは防げない」と認めており、あくまでパイロット段階です
次にAIツールを比較するときは、公開されているスコアの隣に「誰が測ったのか」という欄を自分で足してみてください。それだけで、選び方の質が変わります。
参考文献
- Google DeepMind「Piloting the world’s first double-blind AI evaluations」（2026年8月27日）
- AVERI「Pilot Report: The World’s First Double-Blind Eval」
- GIGAZINE「AIや企業によるカンニングを防ぎつつ最先端モデルをテストする方法をGoogleが考案」（2026年8月28日）
- OpenMined「Secure Enclaves for AI Evaluation」
- AIセーフティ・インスティテュート（Japan AISI）アウトプット一覧
こんな時代だから遊んで学びたい
AIを学ぶオンラインサロン「AIフレンズ」では、生成AIを楽しく、どこよりも優しく学べる環境をご用意しております。
毎週開催されるオンラインセッションでは、リアルタイムで学び合える機会を提供しています。 さらに、月に一度のオフラインイベントでは、メンバー同士が直接交流し、アイデアや知識を深めることができます。
「AIフレンズ」の仲間とともに、新しい価値を創造し、可能性を広げてみませんか？
一緒に学び、成長しながら、生成AIを使いこなす力を身につけましょう！
