この記事でわかること
- AIの進化が「モデル性能競争」から「評価重視」へ転換した理由
- ベンチマーク飽和とは何か、なぜ90%正解でも不十分なのか
- 評価が「次の巨大モデルを作るより難しい」と言われる背景
- 新しい評価手法と企業が今すぐできる対応策
AIの進化が新しいフェーズに入った
2026年7月、AI業界の最前線で大きな方向転換が起きています。Databricks（データブリックス）のチーフサイエンティスト、ジョナサン・フランクル氏が「AIはもう十分賢い」と宣言したのです。
これまでAI業界は「どれだけ高性能なモデルを作れるか」という競争に明け暮れていました。つまり、ChatGPTやClaude（クロード）といったLLM（人間のように文章を書けるAI）をどこまで賢くできるかに力を注いできたのです。
しかし、フランクル氏は「顧客が本当に求めているのは、AIが良い仕事をしたとどう確かめるかだ」と指摘します。つまり、AI活用のボトルネック（障害）は、モデルの性能ではなく「評価（Eval）」にシフトしたというわけです。
なぜ「評価」が急に重要になったのか
AI業界では「ベンチマーク飽和」という現象が起きています。ベンチマークとは、AIの性能を測るテストのことです。たとえば、MMLU（エムエムエルユー）という有名なテストでは、2026年時点でトップモデルが88%以上のスコアを記録しています。
GPT-5.3 Codexというモデルはなんと93%を達成しました。人間の平均が約89.8%ですから、AIはすでに人間を超えているのです。つまり、既存のテストではもうモデル同士の優劣をつけられなくなりました。
さらに深刻なのは「実運用とのギャップ」です。研究室でのベンチマークスコアと、実際に企業で使ったときの性能には37%もの差があることが分かっています。つまり、テストで高得点を取っても、現場では期待したほど働かないケースが多いのです。
同じ精度を出すのに、モデルや使い方によってコストが50倍も違うこともあります。これでは「どのAIを選べばいいのか」「本当に費用対効果が出ているのか」を判断できません。
「90%正解」では足りない理由
フランクル氏は「70%の確率で正しく動くのでは不十分だ。90%でも足りない。本当に信頼できなければならない」と述べています。なぜこれほど厳しい基準が必要なのでしょうか。
分かりやすい例が自動運転です。人間のドライバーは免許試験に合格すれば、その日から公道を走れます。1人のドライバーがミスをしても、影響を受けるのは基本的にその人だけです。
しかし、AIの自動運転システムが1つのミスをすると、同じシステムを搭載したすべての車に影響が及びます。つまり、1台の事故が何千台、何万台の車で再現される可能性があるのです。
だからこそ、AIには「桁違いに厳密な評価」が求められます。人間よりはるかに高い基準をクリアしなければ、実社会で安全に使えないのです。
評価の難しさ — 「次の巨大モデルを作るより難しい」
では、なぜ評価がそれほど難しいのでしょうか。フランクル氏は「AIの評価は次の巨大モデルを作るよりはるかに難しく、重要な研究課題だ」と述べています。しかも、この問題の解決には10年以上かかる可能性があるというのです。
最大の難しさは「良い仕事とは何か」という人間の基準をチェックリストに落とし込むことです。たとえば、カスタマーサポートのAIが顧客に返信したとき、その回答が「良い」かどうかをどう判定するのでしょうか。
丁寧さ、正確さ、共感の示し方、解決までのスピード、専門用語の使い方など、評価軸は無数にあります。しかも、業種や企業文化によって「良い回答」の定義は変わります。これを自動で判定する仕組みを作るのは、想像以上に難しいのです。
新しい評価手法が登場している
この課題に対応するため、AI業界では新しい評価手法が次々と生まれています。従来のテストが飽和したため、より高難度のベンチマークにシフトしているのです。
注目されているのは「GPQA Diamond（ジーピーキューエー・ダイヤモンド）」「SWE-Bench Verified（エスダブリューイー・ベンチ）」「Humanity’s Last Exam（ヒューマニティーズ・ラスト・イグザム）」といったテストです。これらは専門家レベルの問題や、実際のソフトウェア開発タスクを含んでいます。
また、「LLM-as-Judge（エルエルエム・アズ・ジャッジ）」という手法も広がっています。これは、AIの出力を別のAIに評価させる方法です。驚くべきことに、人間の判断と80〜90%一致しながら、コストは人間の500分の1から5000分の1で済みます。
さらに「LMSYS Chatbot Arena（エルエムシス・チャットボット・アリーナ）」という評価プラットフォームでは、実際のユーザーが500万票近くを投じて、どのAIが優れているかを投票しています。これは実運用に近い評価として注目されています。
企業が今すぐできること
フランクル氏は企業に対して「評価とガバナンス（統治）に投資する」ことを勧めています。具体的には、MLflow（エムエルフロー）のような品質管理ツールの活用です。
MLflowは、AIモデルの性能をトラッキング（追跡）し、バージョン管理を行うオープンソースのツールです。これを使えば、AIがいつ、どんな条件で、どれくらいの精度を出したかを記録できます。つまり、AIの「品質管理」が可能になるのです。
また、Claude Opus 4.6やGPT-5.2といった最新モデルは、データサイエンスプロジェクトで85%や82%といった高スコアを記録しています。しかし、どのモデルを選ぶかより、そのモデルをどう評価し、運用するかが成功のカギになります。
日本企業への影響
2026年、AI規制の波が世界中で強まっています。EU AI Act（EU AI法）に加えて、米国でもカリフォルニアAI透明性法、コロラドAI法、テキサスRAIGA、イリノイ雇用規制など、州レベルでの法整備が進んでいます。
これらの規制に対応するには、AIがどう判断したかを説明できる仕組み（評価とガバナンス）が不可欠です。つまり、評価への投資は単なる品質管理ではなく、法令順守（コンプライアンス）の一環でもあるのです。
日本企業も、AI導入を進めるなら評価体制の整備を優先すべきタイミングに来ています。「どのAIを使うか」よりも「そのAIをどう評価し、信頼性を担保するか」が競争力を左右する時代になったのです。
まとめ
- AI業界は「モデル性能競争」から「評価重視」へ転換した
- ベンチマーク飽和により、既存テストでは優劣がつかなくなった
- 実運用とラボのギャップは37%、コスト差は最大50倍
- 90%正解でも不十分、自動運転のように「桁違いの厳密さ」が必要
- 評価は「次の巨大モデルを作るより難しい」課題で、解決に10年以上
- GPQA Diamond、LLM-as-Judge、LMSYS Arenaなど新評価手法が登場
- 企業はMLflowなど品質管理ツールで評価体制を整備すべき
- AI規制対応にも評価とガバナンスが不可欠
こんな時代だから遊んで学びたい
AIを学ぶオンラインサロン「AIフレンズ」では、生成AIを楽しく、どこよりも優しく学べる環境をご用意しております。
毎週開催されるオンラインセッションでは、リアルタイムで学び合える機会を提供しています。 さらに、月に一度のオフラインイベントでは、メンバー同士が直接交流し、アイデアや知識を深めることができます。
「AIフレンズ」の仲間とともに、新しい価値を創造し、可能性を広げてみませんか？
一緒に学び、成長しながら、生成AIを使いこなす力を身につけましょう！
