Sakana AIの86.9%に疑義｜検証では20%

監修者伊東雄歩

株式会社ウォーカー CEO。東北大学卒。MENSA会員、JDLA認定講師、健全AI教育協会理事。生成AI×教育・学習科学を専門とし、2億円超のシステム開発プロジェクトを統括。

Sakana AIが2026年7月21日に公開した「Fugu-Cyber」は、セキュリティ評価テスト「CyberGym」で86.9%を主張しています
ところが、そのテストを作ったUC Berkeley側の論文では、上位の組み合わせでも約20%でした
4倍以上の差が生まれる主な理由は「試行回数」「モデルの世代」「非公開の実行条件」の3つです
MicrosoftのMDASHは96.55%、OpenAIは85.6%を主張しており、数字はすでに飽和ぎみです
企業がAIの性能主張を読むときに確認すべき5つのチェックポイントを整理します

「86.9%」と「20%」。同じテストの点数なのに、4倍以上の開きがあります。日本発のAI企業が発表したセキュリティAIの成績に、いま疑問の声が上がっています。この記事では、何が起きているのか、そしてAIの性能主張をどう読めばいいのかを整理します。

Fugu-Cyberとは何か

まず、話題の中心にあるモデルの正体から。

Fugu-Cyber（フグ・サイバー）は、Sakana AIが2026年7月21日に提供を開始したサイバー防御専用のAIです。モデルIDは「fugu-cyber-v1.0」といいます。

Sakana AIは2023年7月に東京で設立された会社です。創業者の一人であるLlion Jones氏は、いまの生成AIの土台になった論文「Attention Is All You Need」の共著者として知られています。

2026年1月にはシリーズBで約200億円を調達し、企業価値は約4,000億円と報じられました。社員数は約150人。日本発のAI企業としては最大級です。

「1つのモデル」ではなく「司令塔」

Fugu-Cyberの面白いところは、単体の巨大AIではない点にあります。

正体は「オーケストレーションモデル」、つまり複数のAIを束ねる司令塔です。

利用者は1つのAPI窓口に指示を送るだけ。その裏側では、Claude Opus 4.8、Gemini 3.1 Pro、GPT-5.5といった各社のAIが役割分担して動きます。

役割は3つに分かれています。作戦を立てる「Thinker（シンカー）」、実際に手を動かす「Worker（ワーカー）」、そして結果が本当に正しいかを確かめる「Verifier（ベリファイア）」です。

セキュリティの仕事では、この3番目の検証役がとくに重要になります。誤検知だらけの報告書を出されても、現場は困るだけだからです。

86.9%という数字はどこから来たのか

問題になっているのは、Sakana AIが掲げた2つのスコアです。

「CyberGym」で86.9%、「CTI-REALM」で72.1%。どちらもセキュリティ分野では有名な評価テストです。

CyberGymは実在のバグ1,507件で試すテスト

CyberGymは、UC Berkeley（カリフォルニア大学バークレー校）のSunblaze Labが2025年10月に公開した評価用テストです。Dawn Song教授らのチームが作りました。2026年のICLR（AI分野の主要な国際学会）でも発表されています。

中身は、OpenSSLやFFmpegなど188の実在するオープンソースソフトから集めた1,507件の脆弱性（ぜいじゃくせい＝セキュリティ上の欠陥）です。Googleの「OSS-Fuzz」というバグ探しプロジェクトが見つけたものが元になっています。

AIに渡されるのは、修正前のソースコードと、バグの説明文だけ。そこから、そのバグを実際に再現するコード（PoC＝概念実証コード）を書けるかが問われます。

採点は自動です。書いたコードが修正前のプログラムをクラッシュさせ、かつ修正後のプログラムでは何も起きなければ合格。人の主観は入りません。

論文での成績は約20%だった

ここが今回の争点です。

CyberGymを作った研究チーム自身の論文では、当時いちばん強かった組み合わせでも成功率は約20%にとどまりました。

具体的には、Claude Sonnet 4が17.9%、GPT-5が7.7%。試行を重ねてもGPT-5は22.0%どまりでした。研究チームは「このテストがいかに難しいかを示している」と結論づけています。

それに対してSakana AIの86.9%。差は4倍以上です。しかも同社は、使ったテストの範囲、試行回数、実行日、AIを動かす仕組み（スキャフォールド）のいずれも公開していません。

「第三者による独立検証はまだ行われていない」と報じられており、現時点ではあくまで自己申告の数字です。

なぜ4倍もの差が生まれるのか

ただし、この差をすぐ「誇大広告だ」と決めつけるのは早すぎます。数字が開く理由は、少なくとも3つ考えられます。

理由1：何回チャレンジしたか

いちばん効くのが試行回数です。

同じ論文の中に、はっきりした証拠があります。Claude Sonnet 4.5は1回勝負なら28.9%。ところが30回まで挑戦を許すと66.7%まで跳ね上がりました。

1回で正解しなくても、30回試せば当たる。これはテストを解く能力というより、試せる回数の問題です。

「86.9%」が1回勝負の数字なのか、何十回も試した末の数字なのか。ここが分からないかぎり、20%とは比べようがありません。

理由2：世代がまるごと違う

論文が測ったのは2025年のAIです。Sakana AIが束ねているのは2026年のClaude Opus 4.8やGemini 3.1 Proです。

この1年でセキュリティ分野の性能は大きく伸びました。そもそも土俵の年式が違うわけです。

理由3：条件が公開されていない

CyberGymには難易度の設定があります。バグの説明文をどこまで渡すか、コードだけ渡す「Level-0」で解かせるかで、難しさは大きく変わります。

1,507件すべてを解いたのか、一部だけなのかも書かれていません。条件が非公開である以上、86.9%という数字は他社と横並びで比較できないのが実情です。

他社と比べると数字はもう飽和ぎみ

視野を広げると、高スコアを主張しているのはSakana AIだけではありません。

Anthropicは2026年4月、「Claude Mythos Preview」で83.1%を報告しました。OpenAIは強化版の「GPT-5.5-Cyber」で85.6%（通常のGPT-5.5は81.8%）としています。

さらに上がいます。Microsoftの「MDASH」は2026年6月時点で96.55%。5月12日の公開時点の88.45%から、1か月足らずで伸ばした形です。MDASHは100以上の専門エージェントを並列で動かし、バグを発見・議論・証明まで通す仕組みだと説明されています。

この並びで見ると、Sakana AIの86.9%は「大躍進」ではなく、先頭集団に少し顔を出した程度の位置づけになります。

Microsoft自身も「ベンチマークは現実ではない」と言っている

興味深いのは、最高スコアを持つMicrosoftが自ら釘を刺している点です。

同社は2026年6月17日の記事で、現実の脆弱性発見には「曖昧さ、不完全な情報、絶えず変化するソフトウェア環境」があり、固定されたテストでは測りきれないと述べています。

実際の現場では、バグ報告があいまいで場所を特定できない、手元では再現したのに検証環境では再現しない、ビルドが失敗する、といったことが日常茶飯事です。

Sakana AI自身も「優れたAPIと人間のセキュリティ専門知識の組み合わせは、APIだけの場合に勝る」と述べています。AIは専門家の代わりではなく、あくまで増幅装置だという立場です。

日本の企業と利用者にとっての意味

では、日本で働く人にはどう関係するのでしょうか。

使いたくても申請が必要

Fugu-Cyberは誰でも触れるわけではありません。利用目的と連絡先を書いた申請フォームを出し、Sakana AIの審査を通過する必要があります。

攻撃目的での利用は明確に禁止。料金は従量課金で、入力100万トークンあたり6ドル、出力は36ドルです。文脈が272Kトークンを超えると、それぞれ12ドル・54ドルに倍増します。

キャッシュされた入力は0.60ドルと安く設定されています。ただし利用にはトークンプランの契約が前提です。

なお、GDPR（EUの個人情報保護ルール）への対応が終わっていないため、EU・EEA・英国・スイスでは提供されていません。日本からは使えますが、処理の一部は米国のAPI経由になります。機密性の高いコードを扱う企業は、この点を社内規程と照らし合わせる必要があります。

現場では何が変わるのか

ある国内メーカーのセキュリティ担当者を思い浮かべてください。深夜に警告が数百件たまり、朝までにどれが本物かを仕分けなければなりません。この仕分けをAIが下書きしてくれるなら、価値は小さくありません。

別の例として、自社製品に使っているオープンソースにCVE（脆弱性の識別番号）が付いたケース。本当に自社の使い方で危ないのかを確かめる作業は、これまで数日仕事でした。再現コードをAIが書けるなら、判断は一気に早まります。

一方で、こんな場面も増えそうです。ベンダーの営業資料に「業界最高の86.9%」と書かれたスライドが出てきて、情報システム部が判断を迫られる。このときスコアの読み方を知っているかどうかが、数千万円の投資判断を左右します。

AIの性能主張を読む5つのチェックポイント

今回の件は、Sakana AIに限った話ではありません。数字を見たら、次の5つを確認する習慣が役に立ちます。

試行回数：1回勝負（pass@1）か、複数回試した結果か。66.7%と28.9%ほどの差が出ます
測定日とモデル世代：1年前の相手と比べていないか
テストの範囲：全1,507件なのか、一部を抜き出したのか
誰が測ったか：ベンダー自身か、第三者か
再現できるか：手順やコードが公開されているか

この5つのうち1つでも書かれていなければ、その数字は「他社と比較できない参考値」として扱うのが安全です。

ちなみにCyberGymは、単なるテストにとどまりません。研究チームはこのテストを通じて実際に35件のゼロデイ脆弱性（まだ誰も知らない欠陥）と17件の不完全な修正を発見しました。見つかったゼロデイは平均969日、つまり2年半以上も放置されていた計算です。AIがセキュリティに役立つこと自体は、すでに証明されています。

よくある質問（FAQ）

Q. Sakana AIは嘘をついているのですか？

そう断定できる材料はありません。試行回数やモデル世代の違いだけでも、20%と86.9%の差は説明がつく可能性があります。問題は「嘘かどうか」ではなく、条件が公開されていないため検証できないという点です。

Q. Fugu-Cyberは日本語に対応していますか？

Sakana AIは日本の企業であり、日本語での利用を想定した案内を行っています。ただし内部で動くのは米国製のモデル群です。処理経路が国外を通る点は、機密情報を扱う際に確認しておくべきポイントです。

Q. 個人でも使えますか？

申請と審査が必要で、防御目的に限定されています。料金も出力100万トークンあたり36ドルと安くはありません。個人の学習用途というより、組織のセキュリティ部門向けのサービスと考えるのが現実的です。

Q. 結局どのモデルがいちばん強いのですか？

公表スコアだけならMicrosoftのMDASHが96.55%で最上位です。ただし各社の測定条件がそろっていないため、順位そのものにあまり意味はありません。自社のコードで小さく試して比べるのが確実です。

Q. ベンチマークの点が高ければ安全になりますか？

なりません。Microsoft自身が「ベンチマークは現実の複雑さを捉えきれない」と認めています。スコアは進歩の目安であって、実際の防御力の保証ではありません。

まとめ

Sakana AIは2026年7月21日、サイバー防御特化の「Fugu-Cyber」を公開し、CyberGymで86.9%、CTI-REALMで72.1%を主張しました
CyberGymを作ったUC Berkeley側の論文では、上位でも約20%が実測値でした
差の主因は試行回数（28.9%→66.7%）、モデル世代の違い、非公開の実行条件の3つと考えられます
MicrosoftのMDASHは96.55%、OpenAIは85.6%と、業界全体で数字が高止まりしています
利用には申請と審査が必要で、EU・英国・スイスでは提供されていません
スコアを見たら「試行回数・測定日・範囲・測定者・再現性」の5点を必ず確認しましょう

次にAIツールの導入を検討するときは、営業資料のスコアをうのみにせず、自社のコードで小さく試してから判断してみてください。