アクセス99%がボット｜AIが人間の214倍読む

監修者伊東雄歩

株式会社ウォーカー CEO。東北大学卒。MENSA会員、JDLA認定講師、健全AI教育協会理事。生成AI×教育・学習科学を専門とし、2億円超のシステム開発プロジェクトを統括。

個人サイトの実測ログで、全アクセスの99%超がボットだったと判明
人間1人の訪問に対し、ボットは214回ページを読み込んでいた
Claude-SearchBotは1週間で42万ページを取得し、送ってきた訪問者は12人
GooglebotとAIクローラーでは「読んだ数と送った人数の比」が1000倍近く違う
robots.txtでは止まらない相手に、日本のサイト運営者が今できる対策

あなたのサイトのアクセス解析、本当の数字を映していますか。ある個人サイトのサーバーログを開いたら、届いていたリクエストの99%以上がボットでした。人間1人に対してボットは214回。この記事では、その実測データと、サイト運営者が今日からできる対策を紹介します。

個人サイトの実測ログが暴いた「99%はボット」

2026年8月13日、ある衝撃的なレポートが話題になりました。

報告したのはニック・グレイさん。PatronViewという寄付・慈善活動のデータベースサイトを運営しています。約150万ページという、個人サイトとしてはかなり大きな規模です。

1週間で128万ページ配信、人間は5977回だけ

グレイさんが1週間分のログを集計した結果は、こうなりました。

サーバーへの総リクエスト: 約250万件
実際に配信したページ: 約128万ページ
解析ツールが記録した人間のページビュー: 5977回

割り算すると、ボット対人間の比率は214対1。

つまりサーバーが100回働くうち、人間のために働いているのはわずか0.5回未満ということです。

ここで大事なのは、グレイさんが2種類の数字を並べている点です。

アクセス解析ツール（Plausible）が見せていたのは5977回という、ごく普通の数字でした。サーバーログを直接見て初めて、その裏で250万件が動いていたとわかったのです。

1日362万リクエストを浴びた日もある

ピークは2026年4月22日でした。

この1日だけで362万リクエスト、しかも発信元は36万1844個のユニークIPアドレス。特定の1台からではなく、無数の端末から分散して来ていました。

グレイさんはCloudflareの「Managed Challenge」で118万件をはじきましたが、それでも取りこぼしは残ります。

サーバー代への影響も具体的です。通常は月90ドル（約1万3500円）ほどのところ、ボットが急増した月は500%増まで跳ね上がりました。請求書の99%が、読者ではないアクセスに使われていた計算になります。

Claude-SearchBotは3万5000ページ読んで、訪問者12人

もっとも目を引いたのが、クローラーごとの内訳でした。

ここで登場するのがクロール対流入比（crawl-to-refer ratio）という指標です。「そのボットが何ページ読み込んで、代わりに何人の訪問者を送ってきたか」を表します。

数字が小さいほど「読んだ分だけ人を送ってくれる、フェアなボット」ということになります。

クローラー別の「読んだ数対送った人数」

クローラー	クロール対流入比
Googlebot	46 : 1
Bingbot	406 : 1
Claude-SearchBot（Anthropic）	35,000 : 1
Amzn-SearchBot（Amazon）	訪問者0人

Claude-SearchBotは1週間で42万680ページを取得しました。

そのお返しに送ってきた訪問者は、12人です。

帯域幅で比べると差はもっと生々しくなります。Claude-SearchBotが使った通信量は4.63GB。一方、その12人の訪問者が使ったのは175KBでした。約2万7000倍の開きです。

AmazonのAmzn-SearchBotはさらに極端で、1日11万7000ページを読みながら、送ってきた訪問者はゼロでした。

なぜこうなる？「学習クロール」と「検索クロール」の違い

Googlebotが46対1で済んでいるのには理由があります。

検索エンジンの仕事は、ユーザーを外部サイトに送り出すことだからです。検索結果のリンクがクリックされるたび、あなたのサイトに人が届きます。読み込みと送客がセットになっているのです。

一方、AIクローラーの多くは違う目的で動いています。

Cloudflareの調査によると、AIボットのクロールのうち検索目的は10%未満。残りの9割はモデルの学習とチャットでの回答生成に使われています。

チャット画面の中で答えが完結すれば、ユーザーは元のサイトを開きません。読み込まれても、人は来ない。この構造が数字に表れているわけです。

規模も年々ふくらんでいます。Cloudflareは1日あたり500億件のAIクローラーリクエストを処理していると公表しました。2026年6月にはCEOのマシュー・プリンス氏が、ボットがHTMLトラフィックの57.5%を占め、初めて人間を上回ったと明かしています。

主要AIクローラーを横並びで比べると

PatronViewの数字は1サイトの実測なので、極端に振れている可能性もあります。ネット全体ではどうでしょうか。

Cloudflare Radarが公開している2026年の集計は、こうなっています。

Google: 約4.6 : 1（もっとも良好）
Microsoft: 約35 : 1
OpenAI（GPTBot）: 約217〜251 : 1
Perplexity: 約225 : 1
Anthropic: 約1917〜2237 : 1

順位の傾向はPatronViewの実測と一致しています。Googleが群を抜いて効率的で、AI企業のボットほど「読むばかりで返さない」形です。

ただし改善の動きもあります。Anthropicの比率は2026年6月時点で約4580対1でしたが、7月には約1917対1まで下がりました。AIアシスタントが引用リンクを出すようになり、少しずつクリックが戻り始めているためと見られます。

それでもGoogleの4.6対1とは、まだ400倍以上の開きがあります。

日本のサイト運営者にとって、これは他人事か

「うちは小さいサイトだから関係ない」と思うかもしれません。ですが影響は規模を選びません。

個人でレシピブログを運営している人を考えてみてください。月300円ほどの共用サーバーで十分だったはずが、ある月から表示が重くなり、サーバー会社から「転送量超過」の通知が届く。調べてみると読者ではなく、見慣れない名前のボットが延々とアーカイブを巡回していた——こうしたケースが実際に起きています。

中小企業の採用サイトでも似た問題が出ます。応募フォームの前段でボットがページを叩き続けると、本来の応募者にとって表示が遅くなります。採用の機会損失に直結します。

もっと深刻なのが、自治体や図書館のデジタルアーカイブです。貴重な資料を無料公開している側は、たいてい予算が限られています。海外では文化機関のサイトがAIボットの流入でクラッシュした事例も報告されました。公共のアーカイブが、AI学習のために落ちるのは本末転倒です。

日本ではさらに厄介な事情もあります。国内サイトの多くが日本語コンテンツを持っており、AI企業にとって相対的に希少な学習データにあたるからです。狙われやすい素地があると言えます。

robots.txtでは止まらない。今できる5つの対策

グレイさんは「訪問者を1人も送ってこないクローラーはブロックする」というシンプルな方針を立て、次の対策を実施しました。

地域ブロック: 訪問者がほぼいない国からのアクセスを遮断
ユーザーエージェント指定: SEO調査系クローラー12種を名指しでブロック
AIクローラーの遮断: Claude-SearchBotとAmzn-SearchBotを停止
データセンター経由の判定: クラウド事業者46社のASNに認証チャレンジ
レート制限: 1IPあたり10秒で30ページまでに制限

ここで注意したいのが、CAPTCHA（人間かどうかを確かめる認証）の限界です。

グレイさんの計測では、48時間で10万6437回のチャレンジを出したのに、解かれたのは252回だけ。解決率はわずか0.24%でした。

ボットはCAPTCHAを解こうともせず、単に別のIPから来ます。実際、2026年7月には一般家庭のISP回線を経由する住宅用プロキシボットネットが観測され、地域ブロックをすり抜けていました。

だからこそ、robots.txtへの記述だけで安心してはいけません。robots.txtはあくまで「お願い」であり、守らないクローラーが確実に存在します。サーバーログを自分の目で見ること。ここがすべての出発点です。

経済的な仕組みづくりも進んでいます。Cloudflareは、AIクローラーに課金するPay Per Crawlをプライベートベータで提供してきました。2026年7月1日には「Pay Per Use」への移行を発表し、さらに2026年9月15日からは、新規に導入されるドメインで学習用・エージェント用クローラーをデフォルトでブロックする方針を打ち出しています。

よくある質問（FAQ）

Q1. AIクローラーは全部ブロックすべきですか？

目的によって変わります。AI検索での露出を増やしたい企業サイトなら、引用リンクを返してくれるクローラーは通す価値があります。逆に、コンテンツそのものが資産である専門メディアやクリエイターは、学習用クローラーを止める判断が主流です。まずは自分のログでクロール対流入比を測り、送客ゼロのボットから外すのが現実的です。

Q2. Googleアナリティクスにボットのアクセスがないのはなぜですか？

アクセス解析ツールの多くはJavaScriptで計測しているためです。多くのクローラーはJavaScriptを実行せずHTMLだけ取っていくので、解析画面には現れません。だから「解析ツールでは平和なのに、サーバー代だけ上がる」という現象が起きます。実態を知りたいならサーバーログか、Cloudflareなどの管理画面を見てください。