• robots.txt(クローラーへの案内板)にAI学習の拒否を一括で書けるしくみの提案が出ました
  • OpenAI・Google・Microsoftが対応する方針を表明しました
  • Microsoftは2027年2月1日から読み取りを始めます
  • クロール禁止とは別物で、あくまで「学習に使わないでほしい」という意思表示です
  • サイト運営者が今のうちにやっておくことがわかります

「うちの記事をAIの学習に使われたくない」と思っても、AI企業ごとにルールを書き分けるのは大変でした。2026年10月30日、その手間を減らす提案が出て、大手3社が対応の方針を示しました。この記事では、何が変わるのかと、運営者がやるべきことをやさしく解説します。

何が発表されたのか

ITmedia NEWSの報道によると、発表は2026年10月30日(現地時間)です。

Anthropicで標準化を担当するケビン・ケリー氏が、標準化団体IETF(インターネットの技術ルールを決める国際組織)にInternet-Draft(草案)を提出しました。題名は「Machine-Readable Training Preference Signal」です。

これを受けて、OpenAI、Google、Microsoftが対応する方針を表明しました。Anthropic自身も、すでに実装を始めているとのことです。

ただし、草案は個人名義での提出です。現時点ではIETFの正式な標準ではありません。

robots.txtとAI学習拒否のしくみ

これまでの面倒な点

robots.txt(サイトの入口に置く、ロボット向けの案内板のようなテキストファイル)は、もともと検索エンジンのクローラー(自動でページを集めるプログラム)向けの仕組みです。

AI学習を断りたい運営者は、AI企業ごとにクローラー名を調べ、1社ずつルールを書く必要がありました。新しい会社が増えるたびに、書き足す作業が発生します。

新方式の書き方

新方式では、User-Agent行に「__usage_ai-training」というトークン(目印の文字列)を書きます。

「Disallow」は学習への利用を断る意思、「Allow」は許可する意思を表します。たとえば、次のように書きます。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

この例では、/press-kit/以下を除くすべてのページについて、学習に使わないでほしいという意思を示せます。

新しい命令や文法は増えません。既存のパーサー(ファイルを読み取るプログラム)の動作に影響しない点が特徴です。

注意したい3つのポイント

1つ目は、これがクロール自体の禁止ではないことです。ページの取得を止めたいなら、従来どおり各クローラー向けのルールを書きます。

2つ目は、トークンを書かなければ、AI学習について特に意向を示していないとみなされることです。

3つ目は、対象が生成AIのモデルの学習に限られることです。生成以外の用途だけに使うモデルの学習は含まれません。各社が独自の制御手段を優先したり、個別契約で扱いを変えたりすることも認められています。

大手3社の対応スケジュール

OpenAI

今後数カ月以内の対応を目指しています。実装するときに詳細を公表するとしています。既存のrobots.txtによるクロール制御も、引き続き適用されます。

Google

他のAI企業とともに2027年の対応を目指します。

共通シグナルで拒否していて、独自の「Google-Extended」を明示していないサイトは、Google-Extendedでも拒否したものとして扱われます。Google-Extendedは2023年から提供されている制御手段で、今後も使えます。

ちなみに、Google-Extendedで利用を許可すると、Geminiアプリの「グラウンディング」(Webの情報を参照して答えを作る機能)の対象になります。回答の中で紹介されて、クリックにつながる可能性があります。

Microsoft

Microsoftは最も具体的で、2027年2月1日から新しい設定の読み取りと適用を始めます。

共通シグナルに加えて、metaタグやHTTPヘッダーでページ単位の指定にも対応します。ページ単位の指定は、robots.txtより優先されます。

グラウンディングには独自の設定を設けます。「Disallow」は利用を断ります。「DisallowExtended」は、CopilotやMicrosoft 365での利用は認めつつ、外部企業向けの「Web IQ」やMicrosoft FoundryのAPI経由の利用を断ります。

これらの設定は、Bing検索結果への掲載には影響しません。

従来の方法との比較

これまでの手段と新方式を比べると、次のようになります。

  • 社別のクローラー指定:確実に効く場合が多いものの、会社ごとに書く必要がある
  • Google-Extended:Google向けの専用の制御手段。2023年から使えて、今後も残る
  • Cloudflareの用途別管理:2026年7月に全顧客へ開放。AIクローラーを「検索」「エージェント」「学習」に分けて管理できる
  • 共通シグナル(今回):1回の記述で複数社に意思を伝えられる。ただし対応は各社の実装待ち

Googleは2026年6月にも、AI検索機能への利用を断るスイッチをSearch Consoleで提供すると発表しています。選択肢は増えていますが、設定の置き場所がばらばらなのが現状でした。

日本のサイト運営者への影響

ある地方の新聞社のWeb担当者を考えてみましょう。記事がAIの学習に使われるのは困る。でも検索からの流入は減らしたくない。これまでは、何社分ものルールを調べて書く必要がありました。

共通シグナルが広がれば、学習は断りつつ、検索には載せるという設定が書きやすくなります。

個人ブロガーやイラストレーターも同じです。作品を学習に使われたくない人にとって、1行の記述で意思を示せるのは大きな前進です。

逆に、AIの回答で自社サイトを紹介してほしい企業もあります。その場合は、Allowで許可し、グラウンディングで引用される道を残す選択もあります。

ただし、robots.txtは、Googleのクローラーのように守る側が自主的に従って成り立つ仕組みです。従わない相手を技術的に止める力はありません。

標準化の現在地

AI向けの意思表示は、IETFのAIPREFワーキンググループで議論されています。

ここでは、意思を表す語彙(vocab)と、それをコンテンツに結び付ける方法(attach)の2つの文書が扱われています。結び付ける方法の例として、robots.txtやHTTPレスポンスヘッダーが挙げられています。

なお、技術的な強制やAI学習の監査は、このワーキンググループの範囲外です。

今回の草案はAIPREFの議論に基づく個人提出なので、今後、内容が変わる可能性があります。

よくある質問(FAQ)

Q. 今すぐ書けば学習を止められますか?

A. まだ止められません。OpenAIは数カ月以内、Googleは2027年、Microsoftは2027年2月1日からの対応です。

Q. 書くと検索結果に出なくなりますか?

A. 学習への意思表示はクロール禁止とは別です。Microsoftも、Bing検索結果への掲載には影響しないとしています。

Q. すでにGoogle-Extendedを設定しています。やり直しは必要ですか?

A. 必要ありません。Google-Extendedは共通シグナル導入後も使えます。

Q. 書いておけば法的に守られますか?

A. 今回の取材範囲では、法的な効力は確認できていません。あくまで意思表示の仕組みです。

Q. Microsoftのnoarchiveを使っています。どうすればよいですか?

A. 従来の「NoArchive」「NoCache」に代わる設定が用意され、既存の利用サイトは2027年3月1日までの移行が求められます。

まとめ

  • AI学習の拒否をrobots.txtで一括指定する草案が、2026年10月30日に出された
  • OpenAI、Google、Microsoftが対応方針を表明し、Anthropicは実装を開始している
  • Microsoftは2027年2月1日から、Googleは2027年の対応を目指す
  • クロール禁止ではなく、学習に使わないでほしいという意思表示である
  • 草案は正式な標準ではなく、守る側の自主性に頼る仕組みである

まずは自分のサイトのrobots.txtを開き、今どんな指定があるかを確認してみましょう。

参考文献