本国の「AI除外」設定は日本向けドメインに届くか｜Search Console・Cloudflare・robots.txtの効く単位
2026年8月31日、Search Console の「検索の生成 AI 設定」が世界中の全ウェブサイトに提供されました。9月15日には Cloudflare が、検索は残したまま学習だけを断る「Disallow AI Training」を出しています。
本社のサイト担当がこの二つを設定し、robots.txt には Google-Extended の行も書いた。では、日本向けのサイトも同じ状態になっているのか。答えを決めるのは国ではありません。日本向けサイトの「住所の形」です。
三つの設定は、どれも日本のサイトにも提供されています。ただし効く範囲は、Search Console がプロパティ、Cloudflare がドメイン（ゾーン）、robots.txt がホストごと。example.co.jp のような別ドメインには、本国ドメインで決めた値はどれも自動では届きません。サブドメインやサブディレクトリなら、届く設定と届かない設定が分かれます。
KEY POINTS
| 設定 | 何を止めるか（層） | 日本での提供 | 効く範囲 |
|---|---|---|---|
| Search Console「検索の生成 AI 設定」 | AI による概要・AI モード・Discover の生成 AI 機能への表示（選択層）。AI の学習には影響しない | 2026年8月31日から世界中の全ウェブサイト | Search Console のプロパティ。子は親を継承するが、example.co.uk は example.com の子ではない |
| Google-Extended（robots.txt） | Gemini モデルの学習と、Gemini アプリなどでのグラウンディング（取込層）。Google 検索での登録やランキングには影響しない | robots.txt に書く方式 | robots.txt を置いたホスト・プロトコル・ポートだけ |
| Cloudflare「Disallow AI Training」 | 学習目的のクロール（取込層）。Googlebot などは検索のためのクロールを続けられる | 全顧客・全プラン（2026年9月15日発表） | ドメイン（ゾーン）単位 |
| Cloudflare「Block」 | 9月15日から Applebot・Bingbot・Googlebot にも適用。検索にも影響する | 同上 | ドメイン（ゾーン）単位 |
Search Console の除外は、プロパティの親子をたどって受け継がれる
生成 AI 設定は、サイト全体に一つだけあるスイッチではありません。プロパティごとに値を持ち、親子関係で受け継がれます。
ヘルプによれば、対象は AI による概要、AI モード、Google Discover の生成 AI 機能で、このリストは随時更新される予定です。
「除外する」を選ぶと、サイトへのリンクとコンテンツはこれらの機能に表示されなくなる。ただし他のサイトのコンテンツは引き続きこれらの機能で利用可能で、自社と似た内容が表示される場合もある、とヘルプは書いています。自社ページが外れても、その話題が AI の答えから消えるわけではない。本社への報告で落としやすいのは、この一文です。
この設定は AI の学習には影響しない。学習を制限するなら Google-Extended を、というのがヘルプの案内です。
日本向けサイトとの関係を決めるのは、継承のルールです。
プロパティはデフォルトでは、継承を停止するように設定が変更されている最も近い親から、[検索の生成 AI 設定] を継承します。
Search Console ヘルプ「検索の生成 AI 設定」
既定値は「含める」で、親プロパティがあれば「親から継承する」が既定になります。ヘルプの例では、ドメイン プロパティ example.com の子として https://example.com/business/ や blog.example.com が並び、「子プロパティではない」欄には example.co.uk が置かれています。.co.jp も同じ形の別ドメインです。
本国がどのプロパティで除外したかも見てください。URL プレフィックス プロパティ https://www.example.com/ の子として例示されているのは配下のパスで、example.com や https://example.com/ は子ではありません。値を変えた場所によって、受け継がれる範囲は変わります。子プロパティの所有者は、親に従うか、その子プロパティだけ値を変えるかを選べる。日本側の担当が所有者なら、本国の除外を日本向けの範囲で「含める」に戻すこともできます。
Cloudflare の「Block」は、9月15日から Googlebot まで止める
Cloudflare の発表で先に確かめたいのは、新設定よりも、既存の「Block」の意味が変わった点です。
Cloudflare はボットの行動を Search（検索インデックスの構築）、Training（モデルの学習）、Agent（人の代わりにページを訪れる）に分け、それぞれの設定をドメイン単位で適用します。新しい Disallow AI Training は Training 専用の選択肢。この設定では、Bot Preference Sync が robots.txt に学習拒否を書き出します。検索と学習を兼ねるクローラーのうち Cloudflare が「Accountable」と認めたものは検索用に許可されたままで、それ以外の学習クローラーはブロックされる。
"Block and Block on pages with ads now apply to mixed-use crawlers, including Applebot, Bingbot, and Googlebot, so either setting impacts search as well as training."
Cloudflare Blog「Have it both ways: stay discoverable in search while disallowing AI training」(2026-09-15)
既存ドメインについて Cloudflare は、ほとんどの場合は何もしなくてよく、現在の設定は自動で引き継がれると書いています。細かい設定を使ったことのないドメインなら、旧「Block AI」の Block は Search が Allow、Training が Disallow AI Training、Agent が Block on pages with ads に移ります。
引き継ぎは、すでにあるドメインの話です。9月15日以降に新しいドメインを追加すると、広告で収益を得ているかどうかで二種類の推奨プリセットが提示されます。広告のないサイト向けでは Training が Allow。後から変えられるとはいえ、広告のないサイトとして推奨をそのまま受け入れた日本向けドメインは、Cloudflare 上の Training が Allow のまま動き始めます。
各社の対応は Cloudflare の説明です。Cloudflare によれば、Apple・Google・Microsoft はこの設定を尊重しているか、期限付きで尊重を約束しています。Bing の場合、robots.txt で学習拒否を受け取る仕組みは2027年初めが目標。それまでは Disallow AI Training を選んでも robots.txt 経由では Bing に自動で伝わらない、と同社は書いています。同社が挙げる手段の一つが、Bing の NOARCHIVE メタタグです。
Google-Extended と robots.txt は、置いたホストの中でしか効かない
Google-Extended は学習の層、Search Console の設定は表示の層。書く場所も、効く範囲も違います。
Google のクローラー文書によれば、Google-Extended で管理できるのは、Gemini アプリや Gemini 向け Vertex AI API のベースになる次世代 Gemini モデルの学習と、Gemini アプリでのグラウンディング、Vertex AI での Google 検索を使用したグラウンディングです。Google 検索での登録やランキングには影響しない、と同じ文書にあります。
AI による概要や AI モードへの表示を外す手段としてヘルプが示すのは Search Console の設定で、Google-Extended は学習の側に置かれている。Search Console で除外しても、学習は止まりません。
"The rules listed in the robots.txt file apply only to the host, protocol, and port number where the robots.txt file is hosted."
Google Search Central「How Google Interprets the robots.txt Specification」
https://example.com/robots.txt は同じホストの全サブディレクトリに効きますが、https://other.example.com/ には効きません。RFC 9309 も robots.txt の URI を「scheme:[//authority]/robots.txt」と定めています。ファイルは住所ごとに一枚。robots.txt に「使い道」を書く IETF の草案が固まっても、この前提は同じです。
並べると、どの設定も別ドメインの手前で止まる
日本向けサイトの形ごとに三つの設定を並べると、本社の「対応済み」がどこまで本当かが見えます。
| 日本向けサイトの形 | Search Console 生成 AI 設定 | robots.txt（Google-Extended） | Cloudflare の学習設定 |
|---|---|---|---|
| example.co.jp（別ドメイン） | ヘルプ例の example.co.uk と同じ形の別ドメインで、example.com の子ではない。自分で変えなければ既定の「含める」 | 別ホスト。日本向けの robots.txt に書く必要がある | 別ドメイン。そのドメインの設定を別に確認 |
| jp.example.com（サブドメイン） | ドメイン プロパティ example.com の子。既定では継承 | そのサブドメインの robots.txt だけが効く。別に書く | どのゾーンに属しているかを管理画面で確認 |
| example.com/ja/（サブディレクトリ） | 子プロパティ。既定では継承 | 同じホストの robots.txt が効く | 同じドメインの設定が効く |
本社は「AI の扱いは決めた」と言い、日本側は「本社で対応済み」と聞いている。どちらも嘘ではない。それでも example.co.jp で運用しているなら、届いている設定は一つもありません。
ずれ方は三通りです。本国で除外したのに co.jp は「含める」のまま、という届かないずれ。日本側が学習を止めるつもりで「Block」を選び、Googlebot の検索クロールまで止めてしまう取り違え。Search Console の除外で学習も止まった、あるいは Google-Extended で AI による概要から外れた、と思い込む層の混同。どれも、設定画面を一つだけ見ていると気付けません。
問うべきは「日本で使えるか」ではなく「日本向けの住所に値が入っているか」
以前の記事では、AI 検索の機能が日本・日本語でどこまで開いているかを原文で確かめました。今回の設定については、その問いに答えが出ています。どれも日本のサイトで選べる。
残る問いは別の場所にあります。AI にどこまで使わせるかはブランドの方針として決まるのに、その方針を受け取る設定はブランド単位ではどこにもない。方針は社内文書で国境を越えても、値は住所ごとに一つずつ入れるしかないのです。
Cloudflare は同じ記事で、AI 要約にコンテンツをどれだけ含めるかを運営者ごとではなく Cloudflare で一度に設定できるようにすることを、「来年初めまで」の目標に挙げています。計画段階の話ですが、向きは見えます。AI の扱いを決める場所は、ページの外、CDN や検索ツールの管理画面へ広がっている。確認する先が増えるほど、住所ごとの表がなければ追えなくなります。
この流れにどう備えるか
- 住所の一覧表を作る：本国ドメインと日本向けの全ホスト（co.jp、jp. サブドメイン、/ja/ ディレクトリ）を行に、Search Console の生成 AI 設定、robots.txt の Google-Extended 行、Cloudflare の Search/Training/Agent を列に置く。空欄になった所が、本社の方針が届いていない場所です。
- Search Console は日本向けプロパティで開く：[設定] > [検索の生成 AI] で「継承」か手動設定かを確認し、本国がどのプロパティで除外したかと照らし合わせる。値を変える前に、生成 AI パフォーマンス レポートで現状を見ておく。変更後と比べる基準になります。ヘルプによれば、反映は設定が有効になってから1〜2日以内で、それより長く残るコンテンツもあります。
- Cloudflare では「Block」を学習拒否のつもりで選ばない：検索を残して学習だけ断るなら、日本向けドメインの Training を Disallow AI Training に。9月15日以降に追加したドメインは、推奨プリセットのまま運用していないかを見直す。Bing の扱いは robots.txt 任せにせず、社内で別に決めておく。
- robots.txt は日本向けホストのファイルを直接開く：https://（日本向けホスト）/robots.txt の本文を読み、Google-Extended など学習用トークンの行が本国と揃っているかを確かめる。ステータスコードだけでは中身は分かりません（llms.txt の実測で、その食い違いを扱いました）。
参考資料
- Search Console ヘルプ「検索の生成 AI 設定」(2026-09-17 確認)
- Search Console Help「Search generative AI control」(2026-09-17 確認)
- Cloudflare Blog「Have it both ways: stay discoverable in search while disallowing AI training」(2026-09-15)
- Google for Developers「Google の一般的なクローラー」(Google-Extended の項)
- Google Search Central「How Google Interprets the robots.txt Specification」(2026-09-17 確認)
- IETF RFC 9309「Robots Exclusion Protocol」(2022-09)
株式会社MenuMenu 代表取締役
ソフトウェアエンジニアであり、UI・UXデザイナー。2012年からシリコンバレーと韓国でプロダクトをつくってきました。SEO・MEO・AEOの専門家として、訪日観光客と日本のローカルビジネスをつなぐMenuMenuを自ら設計・開発しています。
プロフィールを見る →Next
「見つかっているか」を、数字で確かめませんか。
AIの答え、検索、地図。どこで見つかっていて、どこで見つかっていないのか。まずはサイトを点検し、現状を数字にしてから次の一手を決められます。