AI学習拒否の共通トークン「__usage_ai-training」｜日本語ユーザー向け31サイトの実測で記載0件
robots.txtでAI学習を断るなら、ボット名を一つずつ書く。この前提が2026年10月30日に変わりました。書くのはボットの名前ではなく、目的の名前です。日本語ユーザー向けに選んだ50ドメインのrobots.txtを11月6日に取りに行くと、取得できた31件のうち、この書き方をしていたのは0件でした。
Google・Microsoft・Anthropicはそれぞれの文書でこの書き方への対応を表明し、OpenAIも共通のrobots.txtシグナルを尊重すると発表しています。
新しい書き方は、User-Agent: __usage_ai-training のグループに Disallow: / を置くこと。元になったIETFの草案では、User-agent: * のグループはこのトークンに当てはまりません（MUST NOT）。トークンを書いたサイトが0件である以上、草案の基準では31件の全てが、共通シグナルについて意思表示をしていない状態です。うち21件は、社別の学習系ボット名も書いていませんでした。
この記事は取込層（LLMO）の話です。対象はサイトのrobots.txt。標本は日本語ユーザー向けに選んだ50ドメインで、一部は海外本社のグローバルホストです。9月に書いた2本の記事のうち、書式とBingの時期については、ここで訂正と更新をします。
「1行で学習拒否」の見出しと、原文の条件
| よく聞く理解 | 原文に書いてあること |
|---|---|
| 4社が共通の「AI学習拒否」シグナルに対応 | 開始時期は社ごとに違う。Anthropicは2026年10月30日から順次、Bingは2027年2月1日から、Googleは2027年の対応を目指す段階。OpenAIの時期は本文を確認できていない |
| robots.txtに書けば学習を断れる | 書くのはUser-Agent行とDisallow行の2行。User-agent: * は当てはまらない。クロールを止める指示でもない |
| ボット名を個別に書く手間がなくなる | 社別の指定は残り、優先されることがある。AnthropicはClaudeBotの記述に従い、GoogleはGoogle-Extendedが明示されていればそちらを読む |
| Bingにはnoarchiveで学習を断ってきた | 2027年3月1日を過ぎると、Bingはnoarchive・nocacheを学習やグラウンディングの希望として読まない |
4社が10月30日付で書いたこと
対応を表明した点は同じでも、開始時期と書き方の細部は会社ごとに違います。
元になった文書は、IETFに出された草案「draft-kelley-aipref-training-preference-signal-00」です。著者はAnthropicのK. Kelley氏で、日付は2026年10月30日、有効期限は2027年5月3日。作業部会の合意を経た文書ではなく、個人名義のInternet-Draftにあたります。草案の冒頭は、robots.txtの文法に手を付けないという宣言です。
"It introduces no new directive names and no new grammar: the path language, longest-match precedence, and group structure of robots.txt are not changed."
draft-kelley-aipref-training-preference-signal-00 Abstract
新しい指示語を作らず、User-Agent行に「目的の名前」を書く。この設計に、各社は次のように応じました。
| 会社 | 書いたこと | 時期 | 社別の指定との関係 |
|---|---|---|---|
| トークンで学習を拒否し、Google-Extendedが明示されていなければ、Google-ExtendedをDisallowしたものとして扱う計画 | 他のAI事業者とともに2027年に対応することを目指す | 既存の社別の制御は、共通シグナルと並んで機能し続ける | |
| Microsoft（Bing） | robots.txtのトークンでサイト・パス単位、metaタグとX-Robots-Tagでページ単位の学習設定。ページ単位がrobots.txtを上書きする | 2027年2月1日から、クロールに合わせて適用 | 学習とは別に、グラウンディング（回答の根拠に使うこと）の設定を新設。こちらはページ単位のみ |
| Anthropic | 「no AI training」を表す新しいシグナルを尊重 | 2026年10月30日に認識を開始。全サービス・全世界へ順次展開 | robots.txtがClaudeBotを名指ししていれば、そちらに従う |
| OpenAI | 共通のrobots.txtシグナルを尊重すると発表 | 未確認（発表本文を取得できず） | 未確認 |
Googleの文言には条件が付いています。
"When a website uses this policy token to opt out of training in its robots.txt file (and Google-Extended is not explicitly specified), Google plans to interpret that as if the publisher had disallowed Google-Extended."
Google Search Central Blog「Supporting a shared AI training control for websites」
Anthropicのヘルプ記事にトークン名そのものはなく、「IETFのaipref作業部会の作業に基づく草案」に沿ったシグナルという言い方です。OpenAIは本文ページを取得できず、公式RSSの要約で「共通のrobots.txtシグナルを尊重する」と確認できた範囲にとどめます。
前回書いたContent-Usage行とは、書式が違う
9月15日の記事で紹介した Content-Usage: train-ai=n は、今回の4社が対応を表明した書式ではありません。
「検索はOK、学習はNG」をrobots.txtに書く草案では、aipref作業部会の草案 draft-ietf-aipref-vocab-08 と attach-05 をもとに、robots.txtへ Content-Usage 行を足す書き方を解説しました。例も User-Agent: * のグループの中に書いています。今回の草案が使うのは、User-Agent行そのものです。
# 9月15日の記事で扱った書式（aipref vocab-08 / attach-05 の草案）
User-Agent: *
Allow: /
Content-Usage: train-ai=n
# 今回 Google・Microsoft・Anthropic が対応を表明した書式
User-Agent: __usage_ai-training
Disallow: /「学習」の定義は共通で、新しい草案もaipref作業部会の語彙（vocab-08 §4.1）の「AI Training」に合わせています。変わったのは書く場所です。Google・Microsoft・Anthropicの発表本文に、Content-Usageという語は一度も出てきません。前回の記事を見てContent-Usage行を書いたサイトが今回の対応に乗るには、トークンのグループを別に足す形になります。同じDisallowでも、トークンのグループでは「取りに来てよいか」ではなく、学習という用途への反対の意思表示として読まれます（§4.2）。
Bingの「2027年初め」は2月1日に、NOARCHIVEは移行の対象に
9月17日の記事で手段の一つとして紹介したNOARCHIVEは、Bingでは2027年3月1日までの手段と読み替えてください。
本国の「AI除外」設定は日本向けドメインに届くかでは、Cloudflareの説明をもとに「Bing の場合、robots.txt で学習拒否を受け取る仕組みは2027年初めが目標」と書き、Cloudflareが挙げる手段の一つとしてBingのNOARCHIVEメタタグを紹介しました。Bing自身の10月30日の発表で、日付と扱いがはっきりしています。
- 2026年12月15日：Bing Webmaster Toolsで、グラウンディングの一時設定の受付が始まる。その日時点でNoArchiveかNoCacheを使っているサイトに限る
- 2027年2月1日：新しい学習・グラウンディングの設定を、クロールに合わせて読み始める
- 2027年3月1日：この日を過ぎると、NoArchiveとNoCacheは学習・グラウンディングの希望として読まれない
- 2027年9月30日：一時設定の期限。ページごとに、再クロールかこの日の早いほうまで有効
学習については、Bing Webmaster Toolsに一時設定はありません。robots.txtのトークンか、ページのmeta（<meta name="Bingbot" content="ai-training:disallow">）かHTTPヘッダー（X-Robots-Tag）で書き直す。グラウンディングにはサイト全体のrobots.txt設定がなく、ページごとのmetaかX-Robots-Tagで指定します。新しい設定が見つかったサイトでは、残っているNoArchive・NoCacheは無視される仕組みです。
日本語ユーザー向け50ドメインのrobots.txtで見えたこと
トークンを書いたサイトは0件。社別のボット名を書いたサイトは10件で、残る21件は学習系ボットの名前を一つも書いていませんでした。
2026年11月6日9時23分（日本時間）に、日本語ユーザー向けに選んだ50ドメインへアクセスしました。10月22日の記事で使ったものと同じ標本で、業種を混ぜて任意に選んでいます。robots.txtを取得できたのは31件、トップページを取得できたのは43件です。
| 項目 | 件数 | 分母 |
|---|---|---|
__usage_ai-training を書いたサイト | 0 | robots.txt取得31件 |
Content-Usage 行を書いたサイト | 0 | 同31件 |
| 学習系ボット（Google-Extended・GPTBot・ClaudeBot・anthropic-ai・CCBot）を一つ以上名指し | 10 | 同31件 |
| 上記のボットを一つも書いていない | 21 | 同31件 |
Google-Extendedを記載 ／ うち Disallow: / | 9 ／ 7 | 同31件 |
GPTBotを記載 ／ うち Disallow: / | 9 ／ 6 | 同31件 |
ClaudeBotを記載 ／ うち Disallow: / | 5 ／ 4 | 同31件 |
User-agent: * のグループがある ／ うち Disallow: / | 29 ／ 0 | 同31件 |
| トップページにnoarchive（metaまたはX-Robots-Tag） | 3 | トップページ取得43件 |
| トップページにnocache ／ ai-groundingのmeta | 0 ／ 0 | 同43件 |
学習系ボットを名指ししていたのは、cookpad.com、suumo.jp、tabelog.com、www.asahi.com、www.donki.com、www.nikkei.com、www.samsung.com、www.shiseido.co.jp、www.yahoo.co.jp、www3.nhk.or.jpの10件です。
標本に入れた海外ブランドのドメイン3件（www.innisfree.jp、www.amorepacific.com、www.apple.com）には、学習系ボットの記載がありませんでした。User-agent: * だけだったのはwww.amorepacific.comで、www.innisfree.jpにはadsbot-googleのグループ、www.apple.comにはBaiduspiderやSogou系などのグループがあります。www.samsung.comはGPTBotなどを書いていますが、どれも Disallow: / ではありません。
この4件は、取得したファイルが日本専用とは限りません。www.apple.comのトップページはlang="en-US"、www.amorepacific.comはap-beauty.comの韓国語ページへ転送され、www.samsung.comのrobots.txtはグローバルのホストのものでした。海外本社のファイルを見て「日本も設定済み」と判断する前に、日本向けのページがどのホストに載っているかを確かめる必要があります。
トップページのnoarchiveは3件。www.nikkei.comとwww3.nhk.or.jpは <meta name="bingbot" content="noarchive"> を置き、www3.nhk.or.jpはX-Robots-Tagでもnoarchiveを返していました。suumo.jpは <meta name="robots" content="noarchive"> です。Bingの移行期限の影響を受け得る書き方が、トップページに残っています。
「User-agent: *」は、このトークンの代わりにならない
21件が「学習を許可した」わけではありません。共通シグナルについては、何も書いていないだけです。
草案§4.2の規定は二つ。ワイルドカードのグループはトークンに当てはめてはならない。トークンのグループが一つもなければ、意思表示はなかったものとみなす。
"If no group contains the __usage_ai-training policy token (i.e., there is no User-Agent: __usage_ai-training line in the file), then no preference has been expressed."
draft-kelley-aipref-training-preference-signal-00 §4.2
実測では、User-agent: * のグループを持つ29件のうち、そこで Disallow: / を書いたサイトは0件でした。仮に書いてあっても、草案の読み方では学習の拒否にはならず、全てのクローラーを締め出す行として働くだけです。意思表示がないときの扱いは受け取る側次第で、Bingは学習もグラウンディングも既定がAllow、AnthropicはClaudeBotへの言及がなければ一般の設定に従います。
社別のボット名を書いてきた10件は、何が変わるか
社別の記述は、その会社には今まで通り読まれます。共通シグナルとしては空欄のままです。
草案§4.2では、社別のトークンは従来通り解釈すべき（SHOULD）だが、共通シグナルの意思表示として扱ってはならない（MUST NOT）。社別トークンを共通トークンより具体的な指定として扱うと各社が文書化してよい（MAY、§4.5）とされ、AnthropicはClaudeBotを名指しした規則に、一般の設定と違っても従います。Googleがトークンを Google-Extended の拒否と読むのは、Google-Extendedが明示されていない場合だけです。
Googleの説明を文面通りに読めば、「共通トークンで学習を断り、Google-Extendedだけは許可する」書き分けも成り立ちます。同じ発表には、Google-Extendedを明示的に許可したサイトはGemini Appsのグラウンディングを通じて回答に表示され、クリックを受ける対象になる、という一文があります。
学習・グラウンディング・クロールは、別々に決める
問うべきは「どのボットを止めるか」ではなく、「自社のコンテンツを何に使わせるか」です。
社別のボット名は取りに来る者を選ぶ書き方で、新しいトークンは取りに来た後の用途に名前を付ける書き方。このトークンはクロールを止める指示ではなく（草案§4.4）、Bingによれば通常の検索結果に載る資格も変わりません。AI回答の根拠に使われるかは、Bingではページ単位のグラウンディング設定で別に決まり、Disallowにすると「AI体験でのブランドの見え方が減る」とBing自身が注意を促しています。
サイト担当者が今やるべきこと
- ホストごとにrobots.txtを開き、3点を数える：
__usage_ai-trainingがあるか、Google-Extended・GPTBot・ClaudeBotの記述があるか、User-agent: *しかないか。Anthropicは、オプトアウトしたいサブドメインごとの設定を求めています。海外本社のサイトと日本向けドメインが別なら、開くのは日本側のファイルです。 - 学習を断るなら、トークンのグループを足し、社別の記述と食い違わせない：
User-Agent: __usage_ai-trainingとDisallow: /の2行を加えます。ClaudeBotをAllowにしたままトークンでDisallowすれば、AnthropicはClaudeBot側に従う。Google-Extendedも、明示した行が読まれます。 - noarchive・nocacheのページは、Bing向けに2027年3月1日までに置き換える：学習の希望はrobots.txtのトークンかページのai-training設定、グラウンディングはページのai-grounding設定へ。グラウンディングを止め続けたいなら、12月15日以降にBing Webmaster Toolsで一時設定も登録します。
測り方と限界
認証なしのGETで、ブラウザのUser-Agentを名乗り、タイムアウト20秒・再試行1回で取得しました。「robots.txtを取得できた」は、HTTP 200で本文がHTMLでないものに限っています。User-agentの値は大文字小文字を無視した完全一致で判定し、トップページのmetaは正規表現による近似の読み取りです。noarchiveはトップページ1枚だけを見ており、下層ページは測っていません。標本50ドメインは任意に選んだもので、一部に海外本社のグローバルホストを含みます。日本語サイト全体の比率を示すものではありません。同じ標本で10月22日に取得したrobots.txtは28件。今回の31件との差3件（suumo.jp・www.city.sapporo.jp・www.homes.co.jp）は、いずれもサーバー応答の違いで、比較には使いません。
参考資料
- Google Search Central Blog「Supporting a shared AI training control for websites」(2026年10月30日)
- Microsoft Bing Blog「Your content, your choice: clearer preferences for training and grounding」(2026年10月30日)
- IETF Internet-Draft「Machine-Readable Training Preference Signal」draft-kelley-aipref-training-preference-signal-00 (2026年10月30日)
- Claude Help Center「Does Anthropic crawl data from the web, and how can site owners block the crawler?」(2026年11月6日確認)
- OpenAI「Making it easier for websites to express AI training preferences」(本文は取得できず、公式RSSの要約で確認)
- MenuMenu「「検索はOK、学習はNG」をrobots.txtに書く草案｜IETF aipref vocab-08で分類が3つに」
- MenuMenu「本国の「AI除外」設定は日本向けドメインに届くか｜Search Console・Cloudflare・robots.txtの効く単位」
株式会社MenuMenu 代表取締役
ソフトウェアエンジニアであり、UI・UXデザイナー。2012年からシリコンバレーと韓国でプロダクトをつくってきました。SEO・MEO・AEOの専門家として、訪日観光客と日本のローカルビジネスをつなぐMenuMenuを自ら設計・開発しています。
プロフィールを見る →Next
「見つかっているか」を、数字で確かめませんか。
AIの答え、検索、地図。どこで見つかっていて、どこで見つかっていないのか。まずはサイトを点検し、現状を数字にしてから次の一手を決められます。