FIRST CHApps

First CH Apps / AIクローラー拒否・許可チェッカー

AIクローラー拒否・許可チェッカー

URLを入れると robots.txt を取得し、主要AIクローラー1体ずつについて、そのパスをクロールしてよいかを判定します。判定はGoogleの規則（最長一致が勝ち・同着ならAllowが勝つ）に合わせています。llms.txt の有無とページ応答の X-Robots-Tag も同時に確認します。

AIクローラーを拒否する robots.txt の書き方

GPTBot を拒否・許可する書き方

OpenAI のクローラーは用途ごとにUAが分かれています。GPTBot はモデル学習用の収集、OAI-SearchBot は ChatGPT の検索機能のインデックス用です。GPTBot を拒否しても ChatGPT の検索表示には影響せず、逆に OAI-SearchBot を拒否すると ChatGPT の回答に引用されなくなります。「学習には使わせないが、引用はされたい」なら次のように書きます。

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

学習用のAIクローラーだけをまとめて拒否する

学習・データセット収集のクローラーは運営元ごとに別UAなので、1体ずつ User-agent を書いて拒否します。Google-Extended と Applebot-Extended はクローラーではなく「学習利用の可否」を示すトークンで、拒否しても Google検索・Apple の検索表示には影響しません。Claude-Web・anthropic-ai は旧UAなので、今から書くなら ClaudeBot を指定します。

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: meta-externalagent
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

拒否してはいけないもの・拒否しても止まらないもの

Googlebot と Bingbot は拒否しないでください。Google の AI Overviews / AI モードは通常の Googlebot の取得を、Copilot の回答は Bing のインデックスを土台にしているため、拒否すると AI回答にも通常の検索結果にも出なくなります。また ChatGPT-User・Perplexity-User のようにユーザー操作で都度読みに来るUAは、運営元が robots.txt の対象外としている（または適用されない場合がある）と説明しています。robots.txt 自体もクローラー側の自主的な遵守が前提で、アクセスを物理的に止める効力はありません。

書いたあとに拒否できているか確かめる

上の欄に自サイトのURLを入れると、robots.txt の指定がAIクローラー1体ずつにどう効いているかを判定します。UA個別の指定が効いたのか * の指定に落ちたのか（User-agent の綴り違いはここで分かります）と、効いた Disallow のパターンもあわせて表示されます。

6軸の総合診断もあります

このアプリはGEO（AI検索最適化）の6軸のうち「AIクローラー許可」1軸を深掘りした単機能版です。構造化データ・llms.txt・E-E-A-T・本文構造まで含めた総合スコアは GEO簡易チェッカー で出せます。

GEO簡易チェッカー（6軸100点）へ →

SERVER PROCESSING — サーバーへ送るもの・保存するもの

送るもの: 入力されたURLだけ。当社サーバー（Cloudflare Workers）が、そのURL・同じサイトの /robots.txt・/llms.txt の3つを公開ページとして取得します（1回の確認で外部への取得は最大5本）。

保存するもの: ありません。判定はリクエストの中だけで完結し、URL・判定結果ともデータベース（KV/D1）へ書き込みません。処理が終わった時点でメモリから消えます。

返すもの: 許可/拒否の判定、効いた Disallow のパターン、ファイルの有無とバイト数、X-Robots-Tag の値（先頭300字まで）だけです。取得した robots.txt・ページの原文は再配信しません。

注意: 取得は公開GETのみで、社内ネットワーク・localhost・プライベートIP宛のURLは受け付けません。ログイン後にしか見られないページは確認できません。

APIとして使う

POST /ai-access/api/check に JSON（{"url": "https://example.com/"}）またはフォームを送ると、同じ判定結果を JSON で返します。

robots.txt はクローラー側の自主的な遵守が前提の取り決めです。拒否してもアクセス自体を止める効力はありません（確実に止めるにはサーバー側でのUAブロックが必要です）。

UA台帳の最終更新: 2026-09-11 · AIクローラーのUAは年に数回増減します。台帳は JSON（ai-crawlers.json）で分離してあり、年次更新で差し替えます。