First CH Apps / AIクローラー許可チェッカー
URLを入れると robots.txt を取得し、主要AIクローラー1体ずつについて、そのパスをクロールしてよいかを判定します。判定はGoogleの規則（最長一致が勝ち・同着ならAllowが勝つ）に合わせています。llms.txt の有無とページ応答の X-Robots-Tag も同時に確認します。
このアプリはGEO（AI検索最適化）の6軸のうち「AIクローラー許可」1軸を深掘りした単機能版です。構造化データ・llms.txt・E-E-A-T・本文構造まで含めた総合スコアは GEO簡易チェッカー で出せます。
GEO簡易チェッカー（6軸100点）へ →送るもの: 入力されたURLだけ。当社サーバー（Cloudflare Workers）が、そのURL・同じサイトの /robots.txt・/llms.txt の3つを公開ページとして取得します（1回の確認で外部への取得は最大5本）。
保存するもの: ありません。判定はリクエストの中だけで完結し、URL・判定結果ともデータベース（KV/D1）へ書き込みません。処理が終わった時点でメモリから消えます。
返すもの: 許可/拒否の判定、効いた Disallow のパターン、ファイルの有無とバイト数、X-Robots-Tag の値（先頭300字まで）だけです。取得した robots.txt・ページの原文は再配信しません。
注意: 取得は公開GETのみで、社内ネットワーク・localhost・プライベートIP宛のURLは受け付けません。ログイン後にしか見られないページは確認できません。
POST /ai-access/api/check に JSON（{"url": "https://example.com/"}）またはフォームを送ると、同じ判定結果を JSON で返します。
robots.txt はクローラー側の自主的な遵守が前提の取り決めです。拒否してもアクセス自体を止める効力はありません（確実に止めるにはサーバー側でのUAブロックが必要です）。
UA台帳の最終更新: 2026-09-11 · AIクローラーのUAは年に数回増減します。台帳は JSON（ai-crawlers.json）で分離してあり、年次更新で差し替えます。