robots.txtの正しい書き方と設定例（AIクローラー拒否・noindexとの違い）

SEO robots.txt クローラー Web開発

robots.txt の書き方、主要な設定パターン、AIクローラー（GPTBot / ClaudeBot等）の制御方法、および meta noindex との決定的な違いについてのガイドです。

1. オンライン robots.txt 生成・テストツール

ブラウザ上で構文ルールに基づいた robots.txt を生成・検証できます。

🤖 この場でrobots.txtを生成する

  
 
 
   




2. 基本構文と設定パターン


robots.txt は必ずドメインのルート直下（https://example.com/robots.txt）に配置します。


① 基本的な構文ルール


User-agent: *                  # 対象とするクローラー（* は全クローラー）
Disallow: /admin/              # クロールを禁止するパス
Allow: /admin/login            # Disallow内で特定パスのみ許可
Sitemap: https://example.com/sitemap.xml # サイトマップXMLの絶対URL


② 代表的なユースケース別の設定例























ユースケース設定内容
本番サイト（一般公開・推奨）User-agent: *
Disallow: /admin/
Disallow: /api/
Sitemap: https://example.com/sitemap.xml
開発・ステージング環境（全拒否）User-agent: *
Disallow: /
AIクローラー（GPTBot/ClaudeBot）のみ拒否User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /




3. 致命的な勘違い：robots.txt vs meta noindex



























項目robots.txt (Disallow)meta name="robots" content="noindex"
目的クローラーのアクセス（巡回・サーバー負荷）を制限するページを検索結果一覧から完全に非表示にする
外部被リンク時の挙動他サイトからリンクがあるとタイトルだけで検索結果にインデックスされるクローラーがページを読み込み確実にインデックスから削除される
機密情報の保護非対応 (誰でも /robots.txt を見れるため隠しページが暴露する)認証機能やBASIC認証で保護すべき


※既にGoogleにインデックスされているページを削除したい場合、robots.txt で Disallow に指定するとGooglebotが noindex タグを読み込めなくなり、検索結果に残り続ける原因になります。




4. 設定後の検証方法


    

  1. 配置確認: https://yourdomain.com/robots.txt にブラウザでアクセスして表示されるか確認。
    2. 

  2. Search Console: Google Search Console の「robots.txt テスター」でブロックしたいページが正しく判定されるか確認。
    3.