robots.txtの書き方と役割｜クローラーを正しく制御する方法

SEO Web開発 robots.txt クローラー
結論

robots.txtは「クローラーへの案内図」。インデックスを「完全に拒否」するものではなく、クロールを「控えてもらう」ためのもの。機密ページの隠蔽には使えない。

robots.txtの基本構成

ドメインのルート直下（example.com/robots.txt）に配置します。

User-agent: *           # すべてのクローラーを対象
Disallow: /admin/       # 管理画面のクロールを禁止
Allow: /admin/login     # 特定のページだけ許可

Sitemap: https://example.com/sitemap.xml # サイトマップの場所を伝える

よく使う設定パターン

パターン 設定内容
全許可（デフォルト） User-agent: * Disallow:
全拒否（開発環境など） User-agent: * Disallow: /
特定のディレクトリを拒否 Disallow: /tmp/

注意点：noindexとの違い

  • robots.txt — クローラーがそのページにアクセスすること自体を制限します。
  • meta noindex — ページにはアクセスさせますが、検索結果に載せないように指示します。

もし、既に検索結果に載ってしまっているページを消したい場合は、robots.txtでDisallowにするのではなく、meta name="robots" content="noindex" を使ってください。

🤖 この場でrobots.txtを生成する

  
 
 
   


最後に


設定を変更した後は、Google Search Consoleの「robots.txt テスター」などで、意図したとおりに制御できているか必ず確認しましょう。間違いがあると、サイト全体の検索流入が消えるリスクがあります。


関連記事


この記事は インフラ・DNS テーマの一環です。あわせて読むと理解が深まる関連記事をまとめました。



























































トピック記事
DNSが反映されたか確認する方法DNSが反映されたか確認する方法｜nslookupとdigコマンドの使い方
HTTPSレコードとSVCBレコードの完全解説HTTPSレコードとSVCBレコードの完全解説｜ALPN・ECH・HTTP/3のDNS設定
CNAME lookup・DNS check の確認手順とよくある失敗CNAME lookup・DNS check の確認手順とよくある失敗
SSL証明書の有効期限を確認する方法SSL証明書の有効期限を確認する方法｜opensslコマンドと注意点
.htaccessでリダイレクトをかける方法.htaccessでリダイレクトをかける方法｜301と302の使い分け
AIクローラー対応 robots.txt・llms.txt 設定ガイド 2026AIクローラー対応 robots.txt・llms.txt 設定ガイド 2026｜GPTBot・ClaudeBot・Google-Extended・GEO戦略
ブログの SEO と JSON-LD 構造化データ入門ブログの SEO と JSON-LD 構造化データ入門
Monorepo Turborepo Remote Cache 設計完全ガイドMonorepo Turborepo Remote Cache 設計完全ガイド｜CI パイプライン・GitHub Actions・2026 実践
Robots.txt 生成Robots.txt 生成｜クローラ許可・拒否の書き方
User Agentからデバイスやブラウザを判定する方法User Agentからデバイスやブラウザを判定する方法｜現代のベストプラクティス
Webスクレイピングの実務ガイドWebスクレイピングの実務ガイド｜法規制・robots.txt・ToS・個人情報の境界線
User Agent 解析User Agent 解析｜ブラウザ・OS 判定