robots.txt ジェネレーター

クローラ（User-agent）ごとに Allow / Disallow のパスを並べて、robots.txt を作ります。サイトのルートに置くファイルです（例: https://example.com/robots.txt）。


      

      

    

  

  




robots.txt ジェネレーターでできること
User-agent ごとに Allow／Disallow のパスを並べて、robots.txt を作るツールです。サイトを公開するときや、AI学習用クローラを拒否したいときの設定づくりに使えます。
使い方
  1. 上のプリセット（「全許可」「全拒否」「AI学習用クローラだけ拒否」「例に戻す」）を使う場合は、2回押すと今の内容が置き換わります。
  2. 各グループの「User-agent」にクローラ名を入れるか、「主要クローラを追加…」から選びます。
  3. 「＋ Disallow」「＋ Allow」でルールの行を追加し、パスを「/」から入力します。不要な行は「×」で消せます。
  4. 「Sitemap の URL」を1行に1つ入れます。
  5. 右（狭い画面では下）のプレビューを確認し、「コピー」か「robots.txt をダウンロード」で保存します。
計算の仕組みと注意点
よくある質問
robots.txt で特定のページを非公開にできますか？
できません。robots.txt はクロールしないよう頼むだけで、URLが他から知られれば検索結果に出ることもあり、ファイル自体も誰でも読めます。非公開にするにはパスワード保護などを使ってください。
ChatGPT などのAI学習用クローラを拒否するには？
GPTBot、CCBot、Google-Extended などの User-agent に「Disallow: /」を書きます。「AI学習用クローラだけ拒否」プリセットを2回押すと、通常の検索クローラは許可したままの例ができます。
Allow と Disallow が両方当てはまるとどうなりますか？
Google の場合は、より長い（具体的な）パスのルールが優先されます。例えば「Disallow: /admin/」と「Allow: /admin/help/」なら /admin/help/ はクロールできます。初期の例がこの形です。
robots.txt はどこに置けばいいですか？
サイトのルート（例: https://example.com/robots.txt）に置きます。サブディレクトリに置いても読まれません。「robots.txt をダウンロード」で保存したファイルをそのままアップロードできます。