クローラータブは、どの自動訪問者があなたのサイトをインデックスすることを許可されるかを制御し、検索エンジン、AI回答エンジン、SEOツール、ソーシャルプレビューボットのグループに分かれています。本ガイドでは、各グループが何をするか、KapsuleHostがデフォルトで何を許可しているか、そしてブロックすることで実際に何を失うことになるかを説明します。
KPanelにおけるクローラー設定の場所
- KPanelにサインインします。
- 左サイドバーの ウェブサイト をクリックし、次にサイトをクリックします。
- サイトの左メニューで パフォーマンス を開き、次に クローラー を開きます。
直接アクセスするアドレスは/websites/<site-id>/crawlersです。
このページが実際に変更するもの
グループを切り替えると、サイトのrobots.txtファイルが書き換えられます。このファイルは、礼儀正しい自動訪問者に向けた公開されたリクエストであり、主要なクローラーはこれを尊重します。
ここから2つの結果が生じ、いずれも重要です。
これはリクエストであって、壁ではありません。 robots.txtを無視するクローラーは、このページの設定の影響を受けません。正直に素性を明かさない何かによるスクレイピングが問題であれば、このページは適切な手段ではありません。代わりに、サイトの セキュリティ ページにあるIPブロックリストや国別フィルタリングを使用してください。サイトのセキュリティとサイトの国別ブロックをご覧ください。
これはクロールを制御するものであり、すでにインデックスされているものを制御するものではありません。 クローラーをブロックすると、今後の取得が停止します。すでにインデックスに登録されている内容は時間とともに外れていくのが一般的ですが、即座にではありません。
スイッチを切り替えた瞬間に変更が保存されます。ページには Saving と表示され、その後 Saved, robots.txt updated と表示されます。
4つのグループ
検索エンジン。 通常の検索結果を支える従来型のクローラーです。Googlebot、Bingbot、DuckDuckBot、Applebot、YandexBotが含まれます。
AI検索・回答エンジン。 あなたのコンテンツをAI生成の回答や検索概要に取り込むシステムのためのクローラーです。OpenAIのGPTBotとOAI-SearchBot、AnthropicのClaudeBotとanthropic-ai、PerplexityBot、Google-Extended、Cohere、Meta、Diffbotが含まれます。
SEO・分析ツール。 サイトを監査するために使用されるプラットフォームのクローラーです。AhrefsBot、SemrushBot、MJ12bot、DotBot、Baiduspiderが含まれます。
ソーシャルメディア・プレビュー。 誰かがリンクを共有したときにプレビューカードを取得するクローラーです。Twitterbot、Facebookのプレビュー取得機能、LinkedInBot、Slackbot、Discordbotが含まれます。
各グループのカードには、所有者とともにそのグループ内のすべてのクローラーが一覧表示されるため、切り替える前に、そのトグルが何をカバーするのかを正確に確認できます。
KapsuleHostのデフォルト設定、AIクローラーは許可されています
AIクローラーを含め、すべてのグループはデフォルトで許可されており、これは見落としではなく、意図的な方針です。
多くのホスティング会社は、顧客に代わってひそかにAIクローラーをブロックしています。私たちはそうしません。なぜなら、それはあなたのトラフィックであり、あなたの判断に委ねるべきものであり、またデフォルトでブロックすることは可視性の犠牲を伴うからです。AI検索結果は、実在し、かつ拡大しつつある紹介トラフィックの源です。AIシステムが読み取れないサイトは、そうした回答に登場せず、つまりそのトラフィックを得ることができません。
ブロックしたい場合、その制御はまさにここにあります。私たちはただ、あなたに知らせないままその選択を代わりに行うことはしません。
各グループについて判断する
検索エンジン。 サイトが本当に非公開であるべき場合を除き、許可のままにしておいてください。その場合は、パスワード保護の方が適切な手段です。サイトのパスワード保護をご覧ください。
AI検索・回答エンジン。 これがこのページにおける本当の判断どころです。
AIの回答からトラフィックや引用を得たいのであれば許可してください。これは、ほぼすべての商業サイト、出版社、サービス業にとって当てはまります。
コンテンツそのものが製品であり、要約されることで訪問する理由がなくなってしまう場合、コンテンツの再利用方法について契約上またはライセンス上の制約がある場合、あるいはAI学習に関して意図的な編集方針を持っている場合は、ブロックを検討してください。
このトレードオフについては正直になってください。ブロックすると、サイトはAI生成の検索概要や回答から姿を消すことになり、それは理論上のリスクではなく、測定可能な失われたトラフィックです。
SEO・分析ツール。 ブロックすることが最も正当化しやすいグループです。これらはあなたに直接何ももたらしません。他人があなたのサイトを監査することを可能にするだけであり、大規模サイトでは実際のクロール負荷を増大させることもあります。これらをブロックすると、競合他社の調査ツールにおいてサイトが見えにくくなります。これを利点と考える人もいます。代償として、あなた自身のSEOツールもサイトに関するデータを失う可能性があります。
ソーシャルメディア・プレビュー。 リンクプレビューを一切望まない場合を除き、許可のままにしておいてください。これらをブロックすると、ソーシャルプラットフォームやチャットアプリで共有されたリンクが、タイトルも説明も画像もない、むき出しのURLとして表示されるようになり、クリック率が目に見えて低下します。
すべてのAIクローラーを一度にブロックする
ページ下部には危険区域のカードがあり、すべてのAIクローラをブロック というボタンがあります。これは、AIグループ内のすべてのクローラーに対してdisallowルールを一度に追加します。
クリックすると最初に確認が求められ、その確認文にはこの操作の結果が明確に記載されています。サイトはAI検索概要から姿を消し、これは実際のトラフィックの損失を伴います。
これはトラフィックに関する判断であり、セキュリティに関する判断ではありません。AIクローラーをブロックしても、コンテンツがコピーされることから守られるわけではありません。誰でもあなたのページを読むことはできますし、そもそも悪意ある行為者がrobots.txtを尊重することはありませんでした。この操作が確実にもたらすのは、AI生成の回答からあなたが排除されることです。それが本当に望むトレードオフかどうか、よく確認してください。
この操作は取り消し可能です。AIグループを再び有効にすると、次回の保存時にdisallowルールが削除されます。その後インデックスに復帰するには時間がかかります。
これを変更できるのは誰か
クローラー設定の変更にはサイトの書き込み権限が必要です。読み取り専用のロールでは、スイッチは無効化されており、その上にカーソルを合わせると理由が表示されます。変更するには、アカウント所有者に依頼するか、ご自身のロールを調整してください。
トラブルシューティング
グループをブロックしたのに、クローラーがまだ訪問してきます。 礼儀正しいクローラーは、リクエストのたびにではなく、定期的にrobots.txtを読み直すため、しばらく時間を置いてください。それでも止まらない場合、そのクローラーはこのファイルを尊重しておらず、代わりにアクセス制御が必要です。サイトのセキュリティをご覧ください。
ブロックしたのに、ページがまだ検索結果に残っています。 ブロックは今後のクロールを停止させるだけです。既存のインデックス項目は時間とともに失効します。コンテンツを速やかに削除したい場合は、検索エンジン自身の削除ツールを使用してください。
リンクプレビューが機能しなくなりました。 ソーシャルグループがブロックされています。再度有効にしてください。
私のSEOツールでサイトのデータが取得できません。 SEOグループがブロックされており、これは他のすべての人のツールと同様、あなたのツールにも影響します。
ここで何かを変更した後、トラフィックが減少しました。 どのグループがブロックされているか確認してください。検索またはAIがオフになっている場合、それが原因であり、再度有効にすれば回復が始まります。
気になるクローラーが一覧にありません。 これらのグループは主要な、名前のあるクローラーを対象としています。一覧にないものは、ファイルの先頭にある一般的な許可ルールの対象となり、これらのトグルによってブロックされることはありません。
サイトが全くインデックスされておらず、ここではすべてが許可されています。 他の何かがそれをブロックしています。サイト全体のパスワード保護が有効になっていないか、国別フィルタリングがそのクローラーの地域をブロックしていないか、あるいはサイトが独自のドメインではなく共有アドレス上にないかを確認してください。
関連ページ
- サイトのトラフィック分析で、クローラートラフィックがリクエスト数と帯域幅の面で実際にどれだけのコストを伴うかを確認できます。
- サイトのセキュリティでは、IPブロックやその他の実質的なアクセス制御について説明しています。
- サイトの国別ブロックでは、地理的な条件に基づくフィルタリングについて説明しています。
- サイトのパスワード保護では、クローラーを含むすべてからサイトを隠す方法について説明しています。