# 控制AI爬虫和搜索机器人

Source: https://support.kapsulehost.com/zh-cn/site-crawlers

Crawlers（爬虫）标签页用于控制允许哪些自动化访问者对您的网站进行索引，这些访问者分为搜索引擎、AI问答引擎、SEO工具和社交预览机器人四类。本指南将说明每一类的作用、KapsuleHost默认允许的内容，以及屏蔽它们实际上会带来什么代价。

## KPanel中爬虫设置的位置

1. 登录[KPanel](https://kpanel.kapsulehost.com)。
2. 点击左侧边栏中的**网站**，然后点击对应的网站。
3. 在该网站的左侧菜单中，打开**性能**，然后点击**爬虫**。

直接访问地址为`/websites/<site-id>/crawlers`。

![KPanel中某网站的Crawlers页面，显示AI爬虫和搜索机器人控制选项](https://support.kapsulehost.com/help/screenshots/site-crawlers.e60d4ece.webp)

## 此页面实际改变了什么

切换某个分组的开关会重写您网站的`robots.txt`文件。该文件是向遵守规范的自动化访问者发出的公开请求，主流爬虫会遵循它。

由此产生两个后果，二者都很重要。

**这是一种请求，而非一堵墙。** 对于无视`robots.txt`的爬虫，本页面的任何设置都不会产生影响。如果您要解决的问题是某个不诚实表明身份的程序进行的抓取，那么这个工具并不适用：请改用网站**安全**页面上的IP封锁列表或国家/地区过滤功能。请参阅[网站安全](https://support.kapsulehost.com/zh-cn/site-security)和[针对某网站的国家/地区封锁](https://support.kapsulehost.com/zh-cn/site-geo-blocking)。

**它控制的是抓取行为，而非已被收录的内容。** 屏蔽某个爬虫会阻止未来的抓取。已被收录的内容通常会随着时间推移逐渐从索引中移除，但不会立即生效。

切换开关后会立即保存更改。页面会显示**Saving**，随后显示**Saved, robots.txt updated**。

## 四个分组

**搜索引擎。** 支撑普通搜索结果的传统爬虫：Googlebot、Bingbot、DuckDuckBot、Applebot和YandexBot。

**AI搜索与问答引擎。** 用于将您的内容纳入AI生成答案和搜索摘要的系统所使用的爬虫：OpenAI的GPTBot和OAI-SearchBot，Anthropic的ClaudeBot和anthropic-ai，以及PerplexityBot、Google-Extended、Cohere、Meta和Diffbot。

**SEO与分析工具。** 用于审计网站的平台所使用的爬虫：AhrefsBot、SemrushBot、MJ12bot、DotBot和Baiduspider。

**社交媒体与预览。** 当有人分享链接时用于抓取预览卡片的爬虫：Twitterbot、Facebook预览抓取程序、LinkedInBot、Slackbot和Discordbot。

每个分组卡片都列出了其中的每一个爬虫及其所有者，以便您在切换开关之前准确了解该开关所涵盖的范围。

## KapsuleHost的默认设置：允许AI爬虫

默认情况下，每个分组均处于允许状态，包括AI爬虫，这是一个经过深思熟虑的立场，而非疏忽。

许多主机商会悄悄地代表客户屏蔽AI爬虫。我们不会这样做，因为这是您的流量，应由您来决定，而且这样的默认设置会让您失去可见度。AI搜索结果是一个真实且不断增长的引荐流量来源。AI系统无法读取的网站不会出现在这些答案中，这意味着它将无法获得这部分流量。

如果您想屏蔽它们，控制选项就在此处。我们只是不会在不告知您的情况下替您做出这个决定。

## 针对每个分组做出决定

**搜索引擎。** 除非网站确实需要保密，否则建议保持允许状态，在需要保密的情况下，密码保护才是合适的工具。请参阅[为网站设置密码保护](https://support.kapsulehost.com/zh-cn/site-password-protect)。

**AI搜索与问答引擎。** 这才是本页面上真正需要做决定的地方。

如果您希望从AI生成的答案中获得流量和引用，就应允许它们，这适用于几乎所有商业网站、出版商和服务型企业。

如果您的内容本身就是您的产品，被摘要概括会让用户失去访问网站的理由；或者您在内容复用方面受到合同或许可限制；又或者您对AI训练做出了明确的编辑立场，那么可以考虑屏蔽它们。

请如实权衡利弊。屏蔽意味着您的网站将从AI生成的搜索摘要和答案中消失，这是可衡量的流量损失，而非理论上的风险。

**SEO与分析工具。** 这是最容易被正当化屏蔽的一类。它们并不会直接为您带来任何好处：它们让其他人得以审计您的网站，并且在大型网站上可能会增加实际的抓取负载。屏蔽它们意味着您的网站在竞争对手的调研工具中可见度降低，有些人会将此视为一项优点。代价是，您自己的SEO工具也可能因此丢失有关您网站的数据。

**社交媒体与预览。** 除非您完全不希望出现链接预览，否则应保持允许状态。屏蔽这些爬虫意味着，在社交平台和聊天应用中分享的网站链接将仅显示为裸链接，没有标题、描述或图片，这会明显降低点击率。

## 一次性屏蔽所有AI爬虫

页面底部有一个危险操作卡片，即**阻止所有AI爬虫**。它会一次性为AI分组中的每一个爬虫添加禁止规则。

点击该选项会先要求确认，确认提示中明确说明了后果：您的网站将从AI搜索摘要中消失，这会造成实际的流量损失。

> **Warning:** 这是一项有关流量的决定，而非安全决定。屏蔽AI爬虫并不能保护您的内容不被复制：任何人仍然可以阅读您的页面，而心怀不轨者本来就不会遵守`robots.txt`。它能够可靠地做到的，是将您从AI生成的答案中移除。请确保这正是您想要的取舍。

该操作是可逆的。将AI分组的开关重新打开后，禁止规则会在下次保存时被移除。但之后重新被纳入索引需要一定时间。

## 谁可以更改此设置

更改爬虫设置需要具备网站写入权限。使用只读角色时，这些开关会被禁用，将鼠标悬停在开关上会说明原因。请联系账户所有者进行更改，或调整您的角色权限。

## 故障排查

**我屏蔽了某个分组，但该爬虫仍在访问。** 遵守规范的爬虫会定期重新读取`robots.txt`，而不是在每次请求前都读取，因此请给它一些时间。如果情况始终没有改善，说明该爬虫并未遵守该文件，您需要改用访问控制手段。请参阅[网站安全](https://support.kapsulehost.com/zh-cn/site-security)。

**屏蔽后，我的页面仍出现在搜索结果中。** 屏蔽只会阻止未来的抓取。现有的索引条目会随时间推移而过期。如需快速移除内容，请使用相应搜索引擎自带的移除工具。

**链接预览失效了。** 社交分组已被屏蔽。请将其重新打开。

**我的SEO工具无法获取我网站的数据。** SEO分组已被屏蔽，这不仅影响您，也会影响其他所有人的工具。

**我更改了这里的设置后，流量下降了。** 请检查哪些分组被屏蔽了。如果搜索引擎或AI分组被关闭，那就是原因所在，重新打开即可开始恢复流量。

**我关心的某个爬虫未被列出。** 这些分组涵盖的是主要的知名爬虫。未列出的爬虫均适用于文件顶部的通用允许规则，不受这些开关的屏蔽。

**我的网站完全没有被收录，而这里的所有设置都是允许状态。** 那么问题出在别处。请检查是否启用了全站密码保护、国家/地区过滤是否屏蔽了该爬虫所在的地区，或者该网站是否使用的是共享地址而非您自己的域名。

## 相关页面

- [网站流量分析](https://support.kapsulehost.com/zh-cn/site-analytics)：查看爬虫流量在请求数和带宽方面实际给您带来的开销。
- [网站安全](https://support.kapsulehost.com/zh-cn/site-security)：了解IP封锁和其他真正有效的访问控制手段。
- [针对某网站的国家/地区封锁](https://support.kapsulehost.com/zh-cn/site-geo-blocking)：了解基于地理位置的过滤功能。
- [为网站设置密码保护](https://support.kapsulehost.com/zh-cn/site-password-protect)：将网站对所有访问者（包括爬虫）隐藏起来。