# Управление ИИ-краулерами и поисковыми ботами

Source: https://support.kapsulehost.com/ru-ru/site-crawlers

Вкладка Crawlers управляет тем, каким автоматическим посетителям разрешено индексировать ваш сайт, сгруппированным в поисковые системы, ИИ-поисковики, SEO-инструменты и ботов предпросмотра для соцсетей. В этом руководстве объясняется, что делает каждая группа, что KapsuleHost разрешает по умолчанию и чего на самом деле стоит блокировка.

## Где находятся настройки краулеров в KPanel

1. Войдите в [KPanel](https://kpanel.kapsulehost.com).
2. Нажмите **Веб-сайты** в левой боковой панели, затем выберите сайт.
3. В левом меню сайта откройте **Производительность**, затем **Краулеры**.

Прямой адрес: `/websites/<site-id>/crawlers`.

![Страница Crawlers для сайта в KPanel, с элементами управления ИИ-краулерами и поисковыми ботами](https://support.kapsulehost.com/help/screenshots/site-crawlers.e60d4ece.webp)

## Что на самом деле меняет эта страница

Переключение группы перезаписывает файл `robots.txt` вашего сайта. Этот файл - опубликованный запрос к добросовестным автоматическим посетителям, и крупные краулеры его соблюдают.

Отсюда следуют два важных вывода.

**Это запрос, а не барьер.** Краулер, игнорирующий `robots.txt`, никак не затрагивается настройками этой страницы. Если проблема в скрейпинге со стороны того, кто не представляется честно, это не тот инструмент: вместо этого используйте список блокировки IP-адресов или фильтрацию по странам на странице **Безопасность** сайта. См. [Безопасность сайта](https://support.kapsulehost.com/ru-ru/site-security) и [Блокировка по странам для сайта](https://support.kapsulehost.com/ru-ru/site-geo-blocking).

**Это управляет сканированием, а не тем, что уже проиндексировано.** Блокировка краулера останавливает будущие обращения. Контент, уже находящийся в индексе, обычно выпадает из него со временем, но не мгновенно.

Изменения сохраняются сразу при переключении. Страница показывает **Saving**, затем **Saved, robots.txt updated**.

## Четыре группы

**Поисковые системы.** Традиционные краулеры, формирующие обычные результаты поиска: Googlebot, Bingbot, DuckDuckBot, Applebot и YandexBot.

**ИИ-поиск и поисковики для ответов.** Краулеры систем, включающих ваш контент в ответы, сгенерированные ИИ, и обзоры поиска: GPTBot и OAI-SearchBot от OpenAI, ClaudeBot и anthropic-ai от Anthropic, PerplexityBot, Google-Extended, Cohere, Meta и Diffbot.

**SEO- и аналитические инструменты.** Краулеры платформ, используемых для аудита сайтов: AhrefsBot, SemrushBot, MJ12bot, DotBot и Baiduspider.

**Соцсети и предпросмотр.** Краулеры, получающие карточку предпросмотра, когда кто-то делится ссылкой: Twitterbot, бот предпросмотра Facebook, LinkedInBot, Slackbot и Discordbot.

Каждая карточка группы перечисляет всех краулеров в ней с указанием владельца, поэтому вы точно видите, что охватывает переключатель, прежде чем включать или выключать его.

## Настройка KapsuleHost по умолчанию: ИИ-краулеры разрешены

Каждая группа разрешена по умолчанию, включая ИИ-краулеров, и это осознанная позиция, а не недосмотр.

Ряд хостингов незаметно блокируют ИИ-краулеров от имени своих клиентов. Мы этого не делаем, потому что это ваш трафик и ваше решение, а также потому что такой выбор по умолчанию стоит вам видимости. Результаты ИИ-поиска - реальный и растущий источник переходов. Сайт, который системы ИИ не могут прочитать, не появляется в этих ответах, а значит, не получает этот трафик.

Если вы хотите заблокировать их, инструмент находится прямо здесь. Мы просто не станем делать этот выбор за вас, не предупредив вас.

## Принятие решения для каждой группы

**Поисковые системы.** Оставьте разрешёнными, если только сайт не является по-настоящему приватным, и в этом случае правильный инструмент всё равно - парольная защита. См. [Защита сайта паролем](https://support.kapsulehost.com/ru-ru/site-password-protect).

**ИИ-поиск и поисковики для ответов.** Это настоящее решение на этой странице.

Разрешите их, если вам нужен трафик и цитирования из ответов ИИ, что справедливо почти для любого коммерческого сайта, издания и сервисного бизнеса.

Рассмотрите блокировку, если ваш контент и есть ваш продукт, а его пересказ устраняет причину посещать сайт, если у вас есть договорные или лицензионные ограничения на повторное использование контента, или если вы сознательно приняли редакционное решение относительно обучения ИИ.

Будьте честны в оценке компромисса. Блокировка означает, что ваш сайт исчезает из обзоров поиска и ответов, сгенерированных ИИ, и это измеримая потеря трафика, а не теоретический риск.

**SEO- и аналитические инструменты.** Наиболее обоснованная для блокировки группа. Она не даёт вам напрямую ничего: эти боты позволяют другим людям проводить аудит вашего сайта и могут создавать реальную нагрузку на крупном сайте. Блокировка означает, что ваш сайт менее заметен в инструментах исследования конкурентов, что некоторые считают преимуществом. Цена в том, что ваши собственные SEO-инструменты тоже могут потерять данные о вашем сайте.

**Соцсети и предпросмотр.** Оставьте разрешёнными, если только вам вообще не нужны предпросмотры ссылок. Блокировка означает, что ссылки на ваш сайт, которыми делятся в соцсетях и чат-приложениях, отображаются как голые URL без заголовка, описания и изображения, что заметно снижает количество переходов.

## Блокировка всех ИИ-краулеров одновременно

Внизу страницы находится карточка опасной зоны, **Блокировать всех краулеров ИИ**. Она добавляет правила запрета для каждого краулера из ИИ-группы одним действием.

При нажатии сначала запрашивается подтверждение, и в нём прямо указаны последствия: ваш сайт исчезнет из обзоров поиска ИИ, и это будет стоить реального трафика.

> **Warning:** Это решение о трафике, а не о безопасности. Блокировка ИИ-краулеров не защищает ваш контент от копирования: любой по-прежнему может читать ваши страницы, а недобросовестный участник в любом случае никогда не стал бы соблюдать `robots.txt`. Что эта мера надёжно делает, так это убирает вас из ответов, сгенерированных ИИ. Убедитесь, что это именно тот компромисс, который вам нужен.

Это действие обратимо. Включите группу ИИ обратно, и правила запрета будут удалены при следующем сохранении. Возвращение в индекс после этого займёт время.

## Кто может это изменить

Для изменения настроек краулеров нужны права записи для сайта. При роли "только чтение" переключатели отключены, и при наведении на них появляется объяснение причины. Попросите владельца аккаунта внести изменение или измените свою роль.

## Устранение неполадок

**Я заблокировал группу, но краулер всё равно заходит.** Добросовестные краулеры перечитывают `robots.txt` периодически, а не перед каждым запросом, поэтому дайте этому время. Если это не прекращается, краулер не соблюдает файл, и вместо этого вам нужен контроль доступа. См. [Безопасность сайта](https://support.kapsulehost.com/ru-ru/site-security).

**Мои страницы всё ещё в результатах поиска после блокировки.** Блокировка останавливает будущее сканирование. Существующие записи в индексе истекают со временем. Чтобы быстро удалить контент, используйте собственный инструмент удаления поисковой системы.

**Предпросмотры ссылок перестали работать.** Группа соцсетей заблокирована. Включите её обратно.

**Мой SEO-инструмент не видит данных о моём сайте.** Группа SEO заблокирована, что влияет на ваши инструменты так же, как и на инструменты всех остальных.

**Трафик упал после того, как я что-то здесь изменил.** Проверьте, какие группы заблокированы. Если поиск или ИИ отключены, причина в этом, и включение обратно запускает восстановление.

**Важный для меня краулер не указан в списке.** Группы охватывают основные именованные краулеры. Всё, что не указано, подпадает под общее правило разрешения в начале файла и не блокируется этими переключателями.

**Мой сайт вообще не индексируется, хотя здесь всё разрешено.** Его блокирует что-то другое. Проверьте, включена ли парольная защита всего сайта, блокирует ли фильтрация по странам регион краулера, или находится ли сайт на общем адресе, а не на вашем собственном домене.

## Похожие страницы

- [Аналитика трафика сайта](https://support.kapsulehost.com/ru-ru/site-analytics), чтобы увидеть, во что на самом деле обходится трафик краулеров с точки зрения запросов и пропускной способности.
- [Безопасность сайта](https://support.kapsulehost.com/ru-ru/site-security) для блокировки по IP и других реальных средств контроля доступа.
- [Блокировка по странам для сайта](https://support.kapsulehost.com/ru-ru/site-geo-blocking) для фильтрации по географии.
- [Защита сайта паролем](https://support.kapsulehost.com/ru-ru/site-password-protect), чтобы скрыть сайт от всего, включая краулеров.