Вкладка Crawlers управляет тем, каким автоматическим посетителям разрешено индексировать ваш сайт, сгруппированным в поисковые системы, ИИ-поисковики, SEO-инструменты и ботов предпросмотра для соцсетей. В этом руководстве объясняется, что делает каждая группа, что KapsuleHost разрешает по умолчанию и чего на самом деле стоит блокировка.
Где находятся настройки краулеров в KPanel
- Войдите в KPanel.
- Нажмите Веб-сайты в левой боковой панели, затем выберите сайт.
- В левом меню сайта откройте Производительность, затем Краулеры.
Прямой адрес: /websites/<site-id>/crawlers.
Что на самом деле меняет эта страница
Переключение группы перезаписывает файл robots.txt вашего сайта. Этот файл - опубликованный запрос к добросовестным автоматическим посетителям, и крупные краулеры его соблюдают.
Отсюда следуют два важных вывода.
Это запрос, а не барьер. Краулер, игнорирующий robots.txt, никак не затрагивается настройками этой страницы. Если проблема в скрейпинге со стороны того, кто не представляется честно, это не тот инструмент: вместо этого используйте список блокировки IP-адресов или фильтрацию по странам на странице Безопасность сайта. См. Безопасность сайта и Блокировка по странам для сайта.
Это управляет сканированием, а не тем, что уже проиндексировано. Блокировка краулера останавливает будущие обращения. Контент, уже находящийся в индексе, обычно выпадает из него со временем, но не мгновенно.
Изменения сохраняются сразу при переключении. Страница показывает Saving, затем Saved, robots.txt updated.
Четыре группы
Поисковые системы. Традиционные краулеры, формирующие обычные результаты поиска: Googlebot, Bingbot, DuckDuckBot, Applebot и YandexBot.
ИИ-поиск и поисковики для ответов. Краулеры систем, включающих ваш контент в ответы, сгенерированные ИИ, и обзоры поиска: GPTBot и OAI-SearchBot от OpenAI, ClaudeBot и anthropic-ai от Anthropic, PerplexityBot, Google-Extended, Cohere, Meta и Diffbot.
SEO- и аналитические инструменты. Краулеры платформ, используемых для аудита сайтов: AhrefsBot, SemrushBot, MJ12bot, DotBot и Baiduspider.
Соцсети и предпросмотр. Краулеры, получающие карточку предпросмотра, когда кто-то делится ссылкой: Twitterbot, бот предпросмотра Facebook, LinkedInBot, Slackbot и Discordbot.
Каждая карточка группы перечисляет всех краулеров в ней с указанием владельца, поэтому вы точно видите, что охватывает переключатель, прежде чем включать или выключать его.
Настройка KapsuleHost по умолчанию: ИИ-краулеры разрешены
Каждая группа разрешена по умолчанию, включая ИИ-краулеров, и это осознанная позиция, а не недосмотр.
Ряд хостингов незаметно блокируют ИИ-краулеров от имени своих клиентов. Мы этого не делаем, потому что это ваш трафик и ваше решение, а также потому что такой выбор по умолчанию стоит вам видимости. Результаты ИИ-поиска - реальный и растущий источник переходов. Сайт, который системы ИИ не могут прочитать, не появляется в этих ответах, а значит, не получает этот трафик.
Если вы хотите заблокировать их, инструмент находится прямо здесь. Мы просто не станем делать этот выбор за вас, не предупредив вас.
Принятие решения для каждой группы
Поисковые системы. Оставьте разрешёнными, если только сайт не является по-настоящему приватным, и в этом случае правильный инструмент всё равно - парольная защита. См. Защита сайта паролем.
ИИ-поиск и поисковики для ответов. Это настоящее решение на этой странице.
Разрешите их, если вам нужен трафик и цитирования из ответов ИИ, что справедливо почти для любого коммерческого сайта, издания и сервисного бизнеса.
Рассмотрите блокировку, если ваш контент и есть ваш продукт, а его пересказ устраняет причину посещать сайт, если у вас есть договорные или лицензионные ограничения на повторное использование контента, или если вы сознательно приняли редакционное решение относительно обучения ИИ.
Будьте честны в оценке компромисса. Блокировка означает, что ваш сайт исчезает из обзоров поиска и ответов, сгенерированных ИИ, и это измеримая потеря трафика, а не теоретический риск.
SEO- и аналитические инструменты. Наиболее обоснованная для блокировки группа. Она не даёт вам напрямую ничего: эти боты позволяют другим людям проводить аудит вашего сайта и могут создавать реальную нагрузку на крупном сайте. Блокировка означает, что ваш сайт менее заметен в инструментах исследования конкурентов, что некоторые считают преимуществом. Цена в том, что ваши собственные SEO-инструменты тоже могут потерять данные о вашем сайте.
Соцсети и предпросмотр. Оставьте разрешёнными, если только вам вообще не нужны предпросмотры ссылок. Блокировка означает, что ссылки на ваш сайт, которыми делятся в соцсетях и чат-приложениях, отображаются как голые URL без заголовка, описания и изображения, что заметно снижает количество переходов.
Блокировка всех ИИ-краулеров одновременно
Внизу страницы находится карточка опасной зоны, Блокировать всех краулеров ИИ. Она добавляет правила запрета для каждого краулера из ИИ-группы одним действием.
При нажатии сначала запрашивается подтверждение, и в нём прямо указаны последствия: ваш сайт исчезнет из обзоров поиска ИИ, и это будет стоить реального трафика.
Это решение о трафике, а не о безопасности. Блокировка ИИ-краулеров не защищает ваш контент от копирования: любой по-прежнему может читать ваши страницы, а недобросовестный участник в любом случае никогда не стал бы соблюдать robots.txt. Что эта мера надёжно делает, так это убирает вас из ответов, сгенерированных ИИ. Убедитесь, что это именно тот компромисс, который вам нужен.
Это действие обратимо. Включите группу ИИ обратно, и правила запрета будут удалены при следующем сохранении. Возвращение в индекс после этого займёт время.
Кто может это изменить
Для изменения настроек краулеров нужны права записи для сайта. При роли "только чтение" переключатели отключены, и при наведении на них появляется объяснение причины. Попросите владельца аккаунта внести изменение или измените свою роль.
Устранение неполадок
Я заблокировал группу, но краулер всё равно заходит. Добросовестные краулеры перечитывают robots.txt периодически, а не перед каждым запросом, поэтому дайте этому время. Если это не прекращается, краулер не соблюдает файл, и вместо этого вам нужен контроль доступа. См. Безопасность сайта.
Мои страницы всё ещё в результатах поиска после блокировки. Блокировка останавливает будущее сканирование. Существующие записи в индексе истекают со временем. Чтобы быстро удалить контент, используйте собственный инструмент удаления поисковой системы.
Предпросмотры ссылок перестали работать. Группа соцсетей заблокирована. Включите её обратно.
Мой SEO-инструмент не видит данных о моём сайте. Группа SEO заблокирована, что влияет на ваши инструменты так же, как и на инструменты всех остальных.
Трафик упал после того, как я что-то здесь изменил. Проверьте, какие группы заблокированы. Если поиск или ИИ отключены, причина в этом, и включение обратно запускает восстановление.
Важный для меня краулер не указан в списке. Группы охватывают основные именованные краулеры. Всё, что не указано, подпадает под общее правило разрешения в начале файла и не блокируется этими переключателями.
Мой сайт вообще не индексируется, хотя здесь всё разрешено. Его блокирует что-то другое. Проверьте, включена ли парольная защита всего сайта, блокирует ли фильтрация по странам регион краулера, или находится ли сайт на общем адресе, а не на вашем собственном домене.
Похожие страницы
- Аналитика трафика сайта, чтобы увидеть, во что на самом деле обходится трафик краулеров с точки зрения запросов и пропускной способности.
- Безопасность сайта для блокировки по IP и других реальных средств контроля доступа.
- Блокировка по странам для сайта для фильтрации по географии.
- Защита сайта паролем, чтобы скрыть сайт от всего, включая краулеров.