La pestaña Crawlers controla qué visitantes automatizados pueden indexar su sitio, agrupados en motores de búsqueda, motores de respuesta de IA, herramientas de SEO y bots de vista previa en redes sociales. Esta guía explica qué hace cada grupo, qué permite KapsuleHost de forma predeterminada y qué le cuesta realmente bloquear cada uno.
Dónde se encuentran los ajustes de rastreadores en KPanel
- Inicie sesión en KPanel.
- Haga clic en Sitios web en la barra lateral izquierda y luego haga clic en el sitio.
- En el menú izquierdo del sitio, abra Rendimiento y luego Rastreadores.
La dirección directa es /websites/<site-id>/crawlers.
Qué cambia realmente esta página
Activar o desactivar un grupo reescribe el archivo robots.txt de su sitio. Ese archivo es una solicitud publicada dirigida a visitantes automatizados que se comportan correctamente, y los rastreadores principales la respetan.
De esto se derivan dos consecuencias, y ambas importan.
Es una solicitud, no un muro. Un rastreador que ignora robots.txt no se ve afectado por nada de esta página. Si su problema es el scraping por parte de algo que no se identifica honestamente, esta no es la herramienta adecuada: use la lista de bloqueo de IP o el filtrado por país en la página Seguridad del sitio. Consulte Seguridad del sitio y Bloqueo por país para un sitio.
Controla el rastreo, no lo que ya está indexado. Bloquear un rastreador detiene las futuras consultas. El contenido que ya está en un índice suele desaparecer con el tiempo, pero no de inmediato.
Los cambios se guardan en el momento en que activa un interruptor. La página muestra Saving y luego Saved, robots.txt updated.
Los cuatro grupos
Motores de búsqueda. Los rastreadores tradicionales detrás de los resultados de búsqueda habituales: Googlebot, Bingbot, DuckDuckBot, Applebot y YandexBot.
Motores de búsqueda y respuesta de IA. Rastreadores de sistemas que incluyen su contenido en respuestas generadas por IA y resúmenes de búsqueda: GPTBot y OAI-SearchBot de OpenAI, ClaudeBot y anthropic-ai de Anthropic, PerplexityBot, Google-Extended, Cohere, Meta y Diffbot.
Herramientas de SEO y análisis. Rastreadores de plataformas usadas para auditar sitios: AhrefsBot, SemrushBot, MJ12bot, DotBot y Baiduspider.
Redes sociales y vista previa. Rastreadores que obtienen una tarjeta de vista previa cuando alguien comparte un enlace: Twitterbot, el buscador de vista previa de Facebook, LinkedInBot, Slackbot y Discordbot.
Cada tarjeta de grupo enumera todos los rastreadores que contiene, con su propietario, de modo que pueda ver exactamente qué cubre un interruptor antes de activarlo.
El valor predeterminado de KapsuleHost: los rastreadores de IA están permitidos
Todos los grupos están permitidos de forma predeterminada, incluidos los rastreadores de IA, y esa es una postura deliberada y no un descuido.
Varios proveedores de hosting bloquean silenciosamente los rastreadores de IA en nombre de sus clientes. Nosotros no lo hacemos, porque es su tráfico y su decisión, y porque ese valor predeterminado le cuesta visibilidad. Los resultados de búsqueda de IA son una fuente real y creciente de referencias. Un sitio que los sistemas de IA no pueden leer no aparece en esas respuestas, lo que significa que no obtiene ese tráfico.
Si quiere bloquearlos, el control está justo aquí. Simplemente no tomaremos esa decisión por usted sin decírselo.
Decidir para cada grupo
Motores de búsqueda. Déjelo permitido a menos que el sitio sea verdaderamente privado, en cuyo caso la protección con contraseña es la herramienta adecuada de todos modos. Consulte Proteger un sitio con contraseña.
Motores de búsqueda y respuesta de IA. Esta es la decisión real de la página.
Permítalos si quiere tráfico y citas provenientes de respuestas de IA, lo cual es el caso de casi todos los sitios comerciales, editoriales y negocios de servicios.
Considere bloquearlos si su contenido es su producto y ser resumido elimina el motivo para visitarlo, si tiene restricciones contractuales o de licencia sobre cómo puede reutilizarse el contenido, o si ha tomado una decisión editorial deliberada sobre el entrenamiento de IA.
Sea honesto respecto a la contrapartida. Bloquear significa que su sitio desaparece de los resúmenes y respuestas de búsqueda generados por IA, y eso es tráfico perdido medible, no un riesgo teórico.
Herramientas de SEO y análisis. El grupo más defendible para bloquear. No le proporcionan nada directamente: permiten que otras personas auditen su sitio, y pueden añadir una carga de rastreo real en un sitio grande. Bloquearlos significa que su sitio es menos visible en las herramientas de investigación de sus competidores, lo que algunas personas consideran una ventaja. El costo es que sus propias herramientas de SEO también pueden perder datos sobre su sitio.
Redes sociales y vista previa. Déjelo permitido a menos que nunca quiera vistas previas de enlaces. Bloquear esto significa que los enlaces a su sitio compartidos en plataformas sociales y aplicaciones de chat aparecen como URLs simples sin título, descripción ni imagen, lo que reduce de forma medible la tasa de clics.
Bloquear todos los rastreadores de IA a la vez
En la parte inferior de la página hay una tarjeta de zona de peligro, Bloquear todos los rastreadores de IA. Añade reglas de exclusión para todos los rastreadores del grupo de IA en una sola acción.
Al hacer clic se solicita confirmación primero, y la confirmación indica la consecuencia con claridad: su sitio desaparecerá de los resúmenes de búsqueda de IA, y esto cuesta tráfico real.
Esta es una decisión de tráfico, no de seguridad. Bloquear los rastreadores de IA no protege su contenido de ser copiado: cualquiera puede seguir leyendo sus páginas, y un actor malintencionado nunca iba a respetar robots.txt en primer lugar. Lo que hace de forma fiable es eliminarlo de las respuestas generadas por IA. Asegúrese de que esa es la contrapartida que desea.
La acción es reversible. Vuelva a activar el grupo de IA y las reglas de exclusión se eliminan en el siguiente guardado. Volver a entrar en un índice después lleva tiempo.
Quién puede cambiar esto
Cambiar los ajustes de rastreadores requiere el permiso de escritura del sitio. Con un rol de solo lectura, los interruptores están deshabilitados, y al pasar el cursor sobre uno se explica por qué. Pida a un propietario de la cuenta que realice el cambio o ajuste su rol.
Solución de problemas
Bloqueé un grupo pero el rastreador sigue visitando mi sitio. Los rastreadores que se comportan correctamente vuelven a leer robots.txt periódicamente en lugar de antes de cada solicitud, así que deles tiempo. Si nunca se detiene, el rastreador no está respetando el archivo y necesita un control de acceso en su lugar. Consulte Seguridad del sitio.
Mis páginas siguen apareciendo en los resultados de búsqueda después de bloquear. Bloquear detiene el rastreo futuro. Las entradas de índice existentes caducan con el tiempo. Para eliminar contenido rápidamente, use la herramienta de eliminación propia del motor de búsqueda.
Las vistas previas de enlaces dejaron de funcionar. El grupo social está bloqueado. Vuelva a activarlo.
Mi herramienta de SEO no tiene datos de mi sitio. El grupo de SEO está bloqueado, lo que afecta tanto a sus herramientas como a las de todos los demás.
El tráfico bajó después de cambiar algo aquí. Compruebe qué grupos están bloqueados. Si la búsqueda o la IA están desactivadas, esa es la causa, y volver a activarlas inicia la recuperación.
Un rastreador que me importa no aparece en la lista. Los grupos cubren los principales rastreadores con nombre. Cualquier cosa que no figure en la lista queda bajo la regla general de permiso en la parte superior del archivo y no se bloquea con estos interruptores.
Mi sitio no se está indexando en absoluto y aquí todo está permitido. Algo más lo está bloqueando. Compruebe si la protección con contraseña de todo el sitio está activada, si el filtrado por país está bloqueando la región del rastreador, o si el sitio está en una dirección compartida en lugar de su propio dominio.
Páginas relacionadas
- Análisis de tráfico del sitio para ver qué le cuesta realmente el tráfico de rastreadores en solicitudes y ancho de banda.
- Seguridad del sitio para el bloqueo de IP y otros controles de acceso reales.
- Bloqueo por país para un sitio para el filtrado basado en geografía.
- Proteger un sitio con contraseña para ocultar un sitio de todo, rastreadores incluidos.