O separador Rastreadores controla quais os visitantes automatizados autorizados a indexar o seu site, agrupados em motores de busca, motores de resposta de IA, ferramentas de SEO e bots de pré-visualização para redes sociais. Este guia explica o que cada grupo faz, o que a KapsuleHost permite por predefinição e o que bloquear efetivamente lhe custa.
Onde Vivem as Definições de Rastreadores no KPanel
- Inicie sessão no KPanel.
- Clique em Websites na barra lateral esquerda e, de seguida, clique no site.
- No menu esquerdo do site, abra Desempenho e depois Rastreadores.
O endereço direto é /websites/<site-id>/crawlers.
O Que Esta Página Realmente Altera
Ativar ou desativar um grupo reescreve o ficheiro robots.txt do seu site. Esse ficheiro é um pedido publicado a visitantes automatizados bem comportados, e os principais rastreadores respeitam-no.
Daqui resultam duas consequências, e ambas são importantes.
É um pedido, não uma barreira. Um rastreador que ignore o robots.txt não é afetado por nada nesta página. Se o seu problema for a recolha de dados por algo que não se identifica honestamente, esta não é a ferramenta certa: use antes a lista de bloqueio de IPs ou a filtragem por país na página Segurança do site. Consulte Segurança do Site e Bloqueio de Países para um Site.
Controla a rastreabilidade, não o que já está indexado. Bloquear um rastreador impede pesquisas futuras. O conteúdo já presente num índice geralmente desaparece com o tempo, mas não instantaneamente.
As alterações são guardadas no momento em que ativa um interruptor. A página mostra Saving, depois Saved, robots.txt updated.
Os Quatro Grupos
Motores de busca. Os rastreadores tradicionais por trás dos resultados de pesquisa comuns: Googlebot, Bingbot, DuckDuckBot, Applebot e YandexBot.
Motores de busca e resposta de IA. Rastreadores para sistemas que incluem o seu conteúdo em respostas geradas por IA e resumos de pesquisa: GPTBot e OAI-SearchBot da OpenAI, ClaudeBot e anthropic-ai da Anthropic, PerplexityBot, Google-Extended, Cohere, Meta e Diffbot.
Ferramentas de SEO e análise. Rastreadores de plataformas usadas para auditar sites: AhrefsBot, SemrushBot, MJ12bot, DotBot e Baiduspider.
Redes sociais e pré-visualização. Rastreadores que obtêm um cartão de pré-visualização quando alguém partilha uma ligação: Twitterbot, o recolhedor de pré-visualização do Facebook, LinkedInBot, Slackbot e Discordbot.
Cada cartão de grupo lista todos os rastreadores que contém, com o respetivo proprietário, para que possa ver exatamente o que um interruptor abrange antes de o acionar.
A Predefinição da KapsuleHost: Os Rastreadores de IA São Permitidos
Todos os grupos são permitidos por predefinição, incluindo os rastreadores de IA, e essa é uma posição deliberada, não um descuido.
Vários fornecedores de alojamento bloqueiam discretamente os rastreadores de IA em nome dos seus clientes. Nós não o fazemos, porque o tráfego é seu e a decisão é sua, e porque essa predefinição custa-lhe visibilidade. Os resultados de pesquisa de IA são uma fonte real e crescente de referências. Um site que os sistemas de IA não conseguem ler não aparece nessas respostas, o que significa que não recebe esse tráfego.
Se quiser bloqueá-los, o controlo está aqui mesmo. Simplesmente não tomamos essa decisão por si sem lho dizer.
Decidir para Cada Grupo
Motores de busca. Deixe permitido, a menos que o site seja genuinamente privado, caso em que a proteção por palavra-passe é de qualquer forma a ferramenta certa. Consulte Proteger um Site com Palavra-passe.
Motores de busca e resposta de IA. Esta é a decisão verdadeiramente importante desta página.
Permita-os se quiser tráfego e citações a partir de respostas de IA, o que se aplica a quase todos os sites comerciais, editoras e empresas de serviços.
Considere bloqueá-los se o seu conteúdo for o seu produto e ser resumido eliminar o motivo para visitar o site, se tiver restrições contratuais ou de licenciamento sobre a forma como o conteúdo pode ser reutilizado, ou se tiver feito uma escolha editorial deliberada sobre o treino de IA.
Seja honesto quanto à contrapartida. Bloquear significa que o seu site desaparece dos resumos e respostas de pesquisa gerados por IA, e isso é tráfego perdido mensurável, não um risco teórico.
Ferramentas de SEO e análise. O grupo mais defensável para bloquear. Não lhe fornecem nada diretamente: permitem que outras pessoas auditem o seu site, e podem acrescentar uma carga real de rastreio num site grande. Bloqueá-los significa que o seu site fica menos visível nas ferramentas de pesquisa dos concorrentes, o que algumas pessoas consideram uma vantagem. O custo é que a sua própria ferramenta de SEO também pode perder dados sobre o seu site.
Redes sociais e pré-visualização. Deixe permitido, a menos que nunca queira pré-visualizações de ligações. Bloquear estes rastreadores significa que as ligações para o seu site partilhadas em plataformas sociais e aplicações de conversação aparecem como URLs simples, sem título, descrição ou imagem, o que reduz de forma mensurável a taxa de cliques.
Bloquear Todos os Rastreadores de IA de Uma Vez
No fundo da página existe um cartão de zona de perigo, Bloquear todos os rastreadores de IA. Numa única ação, adiciona regras de bloqueio para todos os rastreadores do grupo de IA.
Ao clicar, é pedida confirmação primeiro, e a confirmação declara claramente a consequência: o seu site vai desaparecer dos resumos de pesquisa de IA, e isso custa tráfego real.
Esta é uma decisão de tráfego, não de segurança. Bloquear rastreadores de IA não protege o seu conteúdo de ser copiado: qualquer pessoa ainda pode ler as suas páginas, e um mau agente nunca ia respeitar o robots.txt, para começar. O que isto faz de forma fiável é removê-lo das respostas geradas por IA. Certifique-se de que essa é a contrapartida que deseja.
A ação é reversível. Reative o grupo de IA e as regras de bloqueio são removidas na gravação seguinte. Voltar a entrar num índice depois disso demora tempo.
Quem Pode Alterar Isto
Alterar as definições de rastreadores requer a permissão de escrita do site. Com uma função apenas de leitura, os interruptores ficam desativados, e passar o cursor sobre um deles explica porquê. Peça a um proprietário de conta para fazer a alteração ou ajuste a sua função.
Resolução de Problemas
Bloqueei um grupo mas o rastreador continua a visitar o site. Os rastreadores bem comportados voltam a ler o robots.txt periodicamente em vez de antes de cada pedido, por isso dê tempo. Se nunca parar, o rastreador não está a respeitar o ficheiro e precisa de um controlo de acesso em alternativa. Consulte Segurança do Site.
As minhas páginas continuam nos resultados de pesquisa depois de bloquear. Bloquear impede a rastreabilidade futura. As entradas de índice existentes expiram com o tempo. Para remover conteúdo rapidamente, use a própria ferramenta de remoção do motor de busca.
As pré-visualizações de ligações deixaram de funcionar. O grupo das redes sociais está bloqueado. Volte a ativá-lo.
A minha ferramenta de SEO não tem dados do meu site. O grupo de SEO está bloqueado, o que afeta as suas ferramentas tal como as de todos os outros.
O tráfego caiu depois de alterar algo aqui. Verifique quais os grupos bloqueados. Se a pesquisa ou a IA estiverem desligadas, essa é a causa, e reativá-las inicia a recuperação.
Um rastreador que me interessa não está listado. Os grupos cobrem os principais rastreadores com nome próprio. Tudo o que não esteja listado fica sujeito à regra geral de permissão no topo do ficheiro e não é bloqueado por estes interruptores.
O meu site não está a ser indexado de todo e aqui está tudo permitido. Alguma outra coisa está a bloqueá-lo. Verifique se a proteção por palavra-passe de todo o site está ativa, se a filtragem por país está a bloquear a região do rastreador, ou se o site está num endereço partilhado em vez do seu próprio domínio.
Páginas Relacionadas
- Análise de Tráfego do Site para ver o que o tráfego de rastreadores realmente lhe custa em pedidos e largura de banda.
- Segurança do Site para bloqueio de IPs e outros controlos de acesso reais.
- Bloqueio de Países para um Site para filtragem baseada em geografia.
- Proteger um Site com Palavra-passe para ocultar um site de tudo, incluindo rastreadores.