De tab Crawlers bepaalt welke geautomatiseerde bezoekers uw site mogen indexeren, onderverdeeld in zoekmachines, AI-antwoordmachines, SEO-tools en social-previewbots. Deze handleiding legt uit wat elke groep doet, wat KapsuleHost standaard toestaat en wat blokkeren u daadwerkelijk kost.
Waar Crawlerinstellingen Zich Bevinden in KPanel
- Log in bij KPanel.
- Klik op Websites in de linker zijbalk en klik vervolgens op de site.
- Open in het linkermenu van de site Prestaties en vervolgens Crawlers.
Het directe adres is /websites/<site-id>/crawlers.
Wat Deze Pagina Daadwerkelijk Verandert
Het omschakelen van een groep herschrijft het robots.txt-bestand van uw site. Dat bestand is een gepubliceerd verzoek aan goed functionerende geautomatiseerde bezoekers, en de grote crawlers respecteren het.
Hier vloeien twee gevolgen uit voort, en beide zijn belangrijk.
Het is een verzoek, geen muur. Een crawler die robots.txt negeert, wordt door niets op deze pagina beïnvloed. Als uw probleem scraping is door iets dat zich niet eerlijk identificeert, is dit het verkeerde middel: gebruik in plaats daarvan de IP-blokkeerlijst of landfiltering op de pagina Beveiliging van de site. Zie Sitebeveiliging en Land Blokkeren Voor Een Site.
Het regelt crawlen, niet wat al geïndexeerd is. Het blokkeren van een crawler stopt toekomstige bezoeken. Inhoud die al in een index staat, valt doorgaans na verloop van tijd weg, maar niet direct.
Wijzigingen worden opgeslagen op het moment dat u een schakelaar omzet. De pagina toont Saving, en daarna Saved, robots.txt updated.
De Vier Groepen
Zoekmachines. De traditionele crawlers achter gewone zoekresultaten: Googlebot, Bingbot, DuckDuckBot, Applebot en YandexBot.
AI-zoek- en antwoordmachines. Crawlers voor systemen die uw inhoud opnemen in door AI gegenereerde antwoorden en zoekoverzichten: GPTBot en OAI-SearchBot van OpenAI, ClaudeBot en anthropic-ai van Anthropic, PerplexityBot, Google-Extended, Cohere, Meta en Diffbot.
SEO- en analysetools. Crawlers van platforms die gebruikt worden om sites te auditen: AhrefsBot, SemrushBot, MJ12bot, DotBot en Baiduspider.
Social media en previews. Crawlers die een previewkaart ophalen wanneer iemand een link deelt: Twitterbot, de previewophaler van Facebook, LinkedInBot, Slackbot en Discordbot.
Elke groepskaart toont alle crawlers erin, met hun eigenaar, zodat u precies kunt zien wat een schakelaar dekt voordat u hem omzet.
Standaardinstelling van KapsuleHost: AI-crawlers Zijn Toegestaan
Elke groep is standaard toegestaan, inclusief AI-crawlers, en dat is een weloverwogen keuze en geen vergissing.
Een aantal hosts blokkeert stilletjes AI-crawlers namens hun klanten. Wij doen dat niet, omdat het uw verkeer en uw beslissing is, en omdat de standaardinstelling u zichtbaarheid kost. AI-zoekresultaten zijn een reële en groeiende bron van doorverwijzingen. Een site die AI-systemen niet kunnen lezen, verschijnt niet in die antwoorden, wat betekent dat die dat verkeer misloopt.
Als u ze wilt blokkeren, bevindt het bedieningselement zich precies hier. Wij maken die keuze simpelweg niet voor u zonder het u te vertellen.
Beslissen per Groep
Zoekmachines. Laat toegestaan tenzij de site echt privé is, in welk geval wachtwoordbeveiliging sowieso het juiste middel is. Zie Een Site met een Wachtwoord Beveiligen.
AI-zoek- en antwoordmachines. Dit is de echte beslissing op deze pagina.
Sta ze toe als u verkeer en citaten uit AI-antwoorden wilt, wat voor vrijwel elke commerciële site, uitgever en dienstverlenende onderneming geldt.
Overweeg ze te blokkeren als uw inhoud uw product is en samenvatting de reden om te bezoeken wegneemt, als u contractuele of licentiebeperkingen heeft op hoe inhoud hergebruikt mag worden, of als u een bewuste redactionele keuze heeft gemaakt over AI-training.
Wees eerlijk over de afweging. Blokkeren betekent dat uw site verdwijnt uit door AI gegenereerde zoekoverzichten en antwoorden, en dat is meetbaar verloren verkeer, geen theoretisch risico.
SEO- en analysetools. De meest verdedigbare groep om te blokkeren. Ze leveren u niets rechtstreeks op: ze laten anderen uw site auditen, en ze kunnen op een grote site echte crawlbelasting toevoegen. Ze blokkeren betekent dat uw site minder zichtbaar is in de onderzoekstools van concurrenten, wat sommigen als een voordeel beschouwen. De kostprijs is dat uw eigen SEO-tools mogelijk ook gegevens over uw site verliezen.
Social media en previews. Laat toegestaan tenzij u nooit linkpreviews wilt. Deze blokkeren betekent dat links naar uw site die op sociale platforms en chatapps worden gedeeld, verschijnen als kale URL's zonder titel, beschrijving of afbeelding, wat de doorklikratio meetbaar verlaagt.
In Één Keer Alle AI-crawlers Blokkeren
Onderaan de pagina bevindt zich een kaart in de gevarenzone, Alle AI-crawlers blokkeren. Deze voegt in één handeling disallow-regels toe voor elke crawler in de AI-groep.
Erop klikken vraagt eerst om bevestiging, en de bevestiging vermeldt het gevolg duidelijk: uw site verdwijnt uit AI-zoekoverzichten, en dit kost reëel verkeer.
Dit is een beslissing over verkeer, geen beveiligingsbeslissing. Het blokkeren van AI-crawlers beschermt uw inhoud niet tegen kopiëren: iedereen kan uw pagina's nog steeds lezen, en een kwaadwillende partij was sowieso nooit van plan robots.txt te respecteren. Wat het wel betrouwbaar doet, is u verwijderen uit door AI gegenereerde antwoorden. Zorg ervoor dat dit de afweging is die u wilt maken.
Deze actie is omkeerbaar. Zet de AI-groep weer aan en de disallow-regels worden bij de volgende opslag verwijderd. Terugkeren in een index duurt daarna wel enige tijd.
Wie Dit Kan Wijzigen
Het wijzigen van crawlerinstellingen vereist schrijfrechten voor de site. Bij een alleen-lezenrol zijn de schakelaars uitgeschakeld, en als u erover hovert, wordt uitgelegd waarom. Vraag een accounteigenaar om de wijziging door te voeren of pas uw rol aan.
Probleemoplossing
Ik heb een groep geblokkeerd, maar de crawler bezoekt de site nog steeds. Goed functionerende crawlers lezen robots.txt periodiek opnieuw in plaats van voor elk verzoek, dus geef het tijd. Als het nooit stopt, respecteert de crawler het bestand niet en heeft u in plaats daarvan een toegangscontrole nodig. Zie Sitebeveiliging.
Mijn pagina's staan na het blokkeren nog steeds in zoekresultaten. Blokkeren stopt toekomstig crawlen. Bestaande indexvermeldingen verlopen na verloop van tijd. Gebruik om inhoud snel te verwijderen de eigen verwijdertool van de zoekmachine.
Linkpreviews werken niet meer. De social-groep is geblokkeerd. Zet deze weer aan.
Mijn SEO-tool heeft geen gegevens voor mijn site. De SEO-groep is geblokkeerd, wat zowel uw tools als die van anderen beïnvloedt.
Het verkeer daalde nadat ik hier iets heb gewijzigd. Controleer welke groepen geblokkeerd zijn. Als zoeken of AI uitstaat, is dat de oorzaak, en het weer aanzetten start het herstel.
Een crawler waar ik om geef, staat niet vermeld. De groepen omvatten de grote, met naam genoemde crawlers. Alles wat niet vermeld staat, valt onder de algemene toestaanregel bovenaan het bestand en wordt niet door deze schakelaars geblokkeerd.
Mijn site wordt helemaal niet geïndexeerd en hier staat alles op toegestaan. Iets anders blokkeert het. Controleer of wachtwoordbeveiliging voor de hele site aanstaat, of landfiltering de regio van de crawler blokkeert, of de site zich op een gedeeld adres bevindt in plaats van op uw eigen domein.
Gerelateerde Pagina's
- Siteverkeeranalyse om te zien wat crawlerverkeer u daadwerkelijk kost aan verzoeken en bandbreedte.
- Sitebeveiliging voor IP-blokkering en andere echte toegangscontroles.
- Land Blokkeren Voor Een Site voor filtering op basis van geografie.
- Een Site met een Wachtwoord Beveiligen om een site voor alles te verbergen, crawlers inbegrepen.