Der Reiter „Crawlers" steuert, welche automatisierten Besucher Ihre Website indexieren dürfen, gruppiert in Suchmaschinen, KI-Antwortsysteme, SEO-Tools und Social-Preview-Bots. Diese Anleitung erklärt, was jede Gruppe macht, was KapsuleHost standardmäßig erlaubt, und was das Blockieren tatsächlich kostet.
Wo die Crawler-Einstellungen in KPanel zu finden sind
- Melden Sie sich bei KPanel an.
- Klicken Sie in der linken Seitenleiste auf Websites und dann auf die jeweilige Website.
- Öffnen Sie im linken Menü der Website Leistung und dann Crawler.
Die direkte Adresse lautet /websites/<site-id>/crawlers.
Was diese Seite tatsächlich ändert
Das Umschalten einer Gruppe schreibt die robots.txt-Datei Ihrer Website neu. Diese Datei ist eine veröffentlichte Anfrage an wohlgesonnene automatisierte Besucher, und die großen Crawler respektieren sie.
Daraus ergeben sich zwei Konsequenzen, und beide sind wichtig.
Es ist eine Bitte, keine Mauer. Ein Crawler, der robots.txt ignoriert, ist von allem auf dieser Seite unberührt. Wenn Ihr Problem das Scraping durch etwas ist, das sich nicht ehrlich identifiziert, ist dies das falsche Werkzeug: Verwenden Sie stattdessen die IP-Sperrliste oder die Länderfilterung auf der Seite Sicherheit der Website. Siehe Website-Sicherheit und Länderblockierung für eine Website.
Es steuert das Crawling, nicht das bereits Indexierte. Das Blockieren eines Crawlers stoppt künftige Abrufe. Inhalte, die bereits in einem Index stehen, fallen meist mit der Zeit heraus, aber nicht sofort.
Änderungen werden gespeichert, sobald Sie einen Schalter umlegen. Die Seite zeigt Saving, dann Saved, robots.txt updated.
Die vier Gruppen
Suchmaschinen. Die klassischen Crawler hinter gewöhnlichen Suchergebnissen: Googlebot, Bingbot, DuckDuckBot, Applebot und YandexBot.
KI-Such- und Antwortsysteme. Crawler für Systeme, die Ihre Inhalte in KI-generierte Antworten und Suchübersichten einbeziehen: GPTBot und OAI-SearchBot von OpenAI, ClaudeBot und anthropic-ai von Anthropic, PerplexityBot, Google-Extended, Cohere, Meta und Diffbot.
SEO- und Analyse-Tools. Crawler von Plattformen, die zur Prüfung von Websites verwendet werden: AhrefsBot, SemrushBot, MJ12bot, DotBot und Baiduspider.
Soziale Medien und Vorschau. Crawler, die eine Vorschaukarte abrufen, wenn jemand einen Link teilt: Twitterbot, der Facebook-Vorschauabruf, LinkedInBot, Slackbot und Discordbot.
Jede Gruppenkarte listet jeden darin enthaltenen Crawler samt seinem Betreiber auf, sodass Sie genau sehen können, was ein Schalter abdeckt, bevor Sie ihn umlegen.
Die Standardeinstellung von KapsuleHost: KI-Crawler sind erlaubt
Jede Gruppe ist standardmäßig erlaubt, einschließlich KI-Crawler, und das ist eine bewusste Entscheidung und kein Versehen.
Eine Reihe von Hostern blockiert KI-Crawler stillschweigend im Namen ihrer Kunden. Wir tun das nicht, weil es Ihr Traffic und Ihre Entscheidung ist, und weil diese Standardeinstellung Sichtbarkeit kostet. KI-Suchergebnisse sind eine reale und wachsende Quelle für Besucherzahlen. Eine Website, die von KI-Systemen nicht gelesen werden kann, erscheint nicht in diesen Antworten, was bedeutet, dass sie diesen Traffic nicht erhält.
Wenn Sie sie blockieren möchten, finden Sie die Steuerung genau hier. Wir treffen diese Entscheidung einfach nicht für Sie, ohne es Ihnen zu sagen.
Entscheidung für jede Gruppe
Suchmaschinen. Lassen Sie diese erlaubt, es sei denn, die Website ist wirklich privat, in welchem Fall ein Passwortschutz ohnehin das richtige Werkzeug ist. Siehe Passwortschutz für eine Website.
KI-Such- und Antwortsysteme. Das ist die eigentliche Entscheidung auf dieser Seite.
Erlauben Sie diese, wenn Sie Traffic und Zitate aus KI-Antworten wünschen, was bei fast jeder kommerziellen Website, jedem Verlag und jedem Dienstleistungsunternehmen der Fall ist.
Erwägen Sie eine Blockierung, wenn Ihr Inhalt Ihr Produkt ist und eine Zusammenfassung den Grund für einen Besuch zunichtemacht, wenn Sie vertragliche oder lizenzrechtliche Einschränkungen bei der Weiterverwendung von Inhalten haben, oder wenn Sie eine bewusste redaktionelle Entscheidung zum KI-Training getroffen haben.
Seien Sie ehrlich mit sich bezüglich des Kompromisses. Eine Blockierung bedeutet, dass Ihre Website aus KI-generierten Suchübersichten und Antworten verschwindet, und das ist messbarer, verlorener Traffic, kein theoretisches Risiko.
SEO- und Analyse-Tools. Die am leichtesten zu rechtfertigende Gruppe zum Blockieren. Sie bringen Ihnen direkt nichts: Sie ermöglichen anderen Leuten, Ihre Website zu prüfen, und sie können bei einer großen Website spürbare zusätzliche Crawl-Last verursachen. Eine Blockierung bedeutet, dass Ihre Website in den Rechercheinstrumenten der Konkurrenz weniger sichtbar ist, was manche Leute als Vorteil betrachten. Der Nachteil ist, dass Ihr eigenes SEO-Tooling ebenfalls Daten über Ihre Website verlieren kann.
Soziale Medien und Vorschau. Lassen Sie diese erlaubt, es sei denn, Sie möchten niemals Linkvorschauen. Eine Blockierung bedeutet, dass auf sozialen Plattformen und in Chat-Apps geteilte Links zu Ihrer Website als bloße URLs ohne Titel, Beschreibung oder Bild erscheinen, was die Klickrate messbar senkt.
Alle KI-Crawler auf einmal blockieren
Am unteren Rand der Seite gibt es eine Gefahrenzone-Karte, Alle KI-Crawler blockieren. Sie fügt mit einer einzigen Aktion Disallow-Regeln für jeden Crawler der KI-Gruppe hinzu.
Ein Klick darauf fordert zunächst eine Bestätigung an, und die Bestätigung nennt die Konsequenz unmissverständlich: Ihre Website verschwindet aus KI-Suchübersichten, und das kostet realen Traffic.
Dies ist eine Traffic-Entscheidung, keine Sicherheitsentscheidung. Das Blockieren von KI-Crawlern schützt Ihre Inhalte nicht vor Kopieren: Jeder kann Ihre Seiten weiterhin lesen, und ein böswilliger Akteur hätte robots.txt ohnehin nie respektiert. Was es zuverlässig bewirkt, ist, dass Sie aus KI-generierten Antworten verschwinden. Stellen Sie sicher, dass dies der Kompromiss ist, den Sie wollen.
Die Aktion ist umkehrbar. Schalten Sie die KI-Gruppe wieder ein, und die Disallow-Regeln werden beim nächsten Speichern entfernt. Die Rückkehr in einen Index danach braucht Zeit.
Wer dies ändern kann
Um die Crawler-Einstellungen zu ändern, ist die Schreibberechtigung für die Website erforderlich. Mit einer schreibgeschützten Rolle sind die Schalter deaktiviert, und ein Darüberfahren mit der Maus erklärt, warum. Bitten Sie einen Kontoinhaber, die Änderung vorzunehmen, oder passen Sie Ihre Rolle an.
Fehlerbehebung
Ich habe eine Gruppe blockiert, aber der Crawler besucht die Website immer noch. Wohlgesonnene Crawler lesen robots.txt regelmäßig neu, statt vor jeder Anfrage, geben Sie ihm also Zeit. Wenn es nie aufhört, respektiert der Crawler die Datei nicht, und Sie brauchen stattdessen eine Zugriffskontrolle. Siehe Website-Sicherheit.
Meine Seiten erscheinen nach der Blockierung immer noch in den Suchergebnissen. Eine Blockierung stoppt künftiges Crawling. Bestehende Indexeinträge laufen mit der Zeit ab. Um Inhalte schnell zu entfernen, verwenden Sie das eigene Entfernungstool der Suchmaschine.
Linkvorschauen funktionieren nicht mehr. Die Social-Gruppe ist blockiert. Schalten Sie sie wieder ein.
Mein SEO-Tool hat keine Daten für meine Website. Die SEO-Gruppe ist blockiert, was Ihre Tools ebenso betrifft wie die aller anderen.
Der Traffic ist zurückgegangen, nachdem ich hier etwas geändert habe. Prüfen Sie, welche Gruppen blockiert sind. Wenn Suche oder KI deaktiviert ist, liegt darin die Ursache, und das Wiedereinschalten leitet die Erholung ein.
Ein Crawler, der mir wichtig ist, wird nicht aufgeführt. Die Gruppen decken die großen namentlich genannten Crawler ab. Alles, was nicht aufgeführt ist, fällt unter die allgemeine Erlaubnisregel am Anfang der Datei und wird durch diese Schalter nicht blockiert.
Meine Website wird überhaupt nicht indexiert, und hier ist alles erlaubt. Etwas anderes blockiert sie. Prüfen Sie, ob ein Passwortschutz für die gesamte Website aktiv ist, ob eine Länderfilterung die Region des Crawlers blockiert, oder ob die Website unter einer gemeinsam genutzten Adresse statt Ihrer eigenen Domain läuft.
Verwandte Seiten
- Website-Traffic-Analyse, um zu sehen, was Crawler-Traffic Sie tatsächlich an Anfragen und Bandbreite kostet.
- Website-Sicherheit für IP-Blockierung und andere echte Zugriffskontrollen.
- Länderblockierung für eine Website für geografiebasierte Filterung.
- Passwortschutz für eine Website, um eine Website vor allem zu verbergen, Crawler eingeschlossen.