# Steuerung von KI-Crawlern und Suchbots

Source: https://support.kapsulehost.com/de-de/site-crawlers

Der Reiter „Crawlers" steuert, welche automatisierten Besucher Ihre Website indexieren dürfen, gruppiert in Suchmaschinen, KI-Antwortsysteme, SEO-Tools und Social-Preview-Bots. Diese Anleitung erklärt, was jede Gruppe macht, was KapsuleHost standardmäßig erlaubt, und was das Blockieren tatsächlich kostet.

## Wo die Crawler-Einstellungen in KPanel zu finden sind

1. Melden Sie sich bei [KPanel](https://kpanel.kapsulehost.com) an.
2. Klicken Sie in der linken Seitenleiste auf **Websites** und dann auf die jeweilige Website.
3. Öffnen Sie im linken Menü der Website **Leistung** und dann **Crawler**.

Die direkte Adresse lautet `/websites/<site-id>/crawlers`.

![Die Crawlers-Seite einer Website in KPanel mit den Steuerelementen für KI-Crawler und Suchbots](https://support.kapsulehost.com/help/screenshots/site-crawlers.e60d4ece.webp)

## Was diese Seite tatsächlich ändert

Das Umschalten einer Gruppe schreibt die `robots.txt`-Datei Ihrer Website neu. Diese Datei ist eine veröffentlichte Anfrage an wohlgesonnene automatisierte Besucher, und die großen Crawler respektieren sie.

Daraus ergeben sich zwei Konsequenzen, und beide sind wichtig.

**Es ist eine Bitte, keine Mauer.** Ein Crawler, der `robots.txt` ignoriert, ist von allem auf dieser Seite unberührt. Wenn Ihr Problem das Scraping durch etwas ist, das sich nicht ehrlich identifiziert, ist dies das falsche Werkzeug: Verwenden Sie stattdessen die IP-Sperrliste oder die Länderfilterung auf der Seite **Sicherheit** der Website. Siehe [Website-Sicherheit](https://support.kapsulehost.com/de-de/site-security) und [Länderblockierung für eine Website](https://support.kapsulehost.com/de-de/site-geo-blocking).

**Es steuert das Crawling, nicht das bereits Indexierte.** Das Blockieren eines Crawlers stoppt künftige Abrufe. Inhalte, die bereits in einem Index stehen, fallen meist mit der Zeit heraus, aber nicht sofort.

Änderungen werden gespeichert, sobald Sie einen Schalter umlegen. Die Seite zeigt **Saving**, dann **Saved, robots.txt updated**.

## Die vier Gruppen

**Suchmaschinen.** Die klassischen Crawler hinter gewöhnlichen Suchergebnissen: Googlebot, Bingbot, DuckDuckBot, Applebot und YandexBot.

**KI-Such- und Antwortsysteme.** Crawler für Systeme, die Ihre Inhalte in KI-generierte Antworten und Suchübersichten einbeziehen: GPTBot und OAI-SearchBot von OpenAI, ClaudeBot und anthropic-ai von Anthropic, PerplexityBot, Google-Extended, Cohere, Meta und Diffbot.

**SEO- und Analyse-Tools.** Crawler von Plattformen, die zur Prüfung von Websites verwendet werden: AhrefsBot, SemrushBot, MJ12bot, DotBot und Baiduspider.

**Soziale Medien und Vorschau.** Crawler, die eine Vorschaukarte abrufen, wenn jemand einen Link teilt: Twitterbot, der Facebook-Vorschauabruf, LinkedInBot, Slackbot und Discordbot.

Jede Gruppenkarte listet jeden darin enthaltenen Crawler samt seinem Betreiber auf, sodass Sie genau sehen können, was ein Schalter abdeckt, bevor Sie ihn umlegen.

## Die Standardeinstellung von KapsuleHost: KI-Crawler sind erlaubt

Jede Gruppe ist standardmäßig erlaubt, einschließlich KI-Crawler, und das ist eine bewusste Entscheidung und kein Versehen.

Eine Reihe von Hostern blockiert KI-Crawler stillschweigend im Namen ihrer Kunden. Wir tun das nicht, weil es Ihr Traffic und Ihre Entscheidung ist, und weil diese Standardeinstellung Sichtbarkeit kostet. KI-Suchergebnisse sind eine reale und wachsende Quelle für Besucherzahlen. Eine Website, die von KI-Systemen nicht gelesen werden kann, erscheint nicht in diesen Antworten, was bedeutet, dass sie diesen Traffic nicht erhält.

Wenn Sie sie blockieren möchten, finden Sie die Steuerung genau hier. Wir treffen diese Entscheidung einfach nicht für Sie, ohne es Ihnen zu sagen.

## Entscheidung für jede Gruppe

**Suchmaschinen.** Lassen Sie diese erlaubt, es sei denn, die Website ist wirklich privat, in welchem Fall ein Passwortschutz ohnehin das richtige Werkzeug ist. Siehe [Passwortschutz für eine Website](https://support.kapsulehost.com/de-de/site-password-protect).

**KI-Such- und Antwortsysteme.** Das ist die eigentliche Entscheidung auf dieser Seite.

Erlauben Sie diese, wenn Sie Traffic und Zitate aus KI-Antworten wünschen, was bei fast jeder kommerziellen Website, jedem Verlag und jedem Dienstleistungsunternehmen der Fall ist.

Erwägen Sie eine Blockierung, wenn Ihr Inhalt Ihr Produkt ist und eine Zusammenfassung den Grund für einen Besuch zunichtemacht, wenn Sie vertragliche oder lizenzrechtliche Einschränkungen bei der Weiterverwendung von Inhalten haben, oder wenn Sie eine bewusste redaktionelle Entscheidung zum KI-Training getroffen haben.

Seien Sie ehrlich mit sich bezüglich des Kompromisses. Eine Blockierung bedeutet, dass Ihre Website aus KI-generierten Suchübersichten und Antworten verschwindet, und das ist messbarer, verlorener Traffic, kein theoretisches Risiko.

**SEO- und Analyse-Tools.** Die am leichtesten zu rechtfertigende Gruppe zum Blockieren. Sie bringen Ihnen direkt nichts: Sie ermöglichen anderen Leuten, Ihre Website zu prüfen, und sie können bei einer großen Website spürbare zusätzliche Crawl-Last verursachen. Eine Blockierung bedeutet, dass Ihre Website in den Rechercheinstrumenten der Konkurrenz weniger sichtbar ist, was manche Leute als Vorteil betrachten. Der Nachteil ist, dass Ihr eigenes SEO-Tooling ebenfalls Daten über Ihre Website verlieren kann.

**Soziale Medien und Vorschau.** Lassen Sie diese erlaubt, es sei denn, Sie möchten niemals Linkvorschauen. Eine Blockierung bedeutet, dass auf sozialen Plattformen und in Chat-Apps geteilte Links zu Ihrer Website als bloße URLs ohne Titel, Beschreibung oder Bild erscheinen, was die Klickrate messbar senkt.

## Alle KI-Crawler auf einmal blockieren

Am unteren Rand der Seite gibt es eine Gefahrenzone-Karte, **Alle KI-Crawler blockieren**. Sie fügt mit einer einzigen Aktion Disallow-Regeln für jeden Crawler der KI-Gruppe hinzu.

Ein Klick darauf fordert zunächst eine Bestätigung an, und die Bestätigung nennt die Konsequenz unmissverständlich: Ihre Website verschwindet aus KI-Suchübersichten, und das kostet realen Traffic.

> **Warning:** Dies ist eine Traffic-Entscheidung, keine Sicherheitsentscheidung. Das Blockieren von KI-Crawlern schützt Ihre Inhalte nicht vor Kopieren: Jeder kann Ihre Seiten weiterhin lesen, und ein böswilliger Akteur hätte `robots.txt` ohnehin nie respektiert. Was es zuverlässig bewirkt, ist, dass Sie aus KI-generierten Antworten verschwinden. Stellen Sie sicher, dass dies der Kompromiss ist, den Sie wollen.

Die Aktion ist umkehrbar. Schalten Sie die KI-Gruppe wieder ein, und die Disallow-Regeln werden beim nächsten Speichern entfernt. Die Rückkehr in einen Index danach braucht Zeit.

## Wer dies ändern kann

Um die Crawler-Einstellungen zu ändern, ist die Schreibberechtigung für die Website erforderlich. Mit einer schreibgeschützten Rolle sind die Schalter deaktiviert, und ein Darüberfahren mit der Maus erklärt, warum. Bitten Sie einen Kontoinhaber, die Änderung vorzunehmen, oder passen Sie Ihre Rolle an.

## Fehlerbehebung

**Ich habe eine Gruppe blockiert, aber der Crawler besucht die Website immer noch.** Wohlgesonnene Crawler lesen `robots.txt` regelmäßig neu, statt vor jeder Anfrage, geben Sie ihm also Zeit. Wenn es nie aufhört, respektiert der Crawler die Datei nicht, und Sie brauchen stattdessen eine Zugriffskontrolle. Siehe [Website-Sicherheit](https://support.kapsulehost.com/de-de/site-security).

**Meine Seiten erscheinen nach der Blockierung immer noch in den Suchergebnissen.** Eine Blockierung stoppt künftiges Crawling. Bestehende Indexeinträge laufen mit der Zeit ab. Um Inhalte schnell zu entfernen, verwenden Sie das eigene Entfernungstool der Suchmaschine.

**Linkvorschauen funktionieren nicht mehr.** Die Social-Gruppe ist blockiert. Schalten Sie sie wieder ein.

**Mein SEO-Tool hat keine Daten für meine Website.** Die SEO-Gruppe ist blockiert, was Ihre Tools ebenso betrifft wie die aller anderen.

**Der Traffic ist zurückgegangen, nachdem ich hier etwas geändert habe.** Prüfen Sie, welche Gruppen blockiert sind. Wenn Suche oder KI deaktiviert ist, liegt darin die Ursache, und das Wiedereinschalten leitet die Erholung ein.

**Ein Crawler, der mir wichtig ist, wird nicht aufgeführt.** Die Gruppen decken die großen namentlich genannten Crawler ab. Alles, was nicht aufgeführt ist, fällt unter die allgemeine Erlaubnisregel am Anfang der Datei und wird durch diese Schalter nicht blockiert.

**Meine Website wird überhaupt nicht indexiert, und hier ist alles erlaubt.** Etwas anderes blockiert sie. Prüfen Sie, ob ein Passwortschutz für die gesamte Website aktiv ist, ob eine Länderfilterung die Region des Crawlers blockiert, oder ob die Website unter einer gemeinsam genutzten Adresse statt Ihrer eigenen Domain läuft.

## Verwandte Seiten

- [Website-Traffic-Analyse](https://support.kapsulehost.com/de-de/site-analytics), um zu sehen, was Crawler-Traffic Sie tatsächlich an Anfragen und Bandbreite kostet.
- [Website-Sicherheit](https://support.kapsulehost.com/de-de/site-security) für IP-Blockierung und andere echte Zugriffskontrollen.
- [Länderblockierung für eine Website](https://support.kapsulehost.com/de-de/site-geo-blocking) für geografiebasierte Filterung.
- [Passwortschutz für eine Website](https://support.kapsulehost.com/de-de/site-password-protect), um eine Website vor allem zu verbergen, Crawler eingeschlossen.