KI-Crawler in der robots.txt: GPTBot, ClaudeBot und Co.

Die wichtigsten Kennungen

• GPTBot (OpenAI): sammelt Inhalte, unter anderem für das Training von Modellen.
• OAI-SearchBot (OpenAI): für die Suche in ChatGPT.
• ChatGPT-User (OpenAI): ruft Seiten auf, wenn Nutzer es im Chat anstoßen.
• ClaudeBot (Anthropic) sowie Claude-User und Claude-SearchBot.
• PerplexityBot (Perplexity): für die KI-Suche.
• Google-Extended: steuert die Nutzung für Googles KI-Angebote, hat aber keinen Einfluss auf die normale Google-Suche.
• Applebot-Extended (Apple) und CCBot (Common Crawl, Datengrundlage vieler Modelle).

Zulassen oder sperren?

Das ist eine Entscheidung zwischen Sichtbarkeit und Kontrolle. Wer in KI-Antworten erscheinen will, lässt zumindest die Such- und Antwortdienste zu. Wer das Training mit eigenen Inhalten nicht möchte, sperrt gezielt die entsprechenden Crawler. Die genaue Aufteilung der Dienste ändert sich, prüfen Sie die Angaben der Anbieter.

Beispiel für das Zulassen

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

Training und Suche trennen: ein durchgerechnetes Beispiel

Angenommen, ein Handwerksbetrieb möchte in KI-Antworten auftauchen, seine Texte aber nicht für das Training von Modellen bereitstellen. Dann braucht die robots.txt zwei Gruppen von Einträgen: eine Sperre für die Crawler, die vor allem Trainingsdaten sammeln, und eine Freigabe für die Crawler der Suchfunktionen. Die Datei wäre so aufgebaut:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

Die Zuordnung der Kennungen zu ihrem Zweck stammt von den Anbietern und kann sich ändern. Prüfen Sie deshalb vor jeder Anpassung die aktuelle Dokumentation von OpenAI, Anthropic, Perplexity und Google, statt sich auf eine alte Liste zu verlassen.

Typische Fehler

• Pauschale Sperre für alle Bots: User-agent: * mit Disallow: / schließt auch Suchmaschinen aus. Das passiert häufig, wenn eine Testversion der Website nach dem Start nicht bereinigt wurde.
• Google-Extended mit Googlebot verwechselt: Google-Extended betrifft nur die Nutzung für Googles KI-Angebote. Wer stattdessen den Googlebot sperrt, verschwindet aus der normalen Suche.
• Tippfehler in der Kennung: Die Kennung muss zum Namen passen, den der Anbieter angibt. Bei einem Tippfehler läuft der Eintrag ins Leere, und der Crawler greift weiter zu.
• Sperre nur über die robots.txt gedacht: Die Datei ist eine Vereinbarung unter höflichen Teilnehmern. Wer Inhalte wirklich schützen muss, braucht einen Zugangsschutz auf dem Server.

Prüfschritte nach jeder Änderung

1. Rufen Sie ihre-domain.de/robots.txt im Browser auf und kontrollieren Sie, ob die Datei erreichbar ist und den erwarteten Inhalt zeigt.
2. Lesen Sie Gruppe für Gruppe: Welche Kennung steht über welcher Regel? Eine Regel gilt immer für die Kennung direkt darüber.
3. Sehen Sie in den Server-Protokollen nach, ob die Crawler nach der Änderung weiterhin kommen oder wegbleiben. Das zeigt, ob die Freigabe tatsächlich ankommt.
4. Notieren Sie das Änderungsdatum. Wenn sich Nennungen in KI-Antworten später verändern, können Sie den Zusammenhang wenigstens einordnen.

Entscheidungshilfe

Für Unternehmen, die Kunden über Anfragen gewinnen, überwiegt meist der Nutzen der Sichtbarkeit. Bei Verlagen, Bildagenturen oder Anbietern bezahlter Inhalte kann die Rechnung anders ausfallen: Dort steht die Frage im Vordergrund, ob Inhalte ohne Gegenleistung verwertet werden dürfen. Beide Haltungen sind legitim, wichtig ist, dass sie bewusst gewählt und in der Datei nachvollziehbar umgesetzt werden.

Unterschied zwischen Abruf und Training

Ruft ein Assistent eine Seite ab, weil ein Nutzer gerade danach gefragt hat, ist das etwas anderes, als wenn ein Crawler im Hintergrund große Textmengen für ein späteres Modell sammelt. Genau diese Unterscheidung machen die Kennungen möglich. Wer nur die Trainings-Crawler sperrt, kann trotzdem in Antworten mit Quellenangabe auftauchen. Ob das im Einzelfall so umgesetzt wird, hängt vom Anbieter ab, denn manche Dienste nutzen dieselbe Kennung für mehrere Zwecke. Lesen Sie deshalb die Hinweise der Anbieter zu jeder Kennung, die Sie eintragen.

Wichtig

Ein Eintrag in der robots.txt ist eine Bitte, keine Sperre. Seriöse Crawler halten sich daran. Grundlagen unter robots.txt erklärt.