robots.txt erklärt: Was hineingehört und was nicht
Was die Datei macht
Suchmaschinen und andere Crawler lesen die robots.txt, bevor sie eine Website durchsuchen. Darin steht, welche Pfade sie meiden sollen und wo die Sitemap liegt.
Einfaches Beispiel
User-agent: *
Disallow: /intern/
Sitemap: https://example.de/sitemap.xml
Wichtige Hinweise
- Keine Sicherheitsmaßnahme: Wer sich nicht daran hält, kann die Seite trotzdem aufrufen. Vertrauliche Inhalte gehören hinter ein Login.
- Sperren heißt nicht aus dem Index: Eine gesperrte Seite kann trotzdem mit ihrer Adresse in den Ergebnissen erscheinen. Zum Ausschluss dient ein Noindex.
- Versehentliches Sperren: Ein „Disallow: /“ sperrt die ganze Website. Das passiert nach Relaunches häufiger als man denkt.
Aufbau im Detail
Die Datei besteht aus Blöcken. Ein Block beginnt mit einer User-agent-Zeile, die benennt, für welchen Crawler er gilt, und enthält darunter Disallow- oder Allow-Zeilen. Der Stern gilt für alle Crawler. Ein Disallow: ohne Pfad bedeutet, dass nichts gesperrt ist. Pfade sind relativ zur Domain und unterscheiden Groß- und Kleinschreibung. Die Datei muss im Hauptverzeichnis liegen, also unter ihredomain.de/robots.txt, in Unterordnern wird sie nicht beachtet. Jede Subdomain braucht eine eigene Datei.
Was Sie sperren können und was nicht
- Sinnvoll: interne Suchergebnisseiten, Warenkorb und Kasse, Filterkombinationen mit Parametern, Testbereiche, die ohnehin nicht öffentlich auffindbar sein sollen.
- Nicht sperren: Stylesheets und Skripte, die zur Darstellung gebraucht werden. Google rendert Seiten, und gesperrte Ressourcen können das Verständnis erschweren.
- Nicht verlassen auf robots.txt: für vertrauliche Daten. Die Datei ist öffentlich lesbar und verrät damit sogar die Pfade, die Sie verbergen wollten.
Sperren oder Noindex: die Entscheidung
Das Missverständnis ist häufig: Wer eine Seite per robots.txt sperrt, hindert Google am Besuch, nicht am Eintrag. Kennt Google die Adresse durch Links von außen, kann sie ohne Beschreibung im Index stehen. Soll eine Seite nicht erscheinen, brauchen Sie ein Noindex im Kopfbereich oder in der Antwort des Servers, und die Seite darf dafür nicht gesperrt sein, sonst sieht Google das Noindex nie. Möchten Sie Crawl-Aufwand sparen, etwa bei Tausenden Filterseiten, ist die Sperre das richtige Mittel.
Der Fehler nach dem Relaunch
Während der Entwicklung sperren Agenturen die Testversion oft komplett. Wird die Datei beim Livegang mitkopiert, bleibt die neue Website für Suchmaschinen unsichtbar. Prüfen Sie nach jedem Relaunch als Erstes die robots.txt und das Noindex-Setting im Redaktionssystem. Ein Hinweis darauf sind plötzlich fehlende Seiten im Bericht der Search Console.
Prüfschritte
- Rufen Sie ihredomain.de/robots.txt im Browser auf. Erscheint eine Fehlerseite, existiert keine Datei, was zulässig ist.
- Suchen Sie nach „Disallow: /“ ohne weiteren Pfad.
- Prüfen Sie, ob die Sitemap-Zeile stimmt.
- Testen Sie wichtige Adressen mit der URL-Prüfung der Search Console.
Änderungen vorsichtig testen
Da ein einziger falscher Eintrag große Teile der Website ausschließen kann, ändern Sie die Datei nie ohne Prüfung. Speichern Sie vorher eine Kopie des alten Stands, testen Sie danach typische Adressen in der URL-Prüfung der Search Console und kontrollieren Sie in den Folgetagen den Indexierungsbericht. Ein Rückgang indexierter Seiten kurz nach einer Änderung ist ein klares Warnzeichen, dem Sie sofort nachgehen sollten.
KI-Crawler
Auch KI-Systeme nutzen eigene Crawler, etwa GPTBot, ClaudeBot oder PerplexityBot. Wer in KI-Antworten genannt werden möchte, sollte sie nicht sperren. Mehr dazu in KI-Crawler in der robots.txt.
Fragen zu „robots.txt“?
Beschreiben Sie kurz Ihren Fall, wir antworten persönlich und ehrlich, auch wenn die Antwort „das brauchen Sie nicht“ lautet. Unsere Leistung dazu: SEO & GEO.
Erstgespräch vereinbaren