Die besten kostenlosen robots.txt-Tester

Ein robots.txt-Tester ist ein Werkzeug, das prüft, ob ein bestimmter Crawler eine bestimmte URL nach den robots.txt-Regeln einer Website abrufen darf, und welche Regel das entscheidet. Google hat den robots.txt-Tester in der Search Console Ende 2023 abgeschaltet und durch einen reinen robots.txt-Bericht ersetzt. Die kostenlosen Optionen stecken seitdem in anderen Tools.

Welches passt, hängt von der Frage ab. „Ist diese URL für Googlebot gesperrt?“ braucht Googles Parser. „Können ChatGPT und Claude meine Seite lesen?“ braucht die User-Agents der KI-Bots und einen Blick über robots.txt hinaus, auf die Firewall.

Tool	Parser	KI-Bots	Regeln vorab testen	Konto
Tame the Bots robots.txt Checker	Googles Open-Source-Parser	GPTBot, OAI-SearchBot, ChatGPT-User, Google-Extended, Applebot, eigene	Ja	Keins
robots.txt-Bericht der Search Console	Googles eigener	Nein	Nein	Bestätigte Domain-Property
robots.txt-Tester in Bing Webmaster Tools	Bings eigener	Nein	Ja	Bestätigte Website
Screaming Frog SEO Spider (kostenlos)	Eigener	Nicht in der Gratisversion	Nur in der Bezahlversion	Keins, 500 URLs pro Crawl
Googles robotstxt-Bibliothek	Googles Open-Source-Parser	Beliebig	Ja, es ist Code	Keins
kant.dev AI Crawler Check	Eigener	18 KI-Bots, dazu Live-Tests gegen die Firewall	Nein	Keins

1. Tame the Bots: Googles Parser im Browser

Tame the Bots baut seinen robots.txt Checker auf Googles Open-Source-Bibliothek „Robots.txt Parser and Matcher Library“, also auf dem Code, den auch Googlebot nutzt, und bildet Googles Rückfallregeln nach (Googlebot-Image fällt zum Beispiel auf die Regeln von Googlebot zurück). Man fügt eine Liste von URLs ein und sieht pro URL, ob sie erlaubt ist und welche Regel entscheidet.

Was es abhebt: eine lange Liste von User-Agents, darunter GPTBot, OAI-SearchBot, ChatGPT-User, Google-Extended, Applebot und Bingbot, und ein Custom-Modus, der Regeln testet, bevor sie live gehen. Kostenlos, durch Spenden finanziert, ohne Konto.

2. Der robots.txt-Bericht der Search Console: Googles eigene Sicht

Der Bericht, der den Tester ersetzt hat, zeigt, welche robots.txt-Dateien Google für die 20 wichtigsten Hosts einer Domain-Property gefunden hat, wann es jede zuletzt abrufen wollte, den Abrufstatus sowie Parse-Fehler und Warnungen. Nach einer dringenden Korrektur lässt sich im selben Bildschirm ein erneuter Abruf anfordern.

URLs testet er nicht. Dafür verweist Google auf das URL-Prüftool. Beide brauchen eine bestätigte Property und funktionieren also nur für die eigenen Websites.

3. Bing Webmaster Tools: ein Tester mit Editor

Bing hat 2020 einen robots.txt-Tester in die Webmaster Tools eingebaut, und er kann, was Googles alter Tester konnte: URL eingeben, sehen, ob sie gesperrt ist, für welchen User-Agent und durch welche Zeile. Er testet als Bingbot oder AdIdxBot (der Crawler von Bing Ads), und im Editor lassen sich Regeln ändern und vor dem Veröffentlichen erneut prüfen. Braucht eine bestätigte Website.

Aus einem weiteren Grund einen Blick wert: Bings Index speist Copilot und Teile der ChatGPT-Suche.

4. Screaming Frog SEO Spider: der Blick über die ganze Website

Die Gratisversion des Desktop-Crawlers schafft bis zu 500 URLs pro Crawl und listet jede gefundene URL, die sie nicht abrufen durfte, unter dem Filter „Blocked by Robots.txt“. Das beantwortet eine andere Frage als die übrigen Tools: nicht „ist diese URL gesperrt?“, sondern „welche meiner Seiten sind es?“

Eine eigene robots.txt bearbeiten und testen gehört zur bezahlten Lizenz, ebenso wie die meisten Einstellungen des Crawls.

5. Googles robotstxt-Bibliothek für Entwickler

Google hat den C++-Parser und Matcher seiner Crawler als Open Source veröffentlicht. Wer eigene Prüfungen baut, bekommt damit genau Googles Auslegung, auch in den Grenzfällen, an denen selbstgeschriebene reguläre Ausdrücke scheitern. Tame the Bots (oben) basiert darauf.

6. kant.dev AI Crawler Check: für KI-Bots und Firewalls

Unser kostenloser AI Crawler Check liest die live ausgelieferte robots.txt und zeigt das Ergebnis für 18 KI-Crawler, getrennt nach Trainings-Bots und denen, die KI-Suchantworten speisen. Dann schickt er echte Anfragen mit den User-Agents dieser Bots, denn oft sperrt eine Firewall oder ein CDN einen Bot, den robots.txt erlaubt. Dazu meldet er noai-Tags und llms.txt.

Einzelne URLs gegen Regelentwürfe testet er nicht; dafür sind Tame the Bots oder Bing da.

Was jeder robots.txt-Tester übersieht

robots.txt ist eine Bitte, kein Schloss. Drei Dinge entscheiden über den Zugriff jenseits davon:

Firewalls und CDNs. Der Bot-Schutz bei Cloudflare oder beim Hoster kann GPTBot sperren, obwohl robots.txt ja sagt, oder einen Crawler durchlassen, den robots.txt verbietet. Nur eine echte Anfrage zeigt, was gilt.
Nutzerausgelöste Abrufe. Google dokumentiert, dass seine nutzerausgelösten Fetcher, die laufen, wenn ein Mensch ein Produkt eine Seite öffnen lässt, robots.txt „in der Regel ignorieren“. Dieselbe Logik gilt für KI-Agenten, die für einen Nutzer surfen.
JavaScript. Auch ein zugelassener Bot liest nur die HTML-Antwort. Inhalte, die JavaScript brauchen, bleiben für GPTBot und ClaudeBot unsichtbar; siehe Können KI-Crawler JavaScript lesen?

Wie Google robots.txt liest

Die Regeln, nach denen ein Tester arbeiten sollte, aus Googles Dokumentation:

Fall	Was Google tut
Allow und Disallow widersprechen sich	Die spezifischere (längere) Regel gewinnt; bei Gleichstand die am wenigsten einschränkende
Mehrere User-Agent-Gruppen passen	Nur die spezifischste Gruppe zählt; die Reihenfolge in der Datei ist egal
Datei größer als 500 KiB	Alles hinter der Grenze wird ignoriert
robots.txt antwortet mit 4xx (außer 429)	Als gäbe es keine robots.txt: Alles darf gecrawlt werden
robots.txt antwortet mit 5xx	Das Crawling pausiert, danach nutzt Google bis zu 30 Tage die letzte gültige Fassung
Eine Änderung geht live	Google hält robots.txt bis zu 24 Stunden im Cache

Die 4xx-Zeile überrascht die meisten: Eine fehlende robots.txt sperrt gar nichts. Die 5xx-Zeile ist die gefährliche: Ein Serverfehler bei robots.txt stoppt für eine Weile das Crawling der ganzen Website.

Wie viele große Websites welche KI-Bots sperren, zeigt unser eigener Scan von 800 Domains: 26 % der Top-Websites sperren KI-Crawler.

FAQ

Was hat Googles robots.txt-Tester ersetzt? Der robots.txt-Bericht in der Search Console (unter Einstellungen), seit November 2023, dazu das URL-Prüftool für einzelne URLs. Beide können keine Regelentwürfe testen; Tame the Bots und Bing Webmaster Tools können es.

Wie prüfe ich, ob GPTBot gesperrt ist? Die URL in Tame the Bots mit GPTBot als User-Agent testen, oder den AI Crawler Check laufen lassen, der GPTBot und 17 weitere KI-Crawler auf einmal prüft und per Live-Anfrage auch Firewall-Sperren findet.

Verschwindet meine Website aus ChatGPT, wenn ich GPTBot sperre? Nein. GPTBot sammelt Trainingsdaten. ChatGPTs Suchantworten nutzen OAI-SearchBot, und Abrufe, die ein Nutzer auslöst, laufen als ChatGPT-User. Jeder hat seinen eigenen Eintrag in robots.txt.

Ist Google-Extended ein Crawler? Nein, ein Token in robots.txt. Wer es sperrt, sagt Google, die Inhalte nicht für Training und Grounding von Gemini zu nutzen; Googlebot crawlt die Seiten weiter für die Suche.

Wie schnell wirkt eine Änderung an robots.txt? Google hält die Datei bis zu 24 Stunden im Cache. In der Search Console lässt sich ein erneuter Abruf von robots.txt anfordern.

Welche KI-Bots Ihre Website lesen können, und ob Ihre Firewall Ihrer robots.txt zustimmt, zeigt der kostenlose AI Crawler Check.