Können KI-Crawler JavaScript lesen?
Von Philipp Kant 5 Min. Lesezeit
KI-Crawler sind die Bots, die KI-Unternehmen einsetzen, um Webseiten abzurufen, für das Training von Modellen und für Echtzeitantworten in Tools wie ChatGPT, Claude und Perplexity. Die meisten von ihnen lesen lediglich den HTML-Code, den ein Server zurückgibt, und führen kein JavaScript aus. Text, Links oder strukturierte Daten, die ein Skript nach dem Laden der Seite hinzufügt, sind für sie nicht sichtbar.
Google bildet hier eine Ausnahme. Der Googlebot rendert Seiten in einem Browser, sodass Gemini und AI Overviews Inhalte erkennen können, die über Skripte geladen werden. ChatGPT, Claude und Perplexity sind dazu nicht in der Lage.
Welche KI-Crawler führen JavaScript aus?
Die aussagekräftigsten öffentlich zugänglichen Messdaten stammen von Vercel, das Ende 2024 den Crawler-Traffic in seinem Hosting-Netzwerk analysierte. Das Ergebnis war eindeutig: Keiner der großen KI-Crawler rendert JavaScript.
| Crawler | Unternehmen | Führt JavaScript aus |
|---|---|---|
| GPTBot, OAI-SearchBot, ChatGPT-User | OpenAI | Nein |
| ClaudeBot | Anthropic | Nein |
| PerplexityBot | Perplexity | Nein |
| Meta-ExternalAgent | Meta | Nein |
| Bytespider | ByteDance | Nein |
| CCBot | Common Crawl | Nein |
| Googlebot (versorgt auch Gemini) | Ja | |
| Applebot | Apple | Ja |
Die Crawler laden zwar JavaScript-Dateien herunter, laut Vercel 11,5 % der Anfragen von ChatGPT und
23,8 % der Anfragen von Claude, führen sie aber nicht aus. Ein
<div id="root"></div> bleibt leer.
Wie viel Traffic diese Crawler generieren
KI-Crawler sind kein Nebenthema. In dem von Vercel erfassten Monat verzeichnete das Netzwerk 569 Millionen Abrufe durch GPTBot, 370 Millionen durch Claude, 314 Millionen durch Applebot und 24 Millionen durch PerplexityBot. Googlebot erzielte zum Vergleich 4,5 Milliarden.
Dieselbe Studie ergab, dass die Crawler von ChatGPT und Claude bei etwa 35 % ihrer Abrufe auf 404-Seiten stießen, gegenüber 8 % bei Googlebot. Sie erraten URLs, folgen veralteten Links und verschwenden damit unnötig Aufwand. Sauberes HTML, funktionierende Weiterleitungen und eine aktuelle Sitemap helfen ihnen ebenso wie sie Google helfen.
Welche Websites verlieren Inhalte?
Die Frage betrifft nicht das Framework, sondern den Ort, an dem der Inhalt zusammengestellt wird: auf dem Server oder im Browser des Besuchers.
| Aufbau | Was KI-Crawler sehen |
|---|---|
| Statisches HTML, WordPress, die meisten Shopsysteme | Die gesamte Seite |
| Next.js, Nuxt, Astro, SvelteKit mit Server-Rendering | Die gesamte Seite |
| Eine mit React oder Vue erstellte Single-Page-App ohne Server-Rendering | Eine leere Hülle |
| Inhalte, die nach dem Laden der Seite über eine API geladen werden | Die Seite ohne diese Inhalte |
| Registerkarten, Bewertungen und Preise, die beim Klicken oder Scrollen geladen werden | Was auch immer im HTML-Code enthalten war |
| Über einen Tag-Manager hinzugefügtes JSON-LD | Keine strukturierten Daten |
| Im Browser übersetzter Text | Nur die Originalsprache |
Gemischte Konfigurationen sind der Regelfall: eine serverseitig gerenderte Seite, deren Produktdetails, Bewertungen oder FAQs aus einem Skript stammen. Die Seite erscheint im Browser vollständig, während bei ChatGPT ein Drittel davon fehlt.
So überprüfen Sie Ihre eigenen Seiten
Drei Möglichkeiten, von der schnellen bis zur gründlichen:
- Quelltext anzeigen, nicht „Inspizieren“. Die Option „Seitenquelltext anzeigen“ im Browser zeigt den rohen HTML-Code an. Wenn Ihr Haupttext dort nicht vorhanden ist, wird er von Crawlern nicht erfasst. Das Element-Fenster in den DevTools zeigt die gerenderte Seite an und führt zu Fehlinterpretationen.
- Deaktivieren Sie JavaScript. Öffnen Sie in den Chrome DevTools das Befehlsmenü und führen Sie „JavaScript deaktivieren“ aus; laden Sie die Seite anschließend neu. Was übrig bleibt, entspricht in etwa dem, was KI- Crawler lesen.
- Vergleichen Sie beide Versionen. Rufen Sie den HTML-Code ab, rendern Sie die Seite und vergleichen Sie den Text, die Links und die Metadaten. Genau das leistet unser JavaScript-SEO-Check.
So beheben Sie das Problem
Die Lösung besteht darin, die wichtigen Inhalte in der HTML-Antwort zu übermitteln. In der Reihenfolge ihrer Priorität:
- Serverseitiges Rendering oder statische Generierung. Jedes moderne Framework unterstützt dies: Next.js, Nuxt, SvelteKit, Astro, Angular mit SSR. Die Seite kommt vollständig an, und JavaScript fügt anschließend die Interaktivität hinzu.
- Vorab-Rendering. Bei einer Single-Page-Anwendung, die nicht in Kürze neu erstellt werden kann, sollten die öffentlichen Seiten bereits beim Build-Vorgang in statisches HTML vorgerendert werden.
- Hybrid. Behalten Sie den Hauptinhalt, die Navigation, die Metadaten und JSON-LD im HTML bei. Per Skript laden Sie nur, was niemand finden muss: Chat- Widgets, Aufrufzähler, Personalisierung.
Google bezeichnet das „dynamische Rendering“, bei dem Bots eine andere Version als Nutzer erhalten, als Notlösung und nicht als langfristige Lösung. Beim Server-Rendering wird allen Nutzern dieselbe Seite bereitgestellt, wodurch das Problem beseitigt wird.
Crawler lesen Seiten; KI-Agenten klicken sich auch durch sie hindurch, und das stellt weitere Anforderungen: echte Buttons, benannte Bedienelemente, ein stabiles Layout. Siehe was eine agentenfreundliche Website ist.
Die 2-MB-Grenze gilt auch für den HTML-Code
Das Server-Rendering birgt eine Tücke: Seiten, die riesige Mengen an Statusinformationen in den HTML-Code einbetten. In der Crawler-Dokumentation von Google heißt es, dass für die Google-Suche der Googlebot die ersten 2 MB einer HTML-Datei (unkomprimiert) liest und nur diesen Bereich indexiert. Eine typische Seite liegt weit darunter. Seiten, die auf Basis eines Frameworks einen ganzen Produktkatalog als JSON einbetten, können diese Grenze überschreiten, woraufhin der Text am Ende der Seite abgeschnitten wird.
Häufig gestellte Fragen
Kann ChatGPT JavaScript-Webseiten lesen? Nicht die Teile, die von JavaScript geladen werden. Die Crawler von OpenAI lesen den HTML-Code, den ein Server zurückgibt. Befindet sich der Inhalt in diesem HTML-Code, kann ChatGPT ihn lesen; wird er jedoch durch ein Skript hinzugefügt, wird er von ChatGPT nicht erkannt.
Rendert Google JavaScript für AI Overviews? Ja. Gemini und AI Overviews nutzen den Index von Google, und Googlebot führt das Rendering der Seiten durch. Das Rendering kann erst nach dem ersten Crawling erfolgen, sodass Inhalte im HTML-Code dennoch schneller indexiert werden.
Ist meine WordPress-Website betroffen? In der Regel nicht. WordPress rendert Seiten auf dem Server. Prüfen Sie Widgets des Page Builders, Plugins für Kundenbewertungen und alles, was Inhalte mit einem Ladekreisel nachlädt.
Löst die Datei llms.txt dieses Problem?
Nein. Es handelt sich um eine Datei, die auf Inhalte verweist; sie macht die per Skript geladenen
Inhalte nicht lesbar, und Google hat erklärt, dass es diese Datei nicht verwendet. Fügen Sie den Inhalt
in den HTML-Code ein.
Halten sich KI-Crawler an die robots.txt-Datei? Die großen Anbieter geben an, dass sie dies tun, und unsere Studie zur Blockierung von KI-Crawlern zeigt, wie viele Websites ihnen bewusst den Zugang verwehren. Eine Seite, die ausschließlich im Browser dargestellt wird, schließt sie versehentlich aus.
Überprüfen Sie eine Ihrer Seiten mit dem kostenlosen JavaScript-SEO-Check: Er ruft den Roh- HTML-Code ab, rendert dieselbe Seite in einem echten Browser und zeigt an, wie viel von den Texten, Links und Metadaten ohne JavaScript erhalten bleibt. Einen umfassenderen Überblick darüber, wie KI-Assistenten eine Website lesen, finden Sie unter den besten kostenlosen KI-Sichtbarkeitsprüfern. Und falls sich die wichtigen Inhalte hinter einem Skript verbergen, holen wir sie auf den Server.
Diesen Artikel mit einer KI besprechen
