Neben Googlebot und Bingbot besuchen heute zahlreiche weitere Crawler deine Website: Bots von OpenAI, Anthropic, Perplexity, Apple und anderen. Manche sammeln Trainingsdaten, andere recherchieren live für eine Nutzerfrage. Viele Website-Betreiber haben – oft unbewusst über Hosting-Einstellungen oder Sicherheits-Plugins – einige davon ausgesperrt. Für lokale Unternehmen, die in KI-Antworten auftauchen wollen, kann das ein Eigentor sein.
Inhaltsverzeichnis
Die wichtigsten KI-Crawler im Überblick
| User-Agent | Anbieter | Zweck |
|---|---|---|
| GPTBot | OpenAI | Sammelt Inhalte für das Training von Modellen |
| OAI-SearchBot | OpenAI | Indexiert Seiten für die Suche in ChatGPT |
| ChatGPT-User | OpenAI | Ruft Seiten ab, wenn ein Nutzer in ChatGPT eine Aktion auslöst |
| Google-Extended | Steuerungs-Token für die Nutzung in Gemini-Modellen (kein eigener Crawler) | |
| ClaudeBot | Anthropic | Sammelt Inhalte für das Training |
| Claude-SearchBot / Claude-User | Anthropic | Suche bzw. nutzerinitiierter Abruf |
| PerplexityBot | Perplexity | Indexiert Seiten für Perplexity-Antworten |
| Applebot-Extended | Apple | Steuerungs-Token für die Nutzung in Apples KI-Modellen |
| CCBot | Common Crawl | Offenes Webarchiv, das häufig für KI-Training genutzt wird |
Die Grundsatzentscheidung
Für die meisten lokalen Unternehmen ist die Rechnung einfach: Deine Website enthält Informationen, die du verbreitet sehen willst – Leistungen, Öffnungszeiten, Kontaktdaten. Je mehr Systeme diese korrekt kennen, desto besser. Anders sieht es aus, wenn du aufwendig produzierte Inhalte hast, die dein Geschäftsmodell sind (z. B. Fachartikel hinter einer Paywall). Dann kann es sinnvoll sein, Trainings-Crawler auszuschließen, Such-Crawler aber zuzulassen.
| Strategie | Trainings-Crawler | Such-Crawler | Geeignet für |
|---|---|---|---|
| Maximale Sichtbarkeit | erlaubt | erlaubt | Die meisten lokalen Betriebe |
| Sichtbar, aber kein Training | gesperrt | erlaubt | Betriebe mit wertvollen eigenen Inhalten |
| Komplett abgeschottet | gesperrt | gesperrt | Nur in Ausnahmefällen sinnvoll |
Beispiel: robots.txt mit klarer Trennung
Die robots.txt liegt im Hauptverzeichnis deiner Domain (z. B. www.beispiel.de/robots.txt). Diese Variante erlaubt Such-Crawler und sperrt Trainings-Crawler:
robots.txt
# Klassische Suchmaschinen
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
# KI-Suche zulassen
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
# KI-Training ausschließen
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Disallow: /admin/
Sitemap: https://www.beispiel.de/sitemap.xmlGoogle-Extended: Ein häufiges Missverständnis
Wer Google-Extended sperrt, verhindert, dass Inhalte für das Training und die Antwortgenerierung von Gemini-Modellen genutzt werden. Die normale Google-Suche und auch die AI Overviews in der Suche sind davon nicht betroffen – sie werden über den regulären Googlebot gespeist. Wer Inhalte aus Snippets und KI-Übersichten fernhalten will, muss nosnippet-Anweisungen verwenden. Das schränkt aber auch die normale Darstellung in der Suche ein.
Was ist llms.txt?
llms.txt ist ein 2024 veröffentlichter Vorschlag für eine Datei im Hauptverzeichnis, die Sprachmodellen eine kompakte, in Markdown formatierte Übersicht über die Website gibt – ähnlich einem Inhaltsverzeichnis mit Kurzbeschreibungen. Die Idee ist nachvollziehbar, doch bisher haben die großen Anbieter keine verbindliche Nutzung zugesagt; Google hat sich eher zurückhaltend geäußert.
llms.txt
# Zahnarztpraxis Dr. Muster, Köln
> Zahnarztpraxis in Köln-Innenstadt mit Schwerpunkt Angstpatienten,
> Implantologie und Prophylaxe. Mo–Fr 8–18 Uhr, Tel. 0221 1234567.
## Leistungen
- [Behandlung von Angstpatienten](https://www.beispiel-zahnarzt.de/angstpatienten): Ablauf, Sedierung, Kosten
- [Implantate](https://www.beispiel-zahnarzt.de/implantate): Beratung, Ablauf, Preise
- [Professionelle Zahnreinigung](https://www.beispiel-zahnarzt.de/pzr): Ablauf und Kosten
## Praxis
- [Team](https://www.beispiel-zahnarzt.de/team)
- [Anfahrt & Kontakt](https://www.beispiel-zahnarzt.de/kontakt)Unsere Einschätzung: Eine llms.txt schadet nicht und ist in einer halben Stunde erstellt. Erwarte aber keinen messbaren Effekt. Viel wichtiger sind eine klare Website-Struktur, strukturierte Daten und Inhalte, die Fragen direkt beantworten.
Checkliste
- robots.txt aufrufen und prüfen, welche Bots erlaubt bzw. gesperrt sind.
- Bewusst entscheiden: Training ja/nein, KI-Suche ja/nein.
- Firewall-, CDN- und Sicherheits-Plugin-Einstellungen auf Bot-Sperren prüfen.
- Server-Logs stichprobenartig auf KI-Crawler durchsehen.
- Optional: llms.txt anlegen.
- Sichtbarkeit in KI-Antworten regelmäßig testen – siehe KI-Sichtbarkeit messen.
Häufige Fragen
Verschlechtert das Sperren von GPTBot mein Google-Ranking?
Nein. GPTBot gehört zu OpenAI und hat mit dem Google-Ranking nichts zu tun. Es kann aber beeinflussen, was zukünftige OpenAI-Modelle über dich wissen.
Wie erkenne ich, ob mein Hoster KI-Bots blockiert?
Prüfe die Sicherheits- bzw. Bot-Einstellungen im Hosting- oder CDN-Dashboard. Einige Anbieter haben Schalter wie „KI-Crawler blockieren“, die standardmäßig aktiv sein können. In den Server-Logs siehst du außerdem, ob Anfragen dieser Bots abgewiesen werden.
Muss ich die robots.txt regelmäßig anpassen?
Ein Blick ein- bis zweimal pro Jahr ist sinnvoll, da neue Crawler hinzukommen und Anbieter ihre Bots umbenennen oder aufteilen.
Kostenlose Profil-Analyse
Negative Bewertungen kosten dich Ranking und Kunden.
Wir prüfen, welche Bewertungen gegen Google-Richtlinien verstoßen und entfernt werden können. 15 € pro Löschung – nur bei Erfolg.
Jetzt Profil prüfen lassenHinweis: Dieser Ratgeber dient der allgemeinen Information und ersetzt keine Rechtsberatung im Einzelfall.