Robots.txt
Robots.txt ist eine Datei im Root einer Website, die Crawlern Hinweise gibt, welche Pfade sie crawlen dürfen oder nicht crawlen sollen.
Was Robots.txt kann
Robots.txt kann Crawling steuern und Crawl Budget schonen. Sie kann aber keine geheimen Inhalte schützen, weil die Datei öffentlich ist und nicht jeder Bot Regeln befolgt.
Wenn eine URL nur per robots.txt blockiert ist, kann sie unter Umständen trotzdem in Suchsystemen bekannt sein, aber ohne abrufbaren Inhalt.
Bezug zu KI-Crawlern
Einige KI-Crawler beachten robots.txt, andere Systeme arbeiten mit eigenen Regeln. Prüfe deshalb bewusst, welche Bots du zulassen oder blockieren willst.
Weiter im Kontext.
LLM-Crawler
LLM-Crawler lesen Websites für KI-Systeme, Trainingsdaten oder Antwort-Indizes. Sichtbarkeit braucht erreichbare, verständliche Inhalte.
Begriff öffnenCrawler / Googlebot
Crawler wie Googlebot rufen Seiten ab und folgen Links. Ohne sauberes Crawling entstehen keine stabilen Such- oder KI-Signale.
Begriff öffnenCrawl Budget
Crawl Budget beschreibt, wie viel Aufmerksamkeit Suchmaschinen einer Website beim Crawling geben. Es zählt vor allem bei großen Seiten.
Begriff öffnenllms.txt
llms.txt ist ein Vorschlag, wichtige Inhalte für KI-Systeme auffindbar zu machen. Es ersetzt keine Sitemap und keine saubere Website-Struktur.
Begriff öffnenWillst du sehen, welche Begriffe für dich zählen?
Wir prüfen Kauf-Fragen, KI-Antworten, Quellen und Seiten. Danach weißt du, welche Belege zuerst fehlen.