Crawl Budget
Crawl Budget ist die Menge an URLs, die Suchmaschinen in einem Zeitraum auf einer Website crawlen können oder wollen. Es wird durch Website-Größe, Qualität, Serververhalten und interne Links beeinflusst.
Wann Crawl Budget relevant ist
Für kleine Websites ist Crawl Budget selten das Hauptproblem. Bei Shops, Facettennavigation, Archiven oder vielen Parametern kann es aber wichtige Seiten verdrängen.
Wenn Crawler Zeit mit irrelevanten URLs verbringen, werden neue oder wichtige Seiten langsamer entdeckt.
Wie du es steuerst
Nutze klare interne Verlinkung, Sitemaps, Canonicals, Robots-Regeln und saubere Statuscodes. Entferne unnötige URL-Varianten und halte wichtige Seiten nah an der Startseite.
Weiter im Kontext.
Crawler / Googlebot
Crawler wie Googlebot rufen Seiten ab und folgen Links. Ohne sauberes Crawling entstehen keine stabilen Such- oder KI-Signale.
Begriff öffnenRobots.txt
Robots.txt steuert, welche Bereiche Crawler abrufen dürfen. Sie ist kein Datenschutzwerkzeug und verhindert keine sichere Indexierung.
Begriff öffnenSitemap (XML)
Eine XML-Sitemap listet wichtige URLs für Suchmaschinen. Sie ersetzt keine interne Verlinkung, hilft aber beim Entdecken von Seiten.
Begriff öffnenIndexierung
Indexierung bedeutet, dass eine Seite in den Suchindex aufgenommen wird. Ohne Indexierung kann sie organisch kaum sichtbar werden.
Begriff öffnenDazu passen diese Leistungen.
Willst du sehen, welche Begriffe für dich zählen?
Wir prüfen Kauf-Fragen, KI-Antworten, Quellen und Seiten. Danach weißt du, welche Belege zuerst fehlen.