Wie Googlebot ein Crawl Budget zuteilt
Crawl Budget bezeichnet keine Zahl, die dir jemand zuteilt und die du irgendwo nachlesen könntest. Es ist ein Ergebnis. Zwei Größen bestimmen es, und die beiden haben nichts miteinander zu tun.
Die erste ist das Crawl Capacity Limit. Google beobachtet, wie schnell dein Server antwortet. Kommen die Antworten zügig, erhöht der Crawler die Zahl gleichzeitiger Verbindungen. Wird der Server langsam oder liefert Fehler, senkt Google die Crawl Rate wieder. Diese Regelung ist Schutz, keine Strafe: Der Crawler soll deine Website nicht in die Knie zwingen.
Die zweite ist der Crawl Demand. Er beschreibt, wie viel Google von dir will. Er steigt mit der Beliebtheit einer URL und mit der Häufigkeit, mit der sie sich tatsächlich ändert. Eine Seite, die seit drei Jahren unverändert ist, wird seltener abgerufen als eine, die jede Woche neue Absätze bekommt.
Google bestimmt beide Werte selbst und veröffentlicht sie nicht. Aus ihnen zusammen ergibt sich, wie viele URLs pro Tag drankommen. Weil das Limit fast immer großzügiger ist als der Bedarf, bleibt bei kleinen Websites Budget übrig, das gar nicht abgerufen wird.
Vier Größen beeinflussen das Crawl Budget
Vier Dinge beeinflussen das Crawl Budget spürbar: die Antwortzeit des Servers, die Zahl der Backlinks auf eine Seite, wie oft sich der Inhalt ändert und wie tief die Seite in der Hierarchie deiner Website liegt. Alles andere wirkt bestenfalls mittelbar.
Andere Webcrawler: was seit den KI-Bots dazugekommen ist
Googlebot ist längst nicht der einzige Webcrawler, der bei dir vorbeischaut. Neben den Suchmaschinen laufen inzwischen die Crawler der Anbieter von Künstlicher Intelligenz mit, die Trainingsdaten und Antworten für ihre Chatbots sammeln.
Für das Crawl Budget von Google ist das zunächst egal, denn jeder Internet Bot bekommt sein eigenes. Indirekt aber nicht: Alle greifen auf denselben Server zu. Wird er dadurch langsam, senkt Google die Crawl Rate, und das wirkt sich negativ auf das Crawl Budget aus.
Wer wirklich wissen will, wer da abruft, sieht in die Server-Logs. Dort steht zu jedem Zugriff der User Agent. Ein Content Delivery Network vor der Website nimmt dem Server einen Teil dieser Last ab und ist bei einer kleinen Wissens-Website der einfachere Weg als jede Sperre.
Crawling und Indexierung sind zwei verschiedene Schritte
Diese Unterscheidung erspart dir die meisten Fehldiagnosen. Crawling heißt: Googlebot ruft eine URL ab. Indexierung heißt: Google entscheidet danach, ob die Seite in den Index kommt.
Eine Seite kann gecrawlt und trotzdem nicht indexiert sein. In der Google Search Console steht dann „Gecrawlt, zurzeit nicht indexiert“. Das ist kein Budgetproblem. Das ist ein Qualitätsurteil, und es lässt sich nur mit besserem Inhalt beantworten, nicht mit technischer Optimierung.
Umgekehrt gilt: Wird eine URL gar nicht erst abgerufen, obwohl sie verlinkt und in der Sitemap steht, lohnt der Blick auf die Crawling-Statistiken. Erst dann kommt das Crawl Budget ins Spiel.
Wie oft Google crawlt, sagt außerdem nichts darüber, wie gut du in der Google Suche stehst. Eine Website, deren Seiten Google täglich abruft, kann trotzdem auf der zweiten Suchergebnisseite liegen. Crawling ist Voraussetzung, nicht Bewertung.
Wann Crawl Budget für SEO überhaupt zählt
Google nennt in seiner Dokumentation zwei Fälle, in denen sich die Beschäftigung lohnt, und beide sind groß.
- Websites mit mehr als etwa einer Million URLs, deren Inhalte sich wöchentlich ändern. Große Shops, Portale, Stellenbörsen.
- Mittlere Websites ab etwa zehntausend URLs mit täglich wechselnden Inhalten. Nachrichtenseiten, Verzeichnisse, Datenbanken.
Alles darunter fällt in denselben Satz: Für Suchmaschinenoptimierung zählt, was du schreibst, nicht wie oft Google vorbeikommt. Eine Wissens-Website mit sechzig Beiträgen wird vollständig gecrawlt, oft mehrmals im Monat.
Trotzdem taucht der Begriff in jeder zweiten Checkliste für technisches SEO auf. Das liegt daran, dass die meisten Anleitungen für Agenturen geschrieben sind, deren Kunden andere Größenordnungen haben. Für dich ist das eine Falle: Du verbringst einen Abend mit Crawl-Budget-Optimierung und hast am Ende keine einzige zusätzliche Suchanfrage gewonnen.
Welche URLs und welcher Content das Budget verschwenden
Falls du doch in die Größenordnung kommst, in der es zählt: Es sind immer dieselben fünf Quellen.
| Quelle | Was passiert | Gegenmittel |
|---|---|---|
| Parameter-URLs | Filter und Sortierung erzeugen hunderte Adressen mit demselben Inhalt. | Canonical-Tag auf die Grundadresse, Parameter aus der internen Verlinkung nehmen. |
| Inhalte, die erst JavaScript nachlädt | Der Crawler muss die Seite zweimal anfassen: einmal abrufen, einmal rendern. | Den tragenden Text im HTML ausliefern, nicht erst im Browser zusammensetzen. |
| Duplicate Content | Dieselbe Seite unter mehreren URLs, etwa mit und ohne Schrägstrich. | Weiterleitung auf eine Fassung, Canonical setzen. |
| Weiterleitungsketten | Jede Station einer Kette ist ein eigener Abruf. | Direkt auf das Ziel weiterleiten, nicht über zwei Zwischenschritte. |
| Soft-404 und Fehlerseiten | Seiten, die inhaltsleer sind, aber Status 200 liefern. | Richtigen Statuscode senden, damit Google sie aus dem Bestand nimmt. |
Auffällig ist, was in dieser Liste fehlt. Weder die Zahl deiner Beiträge noch ihre Länge noch die Häufigkeit deiner Veröffentlichungen verschwenden Budget. Verschwendet wird es durch Adressen ohne eigenen Wert, und davon entstehen die meisten in Shops, nicht in Blogs.
Crawl Budget optimieren: die Reihenfolge für dein Crawl Budget
Wenn du an dieser Stelle etwas tun willst, dann in dieser Reihenfolge. Sie ist nach Wirkung sortiert, nicht nach Aufwand.
- Serverantwortzeit prüfen. Die Time to First Byte ist die einzige Größe, die das Capacity Limit direkt hebt. Alles unter 600 Millisekunden ist unauffällig; PageSpeed Insights weist die Antwortzeit des Servers neben Werten wie dem Speed Index gesondert aus.
- Sitemap sauber halten. Nur URLs eintragen, die indexiert werden sollen. Weiterleitungen und Fehlerseiten gehören dort nicht hin.
- Interne Verlinkung ordnen. Was von keiner Seite verlinkt ist, findet der Crawler nur über die Sitemap und ruft es entsprechend selten ab.
- Robots.txt zuletzt. Ein Ausschluss verhindert das Crawling, nicht die Indexierung. Wer eine Seite aus dem Index halten will, braucht noindex, nicht disallow.
Wer das Crawl Budget gezielt steuern will, hat damit alles in der Hand, was ihm zusteht. Alles Weitere entscheidet Google: Reagiert der Server langsam, reduziert Google die Abrufe von allein, und eine begrenzte Crawl Rate kann sich dann auch auf die Aktualität deiner Suchergebnisse auswirken.
Der letzte Punkt in der Liste ist der häufigste Irrtum überhaupt. Eine per Robots Exclusion Standard gesperrte URL kann trotzdem in den Suchergebnissen erscheinen, dann ohne Beschreibung, weil Google den Inhalt nie sehen durfte. Das ist schlechter als beides.
Der nächste Schritt
Öffne die Google Search Console und sieh dir unter Einstellungen die Crawling-Statistiken an. Steht dort eine dreistellige Zahl abgerufener Anfragen pro Tag und deine Website hat sechzig Seiten, ist das Thema für dich erledigt.
Dann geh zurück an die Arbeit, die wirkt: einen Text mehr, sauber verlinkt. Was davon in welcher Reihenfolge zählt, steht im Text über die SEO-Grundlagen.
