Crawl Budget

Aus Online Marketing Wiki
Wechseln zu: Navigation, Suche


Im Internet existieren heutzutage Millionen von Webseiten und Informationen - und jeden Tag werden es mehr. Vor allem die Nutzung von Suchmaschinen spielt für viele Menschen eine entscheidende Rolle, denn sie sorgt dafür, dass man genau das findet, wonach man im Web sucht. Eine der bekanntesten Suchmaschinen ist beispielsweise Google - sie verwendet einen sogenannten Crawler, den Googlebot, welcher in erster Linie dazu da ist, das Web genau nach Informationen zu durchforsten und diese dann in den Index aufzunehmen. Auf diese Weise werden Ranking generiert und jemand, der nach einem bestimmten Begriff sucht, bekommt dann die Webseiten entsprechend dieses Rankings aufgelistet angezeigt.

Was ist das Crawl Budget und welche Rolle spielt es bei der Suchmaschinenoptimierung?

Doch wonach bemisst sich, welche Informationen gecrawlt werden? Weil es mittlerweile eine so hohe Anzahl an Webseiten im Internet gibt, ist es nur verständlich, dass Google natürlich nicht ewig auf einer Internetseite verweilen und sie nach Informationen durchsuchen kann. Welche Seiten vom Crawler erfasst werden, hängt von unterschiedlichen Faktoren ab. Drei Beispiele sind zum Beispiel die Anzahl der Backlinks, sowie auch die Zahl der intern vorhandenen Links, welche auf Unterseiten der Domain verlinken. Wie viele Webseiten durchsucht werden, bestimmt das Crwal-Budget. Jede Webseite hat ein individuell festgelegtes Crwal-Budget vereinbart - dieses bestimmt, wie lange sich der Crawler auf der Seite aufhält, bzw. wie detailliert er die Unterseiten der Domain durchforstet. Die Zahl der Seiten, welche vom Crawler durchsucht werden, hängt auch vom PageRank ab, also von der Position in den Suchergebnissen. Die Häufigkeit, mit welcher der Bot die Webseite besucht, hängt dagegen davon ab, wie oft die Webseite aktualisiert wird und neuen Content einbindet. Je mehr, desto besser.

Angesichts des limitierten Crawl-Budgets ist es daher besonders wichtig, dass der Crawler so einfach wie möglich die relevanten Inhalte einer Seite durchsucht und nicht erst auf unwichtigen Seiten landet. Und genau hier kommt die Crwal Optimization ins Spiel, denn es geht in erster Linie darum, dass der Crawler so viele Seiten wie möglich erfasst. Unwichtige Inhalte sollen dagegen ausgeblendet und Fehlerseiten ebenfalls ignoriert werden.

Neben dem reinen Crawl-Budget besitzt jede Webseite zudem über ein sogenanntes Index-Budget. Dieses legt fest, wie viele Webadressen von einer Domain maximal in den Suchmaschinen-Index eingebunden werden können. Insbesondere bei großen Internetseiten, die über mehrere URLs verfügen, macht es durchaus Sinn, bei der Crawl Optimization Seiten, die irrelevant sind, direkt auszuschließen. Hier ist es wichtig, systematisch vorzugehen, um die entsprechenden Ergebnisse zu erhalten.