Tipps zum Steigern des Index- und Crawl-Budgets

Beitrag teilenShare on Facebook0Tweet about this on Twitter0Share on Google+0Share on LinkedIn0Email this to someone

seo-tipps-zum-crawl-budgetWer kennt das nicht: da baut man monatelang an einem tollen Blog oder schraubt ewig an dem Ausbau seiner Artikel in einem Onlineshop, optimiert was das Zeug hält und trotzdem wollen die einzelnen Kategorie- und Unterseiten nicht ranken. Ob Onpage- oder Offpage-Optimierung: manchmal scheint einfach gar nichts mehr zu gehen und wichtiger Content landet einfach nicht da, wo er hin soll: im Index von Google. Aber woran liegt das? Eine mögliche Ursache könnte das Crawl Budget und/oder das Index-Budget sein. Denn, man mag es kaum glauben, auch die Ressourcen der bunten Suchmaschine sind endlich und daher muss Google den Rotstift ansetzen, wenn er seinen Crawler losschickt um Neues zu erkunden und Bekanntes auf Konsistenz zu überprüfen. Was sich hier so abstrakt anhört, ist im Prinzip sehr einfach erklärt: in den „Augen“ von Google sind nicht alle Webseiten gleich – einige sind eben wichtiger (oder wertvoller) als andere und haben daher eine höhere Priorität beim Crawlen. Ebenso verhält es sich mit dem Indexieren: die „Friss oder stirb“ Methode funktioniert aus SEO-Sicht wirklich schlecht bis gar nicht. Gemeint ist damit, dass man Google einfach alles vor die Füße wirft, was man an URLs auf seiner Seite zu bieten hat, in der Hoffnung, es würde schon alles irgendwie indexiert werden. Aber dem ist ganz und gar nicht so, denn jede Website hat ein gewisses Index-Budget, für die Aufnahme in das Google-Ranking.

Ranking Problem mangels Index- und Crawl-Budget

Man stelle sich kurz folgende Situation vor: man hat einen komplexen Webshop mit einigen tausend  unterschiedlichen Produkten, viele Kategorie- und Unterkategorie-Seiten, Markenseiten und Landing-Pages. Wer nun noch Produktfilter hat, die SEO-technisch gut optimiert sind, dann erzeugen diese eigenständige Landing-Pages (da bei aktiven Filtern sich die URL, H1-Überschrift, canonical-Tag usw. ändert). Rechnet man alles zusammen, kommen wegen den zahlreichen Kombinationsmöglichkeiten schnell einige zehn- oder hunderttausend URLs zustande. Diese nun nicht nur zu indexieren, sondern auch (richtig) zu bewerten ist eine echte Mammutaufgabe, selbst für einen solchen Big-Player wie Google. Daher bekommt jede Seite ihr eigenes Index- und Crawl-Budget. Früher machte die bunte Suchmaschine dieses Budget relativ strikt am Pagerank fest: desto höher dieser war, desto mehr Crawl-Budget hatte man auch. Heute sind es, ähnlich wie der Ranking-Einordnung, eine Menge mehr Faktoren, die ein solches Budget definieren.

Wie steigere ich mein Index- und Crawl-Budget?

Eines gleich vorweg: Google lässt sich (wie immer) nicht in die Karten schauen. Wie hoch das eigenen Crawl-Budget ist, kann man leider nirgends nachschauen – nur abschätzen. Einen guten Hinweis darüber liefern die Google Webmaster Tools. Über die “Crawling-Statistik” werden wertvolle Informationen ausgegeben, wie oft und mit welcher Intensität der Crawler auf der eigenen Seite unterwegs war. Meine Xovilichter Seite soll wieder als Beispiel dafür dienen.

crawling-statistik-gwt

Die Grafik zeigt die Crawling-Statistik der letzten 90 Tage. Gemessen werden die gecrawlten Seiten, heruntergeladene Datenmenge und Dauer des Downloads. Wie man hier gut erkennen kann, wurden an diesem Tag 1300 Seiten, also viermal so viel wie üblich gecrawlt und auch deutlich mehr Kilobyte heruntergeladen. Dabei hat sich allerdings die Dauer des Downloads nicht erhöht. Was ist hier passiert? Da ich mein Projekt einigermaßen gut dokumentiert habe, weiß ich, dass ich in diesem Zeitraum viele Performance-Optimierungen an der Seite vorgenommen habe: Caching-Modul, Requests reduziert und Skripte sowie Stylesheets minimiert. Der Crawler konnte also in der gleichen Zeit mehr Seiten durchforsten als vorher – oder anders gesagt: innerhalb meines Crawl-Budgets hat Google schlicht mehr geschafft, weil nicht so viel heruntergeladen werden musste. Und was ist am 19. und 20. August passiert? Zu dieser Zeit gab es ein paar neue Kommentare auf der Seite und ich habe einen Link aus dem OnpageDoc-Blog zu meiner Seite gesetzt. Das zeigt auch einmal wieder mehr: Signale von außen sind sehr wichtig.

11 Tipps zum Steigern des Index- und Crawl-Budgets

Zum Schluss will ich euch noch ein paar Tipps zum Steigern des Crawl-Budgets mit auf den Weg geben, denn mit einer sauber optimierten Website hat man deutlich bessere Chancen, seine URLs einerseits in den Google-Index zu bekommen und andererseits die indexierten Seiten dort auch aktuell zu halten.

  1. Frischer Content lockt den Crawler an – aktualisiert daher immer mal wieder eure Seite und veröffentlicht neue URLs.
  2. Sorgt für eine flache Menü-Hierarchie: desto komplexer und verzweigter eure Seite ist, desto länger braucht der Crawler (desto schneller ist euer Budget aufgebraucht).
  3. Neue Backlinks von anderen Seiten sind ein wichtiger Signalgeber – aber bitte nicht übertreiben. Das riecht sonst verdächtig nach SPAM.
  4. Auch Social Links und Mentions helfen den Crawler anzulocken. Regelmäßige Postings bei Twitter und Google+ sind dabei besonders wichtig.
  5. Sorgt für eine klare und eindeutige interne Linkstruktur auf eurer Seite und achtet dabei vor allem auf die Ankertexte: jeder Ankertext sollte nur ein Ziel haben. In meinem Beispiel: das Wort “Xovilichter” zeigt überall immer nur auf die Startseite.
  6. Sitemaps helfen dem Crawler, sich besser auf eurer Seite zurechtzufinden. Unterschiedlicher Content – unterschiedliche Sitemaps. Es ist empfehlenswert, bei vielen Bilder und Videos separate Sitemaps  dafür bereitzustellen.
  7. Vermeidet Sackgassen und Fehler: endet der Crawler in einer 404-Seite ist das schlecht. Tote Links und/oder nicht weitergeleiteter alter Content sollte vermieden werden.
  8. Reduziert Ladezeiten und Requests: desto performanter eure Seite ist, desto schneller kann der Google Crawler sie auch durchforsten (desto mehr schafft er innerhalb eures Budgets).
  9. Wichtiger Content sollte intern (und wenn möglich auch extern) häufiger verlinkt und dichter an der Startseite platziert werden. Der Crawler hat so einen einfacheren Weg dorthin und die Seite landet schneller im Index.
  10. Unwichtige Seite (z.B. Kontaktformulare, AGBs, Impressum usw.) sollten das Crawl-Budget nicht belasten. Daher ist es empfehlenswert, diese Seite mittels Meta-Tags (noindex, nofollow) vom Crawler und Indexieren auszuschließen.
  11. Wichtig für Blogs und Webshops: paginierte Seiten beinhalten oft doppelten Content und sollten daher nicht indexiert werden (noindex). Sie verfügen aber gleichzeitig über interne Links zu relevantem Content, der unbedingt im Index landen soll und daher gecrawlt werden muss. Daher sollte hier ein Meta-Tag “follow” ergänzt werden.

Wenn ihr all dieses Hinweise beachtet, habt ihr die wichtigsten Hausaufgaben in Sachen Index- und Crawl-Budget getan und damit deutliche höhere Chancen auf mehr und bessere Google-Rankings. Eine saubere Onpage-Optimierung ist dabei das Wichtigste – sie kostet aber auch Zeit und Mühe. Ich kann nur jeden empfehlen, hier beides zu investieren – die Arbeit wird sich lohnen. Viel Erfolg!

Beitrag teilenShare on Facebook0Tweet about this on Twitter0Share on Google+0Share on LinkedIn0Email this to someone

Kommentare


Hinterlasse eine Antwort

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

SEO-Check kostenlos

kostenloser SEO-Check

Prüfe deine Website jetzt auf Fehler und Optimierungspotential - 100% kostenlos!

Unser SEO-Check zeigt dir in nur wenigen Sekunden die wichtigsten Fehler der ersten 25 Unterseiten, eine Übersicht zum Backlinkprofil und die OVI-Sichtbarkeit deiner Website an.

Jetzt bewerben

SEO-Consultant Job

Hast du Lust auf eine neue berufliche Herausforderung? OnpageDoc sucht ab sofort einen Vollblut-SEO-Berater zur Verstärkung in unserem Team. Komm zu OnpageDoc und arbeite direkt bei einem der beliebtesten SEO-Tools im deutschprachigen Raum.

Newsletter

Neuste Beiträge

Letzte Kommentare

Brian

Hi, eine gute Liste Liste gefällt mir. Die O...

Martin

Na, jetzt ist das Penguin 4.0 Update doch nicht me...

www.grepmaster.eu

Hallo ..., mh; dazu fällt mir nur ein: "Das L...

Ole

Hallo, ich habe noch einen kleinen Rankingcheck f...

Florian

Christian, alle kann man ja leider nie posten, son...