Indexierung

Aus Online Marketing Wiki
Wechseln zu: Navigation, Suche


Suchmaschinen verfügen über einen Index aus ihnen bekannten Webseiten und deren Unterseiten. Nur, wenn die URL in diesem Index aufgenommen wurde, kann sie für ein entsprechendes Keyword gefunden werden. Die Indexierung von Webseiten gehört damit zu den ersten Aufgabenstellungen, der sich die Suchmaschinenoptimierung widmen muss, will sie eine Webseite sichtbar machen.

Der Index der Suchmaschine

Mittlerweile funktioniert die Indexierung einer Webseite recht gut und schnell, gerade beim Marktführer Google. Früher war das anders; man ging zeitweise davon aus, es dauere mehrere Wochen, bis gerade eine neue Domain im Google-Index aufgenommen werden konnte. Eine Hilfe für die Suchmaschine ist dabei eine Sitemap im XML-Format. In dieser sind alle URLs der Domain aufgelistet, die die Suchmaschine indexieren und damit ihren Nutzern zugänglich machen soll. Weiterhin besteht die Möglichkeit, URLs manuell einzureichen und damit ihre Indexierung zu beschleunigen. Der Schritt funktioniert über die Webmaster-Angebote der jeweiligen Suchmaschine, bei Google sind das beispielsweise die Google Webmaster Tools. Inzwischen werden selbst neu registrierte Domains von Google und Konkurrenten recht schnell erfasst. Wird eine neue URL auf einer bereits indexierten Webseite neu geschaffen, kann die Indexierung sogar in unter 24 Stunden funktionieren.

Alter Content und der Index

Der Suchmaschinen-Index nimmt neue URLs sehr schnell auf - und lässt sie umso widerwilliger wieder los. Es kann nun aber passieren, dass eine Seite nicht mehr existiert, der Inhalt wurde entfernt. Die URL aber existiert sehr wohl noch, und zwar im Index der Suchmaschine. Sie hält an diesem fest und bekommt die sogenannte HTTP -Statusmeldung 404 zurück; die Seite ist nicht mehr erreichbar. Das wiederum ist ein negatives Signal an die Suchmaschine, da sie davon ausgeht, die Webseite würde nicht mehr richtig gepflegt. Sie wertet somit die Seite ab.

Content aus dem Index ausschließen

Es ist ebenso möglich, Inhalte aus dem Index der Suchmaschine auszuschließen, wenn man nicht will, dass er über die Suchmaschine gefunden wird. Eine Möglichkeit ist der Ausschluss bestehender Inhalte über die robots.txt, so können einzelne URLs wie auch ganze Verzeichnisse ausgeschlossen werden. Es obliegt jedoch der Suchmaschine, ob sie dieser Bitte nachkommt oder nicht. Etwas sicherer ist die Integration eines meta robots-Tags, der auf Noindex gesetzt wird. Das funktioniert zwar nur auf Ebene einzelner URLs, ist aber ein ebenso hilfreiches Werkzeug bei dem Unterfangen, den Google-Index von Inhalten zu befreien, die man dort nicht sehen will. Der Ausschluss von Seiten und Verzeichnissen aus dem Index macht sie aber keinesfalls unsichtbar, für passwortgeschützte Seiten ist dieser Weg damit nicht geeignet. Gerade für sie gibt es viel sicherere, aber auch auf sie bezogene Wege, sie aus dem Index auszuschließen.