Blockierter Inhalt

Aus Online Marketing Wiki
Wechseln zu: Navigation, Suche

Es gibt Fälle, in denen es sinnvoll ist, Inhalte einer Webseite oder sogar ganze Domains für Suchmaschinen zu sperren und so eine Aufnahme in den Suchindex zu verhindern. Dies ist beispielsweise bei Seiten mit einem Duplicate Content, mit besonders schützenswerten Inhalten (z.B. sensiblen oder geheimen Daten) oder Webseiten, die sich noch in der Testphase befinden, der Fall.

Es gibt verschiedene Möglichkeiten, eine Sperre für Suchmaschinen einzurichten:

Robots.txt

Eines dieser Möglichkeiten ist das Erstellen einer robots.txt-Datei, die mit Anweisungen für Suchmaschinen-Robots im Hauptverzeichnis (Root) einer Domain hinterlegt wird. Mit dieser Methode können einzelne oder alle Suchmaschinen-Robots angewiesen werden, nicht auf eine Webseite oder einzelne Dateien oder Verzeichnisse zuzugreifen und diese folglich auch nicht zu crawlen und zu indexieren. Dennoch kann es vorkommen, dass URLs trotz Hinterlegung einer robots.txt-Datei indexiert werden, etwa, wenn diese über zahlreiche Backlinks verfügen. Wird die Webseite von Google (oder einer anderen Suchmaschine) aufgrund ihrer eingehenden Links in Bezug auf eine Suchanfrage als relevant bewertet, werden die URL mit Linktext (Anchor Text) in den SERPs angezeigt. Insbesondere sensible Daten oder geheime Informationen sollten in passwortgeschützten Verzeichnissen abgelegt werden, um diese umfassend vor einer Indexierung zu schützen.

Robots-Meta-Tags

Die Einfügung von Robots-Meta-Tags im Header einer HTML-Seite bieten eine weitere Möglichkeit, das Verhalten von Suchmaschinen-Robots beim Crawling und der Indexierung des Inhalts zu steuern. Möchte man den Googlebot oder andere Suchmaschinen-Robots anweisen, den Inhalt einer Seite nicht zu indexieren und den Links auf dieser Seite nicht zu folgen, sind die Attribute „noindex“ und „nofollow Link“ zu verwenden.

Der Syntax lautet wie folgt:

<meta name=”robots” content=”noindex, nofollow”>

htaccess

Ist die IP-Adresse des jeweiligen Suchmaschinen-Robots oder Crawlers bekannt, kann zudem mittels htaccess-Datei im Root-Verzeichnis, in die die IP-Adresse eingetragen wird, eine umfassende Zugriffssperre für die gesamte Domain (inklusive Bilder) für diesen User Agent eingerichtet werden. Die Wirksamkeit einer so eingerichteten Zugriffssperre setzt jedoch voraus, dass der unerwünschte User -Agent unter der eigenen IP, also nicht getarnt, auftritt, denn andernfalls würden die angeforderten Inhalte wie gewohnt ausgeliefert und folglich auch indexiert.