Wie du Seiten vor Google verstecken kannst

Im Allgemeinen trachtet man meist danach, die Inhalte einer Website so gut wie möglich auf Google und anderen Suchmaschinen auffindbar zu machen. Es gibt allerdings durchaus Anwendungsfälle, wo man bewusst genau das Gegenteil erreichen möchte. Lies hier wie du Seiten vor Google verstecken kannst.

Anwendungsfälle

Die Anwendungsfälle für diese Praktik kann man in vier Kategorien einteilen, es gibt auch Anwendungsfälle die mehr als einer Kategorie zuordenbar sind. Dieser Teil der Suchmaschinenoptimierung zählt zur technischen Optimierung. Es sind also Dinge, die du meist nur einmalig tun musst. Welche anderen Teildisziplinen es in der Suchmaschinenoptimierung noch gibt habe ich in meinem Artikel “Suchmaschinenoptimierung für kleine Unternehmen” zusammengefasst.

Seiten, die nur nach bestimmten Aktionen angezeigt werden sollen

Zu dieser Kategorie zählen Seiten, die du dem Nutzer zum Beispiel nach der Anmeldung zum Newsletter oder nach einem getätigten Kauf in deinem Online Shop anzeigen möchtest.

Diese Inhalte ergeben meist nur in Zusammenhang mit der soeben getätigten Aktion Sinn und werden sicherlich nicht von einem Nutzer über Google aktiv gesucht.

Seiten, die nur über den direkten Link aufrufbar sein sollen

Hier handelt es sich meist um Inhalte die nicht sehr sensitiv sind, jedoch nur einer bestimmten Benutzergruppe leicht und ohne Schwierigkeiten zur Verfügung gestellt werden sollen. Auch diese Inhalte haben nicht den Anspruch, in einem Suchergebnis aufzuscheinen.

Seiten, zu denen man nur Zugang unter bestimmten Voraussetzungen erhalten soll

Dazu gehören nicht nur bezahlte Inhalte wie Kursunterlagen oder digitale Produkte, auch personalisierte Inhalte wie Profil-Informationen und firmeninterne Inhalte kann man in diese Kategorie zuordnen.

Seiten, mit denen du auf Google bewusst nicht ranken möchtest

Wir alle haben Inhalte auf unseren Websites die rechtlich erforderlich sind, z.B. das Impressum oder die Datenschutzerklärung. Diese Inhalte bieten dem Nutzer oft nur wenig Mehrwert, haben jedoch die Eigenschaft aufgrund der enthaltenen Texte sehr häufig gut für den konkreten Firmennamen zu ranken. Zielführender wird es meist sein, die Startseite für den Firmennamen als Suchbegriff zu optimieren.

Viele Unternehmen entscheiden sich daher bewusst dafür, diese Inhalte vor Suchmaschinen zu verstecken.

Diese Seiten solltest du nie vor Google verstecken!

Generell solltest du niemals deine Startseite vor Google verstecken. Die Startseite ist auch für die Suchmaschinen-Bots deine wichtigste Seite, immerhin sollten alle Inhalte deines Webauftrittes innerhalb weniger Klicks von hier aus erreichbar sein.

Auch Dienstleistungs- und Produktbeschreibungen solltest du von diesen Praktiken ausnehmen. Auf diesen Seiten bietest du Nutzern genau jene Informationen, die sie für ihre Kaufentscheidung letztendlich benötigen. Diese Seiten solltest du auf jeden Fall für Suchmaschinen optimieren und natürlich sichtbar machen, wenn du über deinen Webauftritt neue Kunden gewinnen möchtest.

3 Varianten um Seiten vor Suchmaschinen zu verstecken

Grundsätzlich gibt es für dich 3 Optionen, wenn es darum geht, Inhalte vor Suchmaschinen zu verstecken. Welche für dich die geeignetste Variante ist, hängt vom Anwendungsfall ab.

Crawling blockieren

Durch einen Eintrag in der robots.txt, einer Datei die im Hauptverzeichnis deiner Website vorhanden ist, kannst du einzelne URL’s oder auch deine gesamte Seite für Suchmaschinen-Bots sperren. Damit zeigst du den Such-Bots, dass sie sich nicht die Mühe machen müssen um deine Inhalte zu lesen und in weiterer Folge in ihren Index aufzunehmen.

Beispiel:

User Agent: * 
Disallow: /

Du kannst über diese Einträge auch nur bestimmte Suchmaschinen behandeln, also einzelne Crawler zulassen und andere sperren. Die Angaben in deiner robots.txt sind jedoch nur Empfehlungen für die Bots, nicht alle Suchmaschinen berücksichtigen diese Angaben. (Google macht dies im Üblichen schon!)

Crawling zu verbieten ist die am seltensten eingesetzte Methode. Sinnvoll ist sie dann, wenn du zum Beispiel ganze Verzeichnisse verstecken möchtest oder deine Seite noch nicht fertiggestellt ist.

Ein großer Nachteil dieser Methode ist, dass auch Links innerhalb der gesperrten Seite(n) zu anderen Inhalten deines Webauftrittes nicht gefunden und weiterverfolgt werden.

Indexierung blockieren

Die zweite Möglichkeit, Seiten vor Suchmaschinen zu verstecken, ist die Blockierung der Indizierung. Das bedeutet, dass die Bots die Seite zwar ansehen, die Inhalte jedoch nicht in ihren Index aufnehmen.

Diese Methode wird sehr häufig angewendet, beispielsweise bei Inhalten die nur nach einer bestimmten Aktion angezeigt werden (Danke-Seite nach der Newsletter-Anmeldung).

In modernen Redaktionssystemen findet man häufig in den Seiten-Einstellungen eine Einstellung über die man dieses Verhalten beeinflussen kann. Dadurch wird im HTML-Code der einzelnen Seite ein Eintrag im Head-Abschnitt gemacht:

<meta name="robots" content="noindex">

Auch hier kannst du wieder auf einzelne Suchmaschinen direkt eingehen, indem du den Namen des Bots anstelle “robots” austauscht. Mittlerweile gibt es jedoch schon zahlreiche Bots diverser Suchmaschinen, dass man meist aus Gründen der Einfachheit bei “robots” bleibt.

Vorteil dieses Verfahrens ist, dass auch weiterführende Links von den Bots verfolgt werden und weitere Seiten so erkannt und indiziert werden können.

Inhalte mit Passwort schützen

Die wohl sicherste, aber auch am aufwändigsten umzusetzende Variante ist, die Inhalte mit einem Passwort zu schützen. Ein klassisches Beispiel dafür ist eine Membership-Seite oder auch ein firmeninternes Intranet, das auch außerhalb des Firmennetzwerks erreichbar sein soll.

Je nach Anwendungsfall kann es hier ausreichen, für jeden Benutzer ein eigenes Profil anzulegen (Beispiel: Profil-Seite in Online Shops) oder zusätzlich noch ein eigenes Plugin zu installieren, wie es oft bei Membership-Seiten gemacht wird.

Wenn Inhalte nur nach Eingabe eines Passworts aufgerufen werden können, dann ist es auch Suchmaschinen-Bots nicht möglich auf diese Seiten zuzugreifen.

So prüfst du, welche Seiten im Google Index vorhanden sind

site-Suchparameter

Eine schnelle Variante ist, direkt in der Google Suche danach zu fragen. Über den site-Suchparameter kannst du das sehr einfach tun: site:[URL der Website] liefert dir alle Einträge im Suchindex für eine bestimmte URL. Auch Subdomains werden hier mit aufgeführt.

Achte darauf, dass zwischen site: und der URL kein Leerzeichen ist, sonst funktioniert die Abfrage nicht!

Das Ergebnis dieser Suche zeigt dir nun alle Seiten, die Google in seinen Index aufgenommen hat. Die Reihenfolge der Seiten innerhalb dieses Ergebnisses hat keine Aussage über die Qualität einer Seite.

Google Search Console

Wenn du für deine Seite bereits bei der Google Search Console angemeldet hast, siehst du auch hier welche Seiten noch nicht im Index aufgenommen wurden. Du findest den Bericht im Abschnitt “Indexierung” -> “Abdeckung”.

Ist eine Seite nicht im Index , jedoch nicht durch eine der drei genannten Varianten für Suchmaschinen gesperrt, dann solltest du dir die Inhalte dieser Seite noch einmal genauer ansehen. In den meisten mir bekannten Fällen ist die Qualität des Inhalts dann nicht ausreichend genug um überhaupt in den Index aufgenommen zu werden.