Zwei kleine Dateien entscheiden darüber, ob Google Ihre Website überhaupt anschauen darf und ob sie alle Seiten findet. Wir sehen nach, ob beide stimmen.
Der Test ruft Ihre Startseite auf und wertet sie aus. Diese Punkte fließen in das Ergebnis ein:
Die Datei, in der Sie Suchmaschinen sagen, welche Bereiche sie ansehen dürfen. Fehlt sie, ist das kein Beinbruch — vorhanden und falsch ist deutlich schlimmer als gar nicht da.
Der teuerste Einzelfehler im ganzen technischen SEO: eine robots.txt, die mit „Disallow: /“ die komplette Website für alle Suchmaschinen sperrt.
Das Inhaltsverzeichnis Ihrer Website für Suchmaschinen. Es hilft besonders dann, wenn einzelne Seiten intern schlecht verlinkt sind.
Seiten, die von der Startseite aus erst nach vielen Klicks erreichbar sind, werden seltener besucht und schlechter bewertet.
Bevor eine Suchmaschine irgendetwas von Ihrer Website liest, ruft sie eine einzige Datei auf: robots.txt. Darin steht, welche Bereiche sie ansehen darf. Diese Datei ist unscheinbar, wenige Zeilen lang — und die einzige Stelle, an der man mit einem einzigen Wort die gesamte Sichtbarkeit einer Website abschalten kann.
Genau das passiert regelmäßig. Während der Entwicklung wird eine Website bewusst für Suchmaschinen gesperrt, damit die unfertige Fassung nicht bei Google landet. Beim Livegang bleibt die Sperre stehen. Von außen sieht alles normal aus: Die Seite lädt, Besucher können alles benutzen, nichts wirkt kaputt. Nur kommt über Google niemand mehr an — und weil kein Fehler auftritt, fällt es oft erst Wochen später auf, wenn die Anrufe ausbleiben.
Der zweite Teil, die sitemap.xml, arbeitet in die andere Richtung. Sie ist ein Verzeichnis aller Adressen, die Sie in der Suche haben wollen. Suchmaschinen finden Seiten normalerweise, indem sie Verweisen folgen — was gut funktioniert, solange alles ordentlich verlinkt ist. Eine Sitemap hilft dort, wo das nicht so ist: bei neuen Seiten, bei Inhalten tief in der Struktur, bei großen Websites.
Deshalb sehen wir zusätzlich auf die Klicktiefe. Eine Seite, die von der Startseite aus erst über fünf Zwischenschritte erreichbar ist, wird von Suchmaschinen als weniger wichtig eingestuft — und von Besuchern schlicht nicht gefunden. Wichtige Inhalte sollten in zwei bis drei Klicks erreichbar sein; ist etwas tiefer vergraben, ist meist das Menü das eigentliche Problem, nicht die Sitemap.
Für die meisten kleinen Websites gilt am Ende eine einfache Regel: Eine robots.txt, die nichts Wichtiges sperrt und auf die Sitemap verweist, plus eine Sitemap, die von Ihrem System automatisch aktuell gehalten wird. Beides ist einmalige Arbeit von wenigen Minuten — der Schaden bei einem Fehler ist dagegen vollständig und dauert an, bis ihn jemand bemerkt.
Zwingend nicht. Fehlt sie, dürfen Suchmaschinen alles ansehen — für kleine Websites ist das völlig in Ordnung. Eine falsch geschriebene robots.txt richtet mehr Schaden an als eine fehlende.
Es sperrt die komplette Website für die angesprochene Suchmaschine. Steht das ohne Absicht in Ihrer Datei, verschwindet Ihre Seite nach und nach vollständig aus den Suchergebnissen.
Nein, sie ist eine Bitte, keine Sperre. Die Datei ist öffentlich lesbar und weist dadurch sogar auf die genannten Verzeichnisse hin. Vertrauliches gehört hinter ein Passwort, nicht in die robots.txt.
Üblicherweise direkt unter Ihrer Hauptadresse, also beispiel.de/sitemap.xml. Zusätzlich sollte sie in der robots.txt genannt sein, damit Suchmaschinen sie sicher finden.
Normalerweise nicht. Praktisch alle gängigen Redaktionssysteme und Shop-Systeme erzeugen sie automatisch und halten sie aktuell — bei WordPress etwa über die verbreiteten SEO-Erweiterungen.
Für die komplette Website — alle Unterseiten, Verlauf über die Zeit und der Report als PDF — gibt es Spiderlens. Anmeldung kostenlos, ohne Zahlungsdaten.
Kostenlos anmelden