Inhalt
Was ist eine Robots.txt Datei?
Robots.txt ist eine Datei, die auf dem Wurzelverzeichnis deiner Website gespeichert wird und Suchmaschinen wie Google, Bing oder Yahoo sagt, welche Teile deiner Website gecrawlt werden dürfen und welche nicht. Mit anderen Worten: Es ist eine Art Wegweiser für Suchmaschinen, um herauszufinden, welche Seiten und Inhalte sie indexieren können und welche nicht.
Die robots.txt-Datei enthält Anweisungen für die sogenannten „Robots“ (auch Crawler genannt) der Suchmaschinen, die den Inhalt deiner Website durchsuchen und analysieren. Die Anweisungen in der Datei geben an, welche Seiten von den Suchmaschinen gecrawlt werden dürfen und welche nicht. Wenn Suchmaschinen auf eine Seite oder einen Ordner deiner Website stoßen, die von der robots.txt-Datei ausgeschlossen sind, werden sie diese nicht indexieren und in den Suchergebnissen nicht anzeigen.
Aufrufen der Robots.txt
Über den Browser gibst du die entsprechende URL ein: https://deineURL.de/robots.txt
Beispiel
Hier die Robots.txt vom ZDF Online-Auftritt.
Bedeutung für SEO
Die Verwendung von robots.txt kann sich auf die Suchmaschinenoptimierung (SEO) auswirken, da sie dazu beitragen kann, dass Suchmaschinen nur relevante Seiten crawlen und indexieren. Dadurch wird vermieden, dass Suchmaschinen Ressourcen für das Crawling und die Indexierung von nicht relevanten Seiten verschwenden und die Suchergebnisse für die Nutzer relevanter und genauer werden.